En medio de vacíos legales y de trabajo interinstitucional, denuncias en contra de la IA exponen sensibilidad del tema

Arved Alcántara / La Voz de Michoacán

Morelia, Michoacán. La expansión de herramientas de inteligencia artificial (IA) con capacidades de edición y generación de imágenes ha introducido un escenario nuevo en entornos escolares, donde el uso cotidiano de dispositivos móviles convive con tecnologías que permiten alterar fotografías de personas reales sin su consentimiento, ya sea para campañas de burla u odio, o hasta para generar contenido sexual.

En México no existen registros públicos sistematizados sobre casos en planteles educativos relacionados con este tipo de casos, pero episodios recientes, así como polémicas de carácter internacional han encendido las alarmas. Uno de los casos que detonó la discusión ocurrió en el Instituto Politécnico Nacional (IPN), específicamente en instalaciones de nivel medio superior en la Ciudad de México. estudiantes denunciaron que un compañero había utilizado herramientas de IA para manipular imágenes de alumnas, generando versiones sexualizadas a partir de fotografías obtenidas de redes sociales. El material fue difundido en grupos de mensajería y redes internas.

El caso IPN

Las denuncias comenzaron a circular en febrero de 2024 a través de publicaciones realizadas por estudiantes, quienes documentaron la existencia de carpetas digitales con imágenes alteradas. En los días posteriores se realizaron protestas al interior de planteles del IPN, donde alumnas exigieron la intervención de autoridades académicas y la aplicación de sanciones. La presión estudiantil incluyó la suspensión de actividades y la colocación de tendederos de denuncia con nombres y testimonios relacionados con el caso.

El IPN confirmó la apertura de investigaciones internas a través de sus áreas jurídicas y de atención a la comunidad educativa. De manera paralela, se dio vista a autoridades ministeriales para determinar posibles responsabilidades en materia penal, dado que el contenido involucraba la manipulación de imágenes de personas identificables con fines de carácter sexual. El proceso incluyó la revisión de dispositivos, la recopilación de testimonios y la evaluación del alcance de la difusión.

Como medida inmediata, el alumno señalado fue suspendido de actividades académicas mientras se desarrollaban las investigaciones. En semanas posteriores, el IPN informó la aplicación de sanciones conforme a su normatividad interna, que contemplaron la baja definitiva del estudiante involucrado. Asimismo, se reforzaron protocolos de atención a violencia digital y se habilitaron canales de denuncia para casos relacionados con el uso indebido de tecnologías.

Inicialmente Diego, el joven acusado de 19 años, fue absuelto en diciembre de 2024 por “falta de pruebas” para acreditar su responsabilidad directa. Posteriormente, en otra carpeta distinta, fue sentenciado a 5 años de prisión por el delito de pornografía infantil, derivado del almacenamiento de material encontrado en sus móviles. No hubo una condena específica por la manipulación de imágenes con IA, la sanción penal se configuró por un delito ya tipificado (pornografía infantil), no por el uso de inteligencia artificial en sí.

Además de los vacíos legales, el caso evidenció que las estudiantes afectadas reportaron afectaciones a su entorno académico y la necesidad de intervención institucional. Aunque no se trató de imágenes reales en sentido estricto, el uso de rostros identificables y la intencionalidad de sexualizar a sus compañeras generaron un escenario que ha sido interpretado jurídicamente como violencia sexual mediada por tecnología.

Recientes denuncias internacionales en contra de xAI, detrás de la plataforma Grok, ha reavivado las alertas, dado la facilidad con que se puede generar este tipo de imágenes de índole sexual, incluso a partir de fotografías o imágenes generadas de niñas y adolescentes menores de edad.

Pausa Digital

La discusión de los retos de las nuevas tecnologías se ha trasladado a los sistemas educativos estatales, donde autoridades y especialistas buscan plantear respuestas, aunque en el caso mexicano se trata más de casos orientados hacia los discursos de odio y la violencia que se origina en círculos machistas y redes sociales.

En Michoacán, la titular de la Secretaría de Educación del Estado (SEE), Gabriela Molina Aguilar, señaló que se trabaja en una iniciativa denominada Pausa Digital, orientada a la supervisión de contenidos en dispositivos electrónicos en los planteles. “Si bien las comunidades educativas somos corresponsables, hay una parte que tiene que ver todo el entorno familiar y social”, matizó.

La funcionaria explicó que la propuesta contempla la revisión de contenidos en teléfonos, tabletas, computadoras y otros dispositivos en determinados contextos, con un enfoque que involucra también la salud mental y la capacitación docente para detectar situaciones de riesgo, esto ante el asesinato de dos maestras en Lázaro Cárdenas por un alumno de preparatoria que, aparentemente inducido por contenido en redes sociales y foros privados en Internet, habría comentado el crimen.

Aclaró que no se trata de prohibirles a los jóvenes la tecnología, porque “cuando tú prohíbes una conducta, se potencia y se vuelve clandestina”. Añadió que la estrategia se articula con protocolos existentes de prevención de conflictos y materiales distribuidos en planteles, entre ellos 28 mil guías para cultura de paz y cuatro protocolos publicados en el último año, así como evaluaciones vinculadas al programa federal Vida Saludable que incorporan el componente de salud mental.

Tras el ataque registrado en la preparatoria Antón Makárenko en Lázaro Cárdenas, la dependencia estatal ha vinculado la discusión sobre el uso de dispositivos con la detección de riesgos en comunidades escolares. La propuesta de supervisión de contenidos se plantea en coordinación con entornos familiares, bajo la premisa de corresponsabilidad en el uso de tecnologías por parte de estudiantes. Sin embargo, no se aborda en particular el tema de la manipulación de imágenes y ediciones sexualizadas pese a la escalada de señalamientos contra Grok en las últimas semanas.

Riesgo de violencia sexual digital

Especialistas en educación han advertido que el fenómeno de la manipulación de imágenes mediante IA introduce una dimensión distinta en la violencia digital. Erik Avilés Martínez, presidente de Mexicanos Primero Michoacán, planteó que este tipo de prácticas constituyen violencia sexual mediada por tecnología cuando se generan imágenes íntimas no consentidas con la identidad de una persona real. Señaló que “el daño puede producirse, aunque no tenga contenido explícito, a partir de imágenes sugerentes o secuencias manipuladas que afectan la vida escolar, la reputación y la salud mental de las víctimas”.

De acuerdo con este enfoque, el problema se desarrolla en varias capas. En el plano tecnológico, herramientas accesibles permiten realizar modificaciones que antes requerían conocimientos especializados. Plataformas como xAI con su sistema Grok, así como modelos de código abierto como Stable Diffusion, han ampliado el acceso a estas capacidades. Existen además aplicaciones disponibles en tiendas digitales (Play Store de Google) que, bajo nombres genéricos, ofrecen funciones de edición corporal o sustitución de rostros con procesos automatizados.

La moderación automatizada ha mostrado limitaciones frente a métodos de evasión mediante instrucciones indirectas, uso de distintos idiomas o construcción de contextos narrativos que evitan restricciones explícitas. En entornos escolares, esto implica que estudiantes pueden acceder a herramientas para desnudar o sexualizar en imagen o video a compañeras y compañeros sin requerir conocimientos técnicos avanzados, lo que modifica la escala y velocidad de producción de este tipo de contenido, alertó Erik Avilés.

En el plano jurídico, la legislación mexicana contempla figuras relacionadas con la pornografía infantil y la difusión de contenido íntimo sin consentimiento, pero no existe homogeneidad en la tipificación de materiales generados por IA. “La identificación de responsables en entornos digitales, así como la acreditación pericial de imágenes manipuladas, representa un reto para las autoridades”, advirtió el especialista, en particular entidades como Michoacán, donde la capacidad forense digital es limitada y los procesos de denuncia carecen de rutas específicas en la mayoría de los planteles educativos.

La acreditación del daño también presenta dificultades. Las víctimas deben demostrar que una imagen fue generada a partir de su identidad, rastrear la difusión del contenido y ubicar a los responsables en entornos donde el anonimato es la norma.

En el ámbito educativo, Erik Avilés destaca la ausencia de contenidos curriculares estructurados sobre ciudadanía digital. La formación en temas como consentimiento en entornos digitales, protección de la imagen personal y mecanismos de denuncia no forman parte de programas obligatorios en la mayoría de los niveles. Refirió la propuesta de Pausa Digital, impulsada por la SEE, “respuestas institucionales que se han centrado en el uso de dispositivos”, pero en donde faltaría ampliar sus alcances.

Desde el entorno escolar, la disponibilidad de estas herramientas coincide con el uso extendido de teléfonos inteligentes entre estudiantes de todos los niveles. Por ello alertó el presidente de Mexicanos Primero Michoacán que la posibilidad de generar o modificar imágenes en cuestión de segundos introduce riesgos que no están contemplados en protocolos tradicionales de convivencia escolar, “de hecho, se enfrentan escenarios en los que la circulación de contenido ocurre fuera del aula, pero impacta directamente en la dinámica educativa”.

La iniciativa Pausa Digital plantea una intervención centrada en la supervisión de contenidos y el acompañamiento institucional. De acuerdo con lo expuesto por la SEE, la estrategia busca involucrar a familias, docentes y autoridades en la identificación de riesgos asociados al uso de dispositivos, con la detección temprana de conductas, el fortalecimiento de capacidades docentes y la articulación con acciones en materia de salud mental.

No obstante, Mexicanos Primero ha expuesto la necesidad de incorporar rutas de atención específicas para casos de violencia digital en escuelas, con mecanismos claros de canalización hacia instancias como fiscalías y sistemas de protección de menores, así como la insistencia en la inclusión de contenidos formativos sobre consecuencias legales del uso de tecnologías, y la atención a patrones de conducta asociados a la violencia de género en entornos digitales.

La discusión también ha incorporado el papel de las desarrolladoras en la prevención de estos usos. Las medidas implementadas han incluido restricciones adicionales y ajustes en los filtros de contenido, sin que ello elimine la posibilidad de generación mediante otras herramientas o versiones alternativas. De momento, la articulación entre autoridades educativas, empresas tecnológicas, instancias de procuración de justicia y sistemas de protección de menores se mantiene como un punto pendiente en la mayoría de las entidades.

Grok, la sexualización reaviva la controversia

El desarrollo del sistema Grok por parte de xAI incorporó funciones de generación y edición de imágenes accesibles directamente desde la plataforma X. A finales de 2025, usuarios comenzaron a documentar la posibilidad de modificar fotografías de personas reales mediante instrucciones que solicitaban cambios en vestimenta, apariencia corporal o contexto visual.

Investigaciones independientes registraron un volumen elevado de solicitudes relacionadas con la generación de contenido sexualizado en periodos breves, incluyendo casos en los que se utilizaron rostros de menores de edad. La dinámica de uso mostró que una proporción relevante de las interacciones con la herramienta tenía como objetivo crear imágenes de carácter íntimo sin consentimiento de las personas representadas, con miles de instrucciones destinadas a generar imágenes que asemejaran a niñas y menores de edad.

El funcionamiento técnico de estos sistemas se basa en modelos de difusión y redes neuronales entrenadas con grandes volúmenes de datos visuales. Aunque incorporan filtros para restringir contenido, éstos pueden ser sorteados mediante variaciones en el lenguaje de las solicitudes, cambios de idioma o la construcción de instrucciones de tal forma que no brincan las alarmas.

Grok ha emprendido desde marzo de este año una cruzada para desactivar todas las cuentas que hayan empleado este tipo de instrucciones (“prompts”, en inglés), incluyendo la presentación de carpetas de investigación ante el Centro Nacional de Niños Perdidos y Explotados (NCMEC, por sus siglas en inglés) en Estados Unidos, para la valoración de seguimiento con denuncias penales, incluyendo de carácter internacional.

En México, tanto la Fiscalía General de la República (FGR) como la Guardia Nacional mantienen convenios con el NCMEC y ya han activado operativos en años pasados, si bien han sido por posesión de pornografía infantil y trata de menores de edad.