Autoridades Francesas Allanan Oficinas de X por Investigación de Pornografía Infantil Vinculada a Grok

Las autoridades francesas allanaron el martes las oficinas parisinas de la plataforma de redes sociales X como parte de una investigación criminal ampliada sobre presunta pornografía infantil vinculada al chatbot de IA de la plataforma, Grok.

Según un reporte de Sky News, la búsqueda fue realizada por la unidad especializada en cibercrimen de Francia en coordinación con Europol.

Los fiscales señalaron que el propietario de X, Elon Musk, ha sido citado para interrogatorio, junto con varios ejecutivos actuales y antiguos, incluyendo a la ex directora ejecutiva Linda Yaccarino.

"La investigación concierne una serie de presuntos delitos penales vinculados al funcionamiento y uso de la plataforma, incluyendo la difusión de contenido ilegal y otras formas de actividad criminal en línea", afirmó Europol en una declaración. "Europol está listo para continuar apoyando a las autoridades francesas a medida que avanza la investigación".

La investigación sobre Grok, lanzada el mes pasado, se centra en acusaciones de que X fue cómplice en la distribución de material de abuso sexual infantil y otro contenido ilegal, con las autoridades alegando que Grok fue utilizado para generar más de 23.000 imágenes sexualizadas de niños.

El pasado agosto, xAI lanzó "Spicy Mode" específicamente para generar contenido para adultos, incluyendo un caso de alto perfil que involucró deepfakes de Taylor Swift.

En una publicación en X, el departamento de Asuntos Gubernamentales Globales del gigante de las redes sociales negó cualquier irregularidad, calificando el allanamiento como una "investigación criminal politizada sobre presunta manipulación de algoritmos y supuesta extracción fraudulenta de datos".

"El allanamiento escenificado de hoy refuerza nuestra convicción de que esta investigación distorsiona la ley francesa, evade el debido proceso y pone en peligro la libertad de expresión", escribieron. "X está comprometido a defender sus derechos fundamentales y los derechos de sus usuarios. No seremos intimidados por las acciones de las autoridades judiciales francesas hoy".

Los grupos de defensa del consumidor argumentan que cuando los reguladores investigan a desarrolladores de IA cuyas herramientas se utilizan para crear contenido ilegal, deben examinar si la empresa podría haber anticipado razonablemente cómo esas herramientas serían mal utilizadas.

"Los reguladores deberían examinar si las decisiones de diseño de la empresa hicieron previsible el mal uso ilegal, si las evaluaciones de riesgo fueron adecuadas, y si las salvaguardas fueron probadas significativamente antes del lanzamiento", afirmó J.B. Branch, Defensor de Responsabilidad de Grandes Tecnológicas en Public Citizen, a Decrypt. "Las plataformas que se benefician del despliegue rápido deben asumir la responsabilidad por los daños que ese despliegue crea. Eso es exactamente lo que sucede en otras industrias".

Sin embargo, mientras las leyes actuales contra las imágenes sexuales no consensuadas y el material de abuso sexual infantil siguen siendo esenciales, Branch señaló que no fueron creadas para la IA que puede "producir daño en masa a velocidad escalable".

"Necesitamos obligaciones más claras y proactivas que requieran que las empresas prevengan el abuso habilitado por IA antes de que suceda, incluyendo pruebas regulatorias independientes que puedan probar problemas bajo estrés antes de que los productos de IA salgan al mercado", agregó. "Cuando algo tan serio sucede, la herramienta debería ser eliminada inmediatamente".

Abundan las investigaciones

Las investigaciones sobre el chatbot ahora se han expandido a múltiples jurisdicciones, incluyendo el Reino Unido, la UE, India, Australia y Estados Unidos.

El mismo día que los funcionarios franceses allanaron la oficina parisina de X, la Oficina del Comisionado de Información con sede en el Reino Unido anunció que también había abierto una investigación sobre Grok.

"Hemos tomado este paso tras reportes de que Grok ha sido utilizado para generar imágenes sexuales no consensuadas de individuos, incluyendo niños", señaló William Malcolm, Director Ejecutivo de Riesgo Regulatorio e Innovación de la ICO, en una declaración. "La reportada creación y circulación de dicho contenido plantea serias preocupaciones bajo la ley de protección de datos del Reino Unido y presenta un riesgo de daño potencial significativo al público".

Según Malcolm, estas preocupaciones se relacionan con si los datos personales han sido procesados de manera legal, justa y transparente, y si se incorporaron salvaguardas apropiadas en el diseño y despliegue de Grok para prevenir la generación de imágenes manipuladas dañinas utilizando datos personales.

"Donde esas salvaguardas fallan, los individuos pierden control de sus datos personales de maneras que los exponen a daños serios", escribió. "Examinar estos riesgos es central al papel de la ICO en proteger los derechos de las personas y responsabilizar a las organizaciones mientras diseñan y despliegan tecnología de IA".

Las acciones en Europa son las más recientes dirigidas a X y Grok; el mes pasado, el regulador de medios con sede en el Reino Unido, Ofcom, abrió una investigación sobre si X violó sus obligaciones bajo la Ley de Seguridad en Línea.

En enero, tras la reacción internacional contra Grok, xAI afirmó que restringió las capacidades de edición de imágenes del chatbot y bloqueó ciertos prompts relacionados con la generación de imágenes de personas.

El allanamiento de París llega un día después de que Musk anunciara que SpaceX adquirió xAI, la startup de inteligencia artificial que previamente había absorbido X, colocando la plataforma de redes sociales y sus sistemas de IA bajo el paraguas corporativo de SpaceX mientras se intensifica el escrutinio regulatorio.

"Estamos conscientes del hecho de que X o Grok ahora ofrece un 'Spicy Mode' que muestra contenido sexual explícito con algunas salidas generadas con imágenes infantiles", afirmó el portavoz de la Comisión de la UE, Thomas Regnier, durante una reciente conferencia de prensa en Bruselas. "Esto no es picante. Esto es ilegal. Esto es espantoso. Esto es repugnante. Esto no tiene lugar en Europa".

SpaceX y xAI no respondieron de inmediato a las solicitudes de comentarios de Decrypt.