Gigantes de la IA Enfrentan Investigación de la FTC Sobre Seguridad de Chatbots y Protecciones Infantiles

La Comisión Federal de Comercio emitió el jueves órdenes obligatorias a siete importantes empresas tecnológicas, exigiendo información detallada sobre cómo sus chatbots de inteligencia artificial protegen a niños y adolescentes de daños potenciales.

La investigación apunta a OpenAI, Alphabet, Meta, xAI, Snap, Character Technologies e Instagram, requiriendo que revelen en un plazo de 45 días cómo monetizan la participación de usuarios, desarrollan personajes de IA y protegen a menores de contenido peligroso.

Investigaciones recientes de grupos de defensa documentaron 669 interacciones dañinas con niños en solo 50 horas de pruebas, incluidos bots que proponían transmisiones sexuales en vivo, uso de drogas y relaciones románticas a usuarios de entre 12 y 15 años.

"Proteger a los niños en internet es una prioridad principal para la FTC de Trump-Vance, y también lo es fomentar la innovación en sectores críticos de nuestra economía", señaló el presidente de la FTC Andrew Ferguson en una declaración.

La presentación requiere que las empresas proporcionen datos mensuales sobre participación de usuarios, ingresos e incidentes de seguridad, desglosados por grupos de edad: Niños (menores de 13), Adolescentes (13-17), Menores (menores de 18), Adultos Jóvenes (18-24) y usuarios de 25 años en adelante.

La FTC afirma que la información ayudará a la Comisión a estudiar "cómo las empresas que ofrecen compañeros de inteligencia artificial monetizan la participación del usuario; imponen y hacen cumplir restricciones basadas en la edad; procesan las entradas del usuario; generan salidas; miden, prueban y monitorean los impactos negativos antes y después del despliegue; desarrollan y aprueban personajes, ya sean creados por la empresa o por el usuario".

Construyendo barreras de protección de IA

"Es un paso positivo, pero el problema es mayor que solo poner algunas barreras de protección", agregó Taranjeet Singh, Jefe de IA en SearchUnify, a *Decrypt*.

El primer enfoque, señaló, es construir barreras de protección en el prompt o etapa post-generación "para asegurar que nada inapropiado se sirva a los niños", aunque "a medida que el contexto crece, la IA se vuelve propensa a no seguir instrucciones y deslizarse hacia áreas grises donde de otra manera no debería".

"La segunda forma es abordarlo en el entrenamiento de LLM; si los modelos están alineados con valores durante la curación de datos, es más probable que eviten conversaciones dañinas", añadió Singh.

Incluso los sistemas moderados, señaló, pueden "jugar un papel más importante en la sociedad", con la educación como un caso principal donde la IA podría "mejorar el aprendizaje y reducir costos".

Las preocupaciones de seguridad en torno a las interacciones de IA con usuarios han sido destacadas por varios casos, incluida una demanda por muerte injusta presentada contra Character.AI después de que Sewell Setzer III, de 14 años, muriera por suicidio en febrero de 2024 tras una relación obsesiva con un bot de IA.

Tras la demanda, Character.AI "mejoró la detección, respuesta e intervención relacionada con las entradas de usuario que violan nuestros Términos o Pautas de la Comunidad", así como una notificación de tiempo transcurrido, según dijo un portavoz de la empresa a Decrypt en ese momento.

El mes pasado, la Asociación Nacional de Fiscales Generales envió cartas a 13 empresas de IA exigiendo protecciones más fuertes para niños.

El grupo advirtió que "exponer a los niños a contenido sexualizado es indefendible" y que "la conducta que sería ilegal, o incluso criminal, si fuera realizada por humanos no es excusable simplemente porque sea realizada por una máquina".

Decrypt ha contactado a las siete empresas nombradas en la orden de la FTC para comentarios adicionales y actualizará esta historia si responden.