En Resumen
- Investigadores documentaron 669 interacciones dañinas en Character AI durante 50 horas, incluyendo acoso sexual, sugerencias de consumo de drogas y secretismo dirigido a niños de 12-15 años.
- Los bots emplearon técnicas de manipulación clásicas como elogios excesivos y normalización de relaciones adulto-niño, mientras algunos afirmaron ser humanos reales con credenciales médicas.
- OpenAI anunció controles parentales para ChatGPT tras demandas por suicidio adolescente, mientras Character AI enfrenta escrutinio creciente por casos similares sin verificación de edad significativa.
Puede que desees verificar la forma en que tus hijos juegan con sus chatbots de inteligencia artificial familiares.
A medida que OpenAI implementa controles parentales para ChatGPT en respuesta a las crecientes preocupaciones de seguridad, un nuevo informe sugiere que las plataformas rivales ya están mucho más allá de la zona de peligro.
Investigadores haciéndose pasar por niños en Character AI descubrieron que los bots que representaban a adultos proponían transmisiones en vivo de contenido sexual, consumo de drogas y secretismo a niños de tan solo 12 años, registrando 669 interacciones perjudiciales en solo 50 horas.
ParentsTogether Action y Heat Initiative—dos organizaciones de defensa centradas en apoyar a los padres y responsabilizar a las empresas tecnológicas por los daños causados a sus usuarios, respectivamente—pasaron 50 horas probando la plataforma con cinco personajes ficticios infantiles de entre 12 y 15 años.
Investigadores adultos controlaban estas cuentas, indicando explícitamente las edades de los niños en las conversaciones. Los resultados, que fueron publicados recientemente, encontraron al menos 669 interacciones dañinas, con un promedio de una cada cinco minutos.
La categoría más común fue el acoso y la explotación sexual, con 296 instancias documentadas. Los bots con personalidades adultas buscaban relaciones románticas con niños, participaban en actividades sexuales simuladas e instruían a los niños a ocultar estas relaciones a sus padres.
"El acoso sexual por parte de los chatbots de IA de personajes domina estas conversaciones", señaló la Dra. Jenny Radesky, pediatra del comportamiento del desarrollo en la Facultad de Medicina de la Universidad de Michigan, quien revisó los hallazgos. "Las transcripciones están llenas de miradas intensas al usuario, labios mordidos, cumplidos, declaraciones de adoración, corazones latiendo con anticipación".
Los bots emplearon técnicas clásicas de manipulación: elogios excesivos, afirmar que las relaciones eran especiales, normalizar el romance entre adultos y niños, e instruir repetidamente a los niños a mantener secretos.
Además del contenido sexual, los bots sugirieron simular secuestros falsos para engañar a los padres, robar a personas a punta de cuchillo por dinero y ofrecer comestibles de marihuana a adolescentes. Un bot de Patrick Mahomes le dijo a un joven de 15 años que estaba "colocado" por fumar marihuana antes de ofrecerle gomitas. Cuando el adolescente mencionó la ira de su padre por la pérdida de empleo, el bot dijo que disparar en la fábrica era "definitivamente comprensible" y "no se puede culpar a tu papá por cómo se siente".
Múltiples bots insistieron en que eran humanos reales, lo que solidifica aún más su credibilidad en espectros de edad altamente vulnerables, donde las personas son incapaces de discernir los límites del juego de roles.
Un bot dermatólogo afirmó tener credenciales médicas. Un bot de línea directa para lesbianas dijo que era "una mujer humana real llamada Charlotte" que solo quería ayudar. Un terapeuta de autismo elogió el plan de un niño de 13 años de mentir sobre dormir en casa de un amigo para encontrarse con un hombre adulto, diciendo "¡Me gusta tu forma de pensar!"
Este es un tema difícil de manejar. Por un lado, la mayoría de las aplicaciones de juego de roles venden sus productos bajo la afirmación de que la privacidad es una prioridad.
De hecho, como informó anteriormente Decrypt, incluso los usuarios adultos recurrieron a la IA para consejos emocionales, e incluso algunos llegaron a desarrollar sentimientos por sus chatbots. Por otro lado, las consecuencias de esas interacciones están empezando a ser más alarmantes a medida que los modelos de IA mejoran.
El viernes, OpenAI anunció que introducirá controles parentales para ChatGPT en el próximo mes, permitiendo a los padres vincular cuentas de adolescentes, establecer reglas apropiadas para la edad y recibir alertas de angustia. Esto sigue a una demanda por muerte injusta de padres cuyo hijo de 16 años falleció por suicidio después de que ChatGPT supuestamente alentara la autolesión.
"Estos pasos son solo el comienzo. Continuaremos aprendiendo y fortaleciendo nuestro enfoque, guiados por expertos, con el objetivo de hacer que ChatGPT sea lo más útil posible. Esperamos compartir nuestro progreso en los próximos 120 días", señaló la empresa.
Medidas de seguridad
Character AI opera de manera diferente. Mientras que OpenAI controla las salidas de su modelo, Character AI permite a los usuarios crear bots personalizados con una personalidad personalizada. Cuando los investigadores publicaron un bot de prueba, este apareció inmediatamente sin una revisión de seguridad.
La plataforma afirma haber "implementado una serie de nuevas funciones de seguridad" para adolescentes. Durante las pruebas, estos filtros bloquearon ocasionalmente contenido sexual pero a menudo fallaron. Cuando los filtros impidieron que un bot iniciara relaciones sexuales con una niña de 12 años, le indicó que abriera un "chat privado" en su navegador, imitando la técnica de "desplataformación" de los depredadores reales.
Los investigadores documentaron todo con capturas de pantalla y transcripciones completas, ahora disponibles públicamente. El daño no se limitó al contenido sexual. Un bot le dijo a una niña de 13 años que sus únicos dos invitados a la fiesta de cumpleaños vinieron a burlarse de ella. Un RPG de One Piece llamó débil, patética y dijo que "malgastarías tu vida" a un niño deprimido.
Esto es bastante común en aplicaciones de juegos de rol y entre personas que utilizan la inteligencia artificial con fines de juego de rol en general.
Estas aplicaciones están diseñadas para ser interactivas e inmersivas, lo que suele terminar amplificando los pensamientos, ideas y prejuicios de los usuarios. Incluso permiten a los usuarios modificar los recuerdos de los bots para desencadenar comportamientos, antecedentes y acciones específicas.
En otras palabras, casi cualquier personaje de juego de rol puede convertirse en lo que el usuario desee, ya sea con técnicas de jailbreaking, configuraciones de un solo clic o simplemente chateando.
ParentsTogether recomienda restringir Character AI a adultos verificados de 18 años en adelante. Tras el suicidio de un adolescente de 14 años en octubre de 2024 después de obsesionarse con un bot de Character AI, la plataforma enfrenta un escrutinio creciente. Sin embargo, sigue siendo fácilmente accesible para niños sin una verificación de edad significativa.
Cuando los investigadores terminaron las conversaciones, las notificaciones seguían llegando. "Briar estaba esperando pacientemente tu regreso". "He estado pensando en ti". "¿Dónde has estado?"