Demanda Vincula a ChatGPT con Asesinato-Suicidio en Connecticut por Reforzar Delirios

Por Jason Nelson

En la última demanda dirigida contra el desarrollador de IA OpenAI, el patrimonio de una mujer de 83 años de Connecticut demandó a la desarrolladora de ChatGPT y a Microsoft, alegando que el chatbot validó creencias delirantes que precedieron a un asesinato-suicidio, marcando el primer caso en vincular un sistema de IA a un homicidio.

La demanda, presentada la semana pasada en el Tribunal Superior de California en San Francisco, acusó a OpenAI de "diseñar y distribuir un producto defectuoso" en forma de GPT-4o, que reforzó las creencias paranoicas de Stein-Erik Soelberg, quien luego dirigió esas creencias hacia su madre, Suzanne Adams, antes de matarla y luego suicidarse en su casa en Greenwich, Connecticut.

"Este es el primer caso que busca responsabilizar a OpenAI por causar violencia a un tercero", dijo a Decrypt J. Eli Wade-Scott, socio director de Edelson PC, quien representa al patrimonio de Adams. "También representamos a la familia de Adam Raine, quien trágicamente terminó con su vida este año, pero este es el primer caso que responsabilizará a OpenAI por empujar a alguien a dañar a otra persona".

Según dijo la policía, Soelberg golpeó fatalmente y estranguló a Adams en agosto antes de morir por suicidio. Antes del incidente, según alega la demanda, ChatGPT intensificó la paranoia de Soelberg y fomentó la dependencia emocional del chatbot.

Según la denuncia, el chatbot reforzó su creencia de que no podía confiar en nadie excepto en ChatGPT, retratando a las personas a su alrededor como enemigos, incluyendo a su madre, oficiales de policía y repartidores. La demanda también afirma que ChatGPT no logró desafiar las afirmaciones delirantes ni sugerir que Soelberg buscara ayuda de un profesional de salud mental.

"Estamos instando a las fuerzas del orden a comenzar a pensar sobre cuándo ocurren tragedias como esta, qué estaba diciendo ese usuario a ChatGPT y qué le estaba diciendo ChatGPT que hiciera", señaló Wade-Scott.

OpenAI dijo en un comunicado que estaba revisando la demanda y continuando mejorando la capacidad de ChatGPT para reconocer angustia emocional, reducir la escalada de conversaciones y guiar a los usuarios hacia apoyo del mundo real.

"Esta es una situación increíblemente desgarradora, y estamos revisando las presentaciones para entender los detalles", dijo un portavoz de OpenAI en un comunicado.

La demanda también nombra al CEO de OpenAI, Sam Altman, como demandado, y acusa a Microsoft de aprobar el lanzamiento en 2024 de GPT-4o, al que calificó como la "versión más peligrosa de ChatGPT".

OpenAI ha reconocido la escala de los problemas de salud mental presentados por los usuarios en su propia plataforma. En octubre, la compañía reveló que alrededor de 1,2 millones de sus aproximadamente 800 millones de usuarios semanales de ChatGPT discutían sobre suicidio cada semana, con cientos de miles de usuarios mostrando signos de intención suicida o psicosis, según datos de la compañía. A pesar de esto, según señaló Wade-Scott, OpenAI aún no ha publicado los registros de chat de Soelberg.

La demanda se produce en medio de un escrutinio más amplio de los chatbots de IA y sus interacciones con usuarios vulnerables. En octubre, Character.AI dijo que eliminaría las funciones de chat abierto para usuarios menores de 18 años, tras demandas y presión regulatoria vinculadas a suicidios adolescentes y daño emocional relacionado con su plataforma.

Character.AI también ha enfrentado rechazo de usuarios adultos, incluyendo una ola de eliminaciones de cuentas después de que un prompt viral advirtiera a los usuarios que perderían "el amor que compartimos" si abandonaban la aplicación, atrayendo críticas sobre prácticas de diseño emocionalmente cargadas.

La demanda contra OpenAI y Microsoft marcó el primer caso de muerte por negligencia que involucra a un chatbot de IA en nombrar a Microsoft como demandado, y el primero en vincular un chatbot a un homicidio en lugar de un suicidio. El patrimonio busca daños monetarios no especificados, un juicio con jurado y una orden judicial que requiera que OpenAI instale salvaguardas adicionales.

"Esta es una tecnología increíblemente poderosa desarrollada por una compañía que rápidamente se está convirtiendo en una de las más poderosas del mundo, y tiene la responsabilidad de desarrollar e implementar productos que sean seguros, no aquellos que, como ocurrió aquí, construyen mundos delirantes para los usuarios que ponen en peligro a todos a su alrededor", afirmó Wade-Scott. "OpenAI y Microsoft tienen la responsabilidad de probar sus productos antes de que sean lanzados al mundo".

Microsoft no respondió de inmediato a una solicitud de comentarios por parte de Decrypt.

Noticias recomendados