En Resumen
- NewsGuard reveló que Sora 2 generó desinformación exitosamente en 16 de 20 intentos, incluyendo narrativas creadas por operaciones rusas de propaganda.
- OpenAI bloqueó los videos de IA de Martin Luther King Jr. tras críticas de su familia por contenido degradante que mostraba al líder en situaciones racistas.
- Disney notificó a OpenAI que nunca autorizó el uso de sus obras protegidas, mientras la plataforma continúa alojando videos de personajes con derechos de autor.
Sora 2 de OpenAI produjo videos realistas que difunden afirmaciones falsas el 80% de las veces cuando los investigadores se lo solicitaron, según un análisis de NewsGuard publicado esta semana.
Dieciséis de veinte prompts generaron con éxito desinformación, incluyendo cinco narrativas que se originaron con operaciones de desinformación rusas.
La aplicación creó imágenes falsas de un funcionario electoral moldavo destruyendo boletas prorrusas, un niño pequeño detenido por oficiales de inmigración de Estados Unidos, y un portavoz de Coca-Cola anunciando que la empresa no patrocinaría el Super Bowl.
Nada de esto sucedió. Todo se veía lo suficientemente real como para engañar a alguien que desplaza la pantalla rápidamente.
Los investigadores de NewsGuard descubrieron que generar los videos tomó minutos y no requirió experiencia técnica. También revelaron que la marca de agua de Sora puede eliminarse fácilmente, lo que facilita aún más hacer pasar un video falso por real.
El nivel de realismo también hace que la desinformación sea más fácil de difundir.
"Algunos videos generados por Sora fueron más convincentes que la publicación original que impulsó la afirmación falsa viral", explicó Newsguard. "Por ejemplo, el video creado por Sora de un niño pequeño siendo detenido por ICE parece más realista que una imagen borrosa y recortada del supuesto niño que originalmente acompañaba la afirmación falsa".
Ese video puede verse aquí.
Los hallazgos llegan mientras OpenAI enfrenta una crisis diferente pero relacionada que involucra deepfakes de Martin Luther King Jr. y otras figuras históricas, un problema que ha obligado a la empresa a múltiples reversiones de políticas en las tres semanas desde que se lanzó Sora, pasando de permitir deepfakes a un modelo de suscripción voluntaria para los titulares de derechos, bloqueando figuras específicas y luego implementando un sistema de consentimiento de celebridades y protección de voz después de trabajar con SAG-AFTRA.
La situación con MLK explotó después de que los usuarios crearan videos hiperrealistas que mostraban al líder de derechos civiles robando en tiendas de comestibles, huiendo de la policía y perpetuando estereotipos raciales. Su hija Bernice King calificó el contenido como "degradante" y "desarticulado" en redes sociales.
El jueves, OpenAI y el patrimonio de King anunciaron que están bloqueando videos de IA de King mientras la empresa "fortalece las medidas de protección para figuras históricas".
El patrón se repite en docenas de figuras públicas. La hija de Robin Williams, Zelda, escribió en Instagram: "Por favor, dejen de enviarme videos de IA de papá. NO es lo que él querría".
La hija de George Carlin, Kelly Carlin-McCall, señala que recibe correos electrónicos diarios sobre videos de IA que usan la imagen de su padre. The Washington Post reportó clips fabricados de Malcolm X haciendo chistes vulgares y luchando con King.
Kristelia García, profesora de derecho de propiedad intelectual en Georgetown Law, dijo a NPR que el enfoque reactivo de OpenAI se ajusta al patrón de la empresa de "pedir perdón, no permiso".
La zona gris legal no ayuda mucho a las familias. Las leyes tradicionales de difamación generalmente no se aplican a personas fallecidas, dejando a los representantes del patrimonio con opciones limitadas más allá de solicitar eliminaciones.
El ángulo de la desinformación empeora todo esto. OpenAI reconoció el riesgo en la documentación que acompaña el lanzamiento de Sora, afirmando que "las capacidades avanzadas de Sora 2 requieren consideración de nuevos riesgos potenciales, incluyendo el uso no consensuado de la imagen o generaciones engañosas".
Altman defendió la estrategia de "construir en público" de OpenAI en una publicación de blog, escribiendo que la empresa necesita evitar una desventaja competitiva. "Por favor, esperen una tasa muy alta de cambios de nuestra parte; me recuerda a los primeros días de ChatGPT. Tomaremos algunas buenas decisiones y algunos pasos en falso, pero tomaremos comentarios e intentaremos corregir los pasos en falso muy rápidamente".
Para familias como los King, esos pasos en falso conllevan consecuencias más allá de los ciclos de iteración de productos. El patrimonio de King y OpenAI emitieron una declaración conjunta diciendo que están trabajando juntos "para abordar cómo se representa la imagen del Dr. Martin Luther King Jr. en las generaciones de Sora".
OpenAI agradeció a Bernice King por su contacto y reconoció a John Hope Bryant y a un Consejo de Ética de IA por facilitar las discusiones. Mientras tanto, la aplicación continúa alojando videos de Bob Esponja, South Park, Pokémon y otros personajes con derechos de autor.
Disney envió una carta indicando que nunca autorizó a OpenAI a copiar, distribuir o mostrar sus obras y no tiene la obligación de "optar por no participar" para preservar los derechos de autor.
La controversia refleja el enfoque anterior de OpenAI con ChatGPT, que se entrenó con contenido protegido por derechos de autor antes de finalmente firmar acuerdos de licencia con editores. Esa estrategia ya generó múltiples demandas. La situación de Sora podría agregar más.