Investigadores de Microsoft, Google y Columbia Proponen Estándar de Seguros para Cubrir Fallos de Agentes de IA

Por Jason Nelson

A medida que los agentes de IA comienzan a gestionar pagos, operaciones financieras y otras transacciones, crece la preocupación por los riesgos financieros que recaen sobre el humano detrás del agente cuando estos sistemas fallan. Un consorcio de investigadores argumenta que las técnicas actuales de seguridad en IA no abordan ese riesgo, y que es necesario considerar nuevas técnicas similares a los seguros.

En un reciente documento, investigadores de Microsoft, Google DeepMind, la Universidad de Columbia y las startups Virtuals Protocol y t54.ai propusieron el Agentic Risk Standard, un marco de capa de liquidación diseñado para compensar a los usuarios cuando un agente de IA ejecuta mal una tarea, no logra prestar un servicio o genera pérdidas financieras.

"Los mecanismos de seguridad técnicos solo pueden ofrecer fiabilidad probabilística, mientras que los usuarios en entornos de alto riesgo suelen requerir garantías ejecutables sobre los resultados", señala el documento .

Los autores argumentan que la mayor parte de la investigación actual en IA se centra en mejorar el comportamiento de los modelos, como reducir el sesgo, hacer los sistemas más difíciles de manipular y hacer sus decisiones más fáciles de entender.

"Estos riesgos son fundamentalmente de nivel de producto y no pueden eliminarse únicamente con medidas técnicas de seguridad, porque el comportamiento de los agentes es intrínsecamente estocástico", escribieron. "Para cerrar esta brecha entre la fiabilidad a nivel de modelo y la garantía que percibe el usuario, proponemos un marco complementario basado en la gestión de riesgos".

El Agentic Risk Standard añade salvaguardas financieras a la forma en que se gestionan las tareas de IA. Para tareas simples en las que el usuario solo arriesga pagar una tarifa por el servicio, el pago se mantiene en custodia y se libera únicamente tras confirmar que el trabajo fue completado. Para tareas de mayor riesgo que requieren adelantar dinero, como operaciones de trading o cambio de divisas, el sistema incorpora a un asegurador. Este evalúa el riesgo, exige al proveedor del servicio que aporte una garantía y reembolsa al usuario si ocurre un fallo cubierto.

El documento señaló que los daños no financieros, como las alucinaciones, la difamación o el daño psicológico, quedan fuera del marco.

Los investigadores indicaron que el sistema fue evaluado mediante una simulación de 5.000 pruebas, aunque aclararon que el experimento fue limitado y no fue diseñado para reflejar tasas de fallo en el mundo real.

"Estos resultados motivan trabajo futuro sobre modelado de riesgos para distintos modos de fallo, la medición empírica de las frecuencias de fallo en condiciones similares al despliegue real, y el diseño de esquemas de aseguramiento y garantías que se mantengan robustos ante errores del detector y comportamientos estratégicos", concluye el estudio.

Noticias recomendados