4 min lectura
Un nuevo benchmark de inteligencia artificial lanzado en agosto muestra que los modelos de IA pueden pronosticar eventos del mundo real con la misma precisión que los mercados de predicción—y a veces mejor, según investigadores del SIGMA Lab de la Universidad de Chicago.
Prophet Arena evalúa sistemas de IA haciéndolos predecir los resultados de eventos en vivo y sin resolver extraídos de plataformas como Kalshi y Polymarket—que van desde resultados electorales hasta partidos deportivos e indicadores económicos. A diferencia de los benchmarks tradicionales que prueban modelos con datos históricos con respuestas conocidas, Prophet Arena prueba la IA contra predicciones futuras.
"Al anclar las evaluaciones en eventos del mundo real sin resolver, Prophet Arena garantiza igualdad de condiciones. No hay ventaja de pre-entrenamiento, no hay truco secreto de ajuste fino, no hay filtración de muestras de prueba", señaló el equipo de Prophet Arena en la publicación oficial del blog del benchmark.
El benchmark dice que intenta abordar una pregunta fundamental sobre la inteligencia artificial: "¿Pueden los sistemas de IA predecir confiablemente el futuro conectando los puntos a través de la información existente del mundo real?"
Los primeros resultados sugieren que sí pueden. GPT-5 actualmente lidera la tabla de clasificación con un puntaje Brier de 82,21%. Mientras tanto, el modelo o3-mini de OpenAI ha emergido como el campeón de ganancias, generando los retornos promedio más altos cuando sus predicciones se traducen en apuestas simuladas (generalmente un outsider con suficientes posibilidades de ganar puede proporcionar mucho más retorno, dadas las condiciones adecuadas).
DeepSeek R1 parece ser la IA contraria del grupo, frecuentemente haciendo predicciones que divergen drásticamente tanto de otros modelos como del consenso del mercado, así que probablemente no es el mejor modelo en el que confiar si quieres hacer dinero rápido en Myriad Markets.
La plataforma revela "personalidades" distintas entre los modelos de IA cuando enfrentan información idéntica. En un ejemplo, al predecir si la regulación de IA se convertiría en ley federal antes de 2026, el mercado asignó solo 25% de probabilidad. Pero los modelos divergieron enormemente: Qwen 3 predijo 75%, GPT-4.1 estimó 60%, mientras que Llama 4 Maverick se mantuvo conservador en 35%.
En otro caso, o3-mini ganó $9 simulados de retorno en una apuesta de $1 al predecir correctamente que Toronto FC vencería a San Diego FC en un partido de la Major League Soccer. El modelo le dio a Toronto 30% de posibilidades de ganar, mientras que el mercado lo valoró en solo 11%. Toronto ganó.
"(Prophet Arena) prueba la capacidad de pronóstico de los modelos, una forma alta de inteligencia que demanda un amplio rango de capacidades, incluyendo entender información existente y fuentes de noticias, razonar bajo incertidumbre, y hacer predicciones sensibles al tiempo sobre eventos en desarrollo", escribieron los investigadores.
Prophet Arena también permite la colaboración humano-IA. Los usuarios pueden proporcionar noticias adicionales y contexto para ver cómo cambian las predicciones, mientras que los modelos de IA proporcionan justificaciones detalladas para sus pronósticos.
Mientras los mercados de predicción integran IA—Kalshi recientemente se asoció con Grok de Elon Musk, mientras que Polymarket genera resúmenes de mercado impulsados por IA—Prophet Arena ofrece la primera comparación sistemática del pronóstico de máquinas contra el juicio humano colectivo.
Y, si se vuelven realmente buenos en ello, entonces las máquinas pueden ser puramente factuales, sin sentimientos o emociones jugando un papel en las decisiones. Podrían potencialmente igualar o superar la sabiduría de las multitudes, cambiando la forma en que las instituciones abordan la evaluación de riesgos, decisiones de inversión y planificación estratégica.
La plataforma Prophet Arena continúa actualizándose diariamente mientras los eventos se resuelven, proporcionando una imagen evolutiva de si la inteligencia artificial puede verdaderamente predecir el futuro conectando los puntos de hoy.
Decrypt-a-cookie
This website or its third-party tools use cookies. Cookie policy By clicking the accept button, you agree to the use of cookies.