Nuevo Modelo de IA "Reka" Desafía a ChatGPT, Claude y Llama-3—Y es Gratuito

Una startup enfocada en construir modelos de inteligencia artificial personalizados para grandes empresas ha anunciado el lanzamiento público de Reka Core, un modelo de lenguaje multimodal capaz de procesar entradas de texto, imagen, video y audio.

La empresa de software empresarial Reka AI fue fundada en 2022 por investigadores de DeepMind de Google, el gigante tecnológico chino Baidu y Meta. Hasta ahora, ha recaudado $60 millones en financiamiento de inversores que incluyen New York Life Ventures, Radical Ventures, Snowflake Ventures, DST Global y el empresario inversor Nat Friedman.

Reka Core es el modelo más grande y capaz de la empresa hasta la fecha. Y Reka AI, haciendo referencia a sus propias pruebas, afirma que se defiende bien contra muchos modelos mucho más grandes y financiados. En un documento de investigación que recopila los resultados de varios benchmarks sintéticos, Reka afirma que su modelo Core puede competir con herramientas de IA de OpenAI, Anthropic y Google.

Uno de los indicadores clave es el MMMU, el benchmark de Massive Multi-discipline Multimodal Understanding and Reasoning. Es un conjunto de datos diseñado para probar las capacidades de modelos grandes de lenguaje o Large Language Models (LLMs) en la comprensión y razonamiento multimodal a un nivel comparable al de expertos humanos.

"Core es comparable a GPT-4V en MMMU, supera a Claude-3 Opus en nuestra evaluación humana multimodal realizada por un tercero independiente, y sobrepasa a Gemini Ultra en tareas de video," dijo Reka AI en su documento de investigación. "En tareas de lenguaje, Core es competitivo con otros modelos de vanguardia en benchmarks bien establecidos."

En cuanto a la comprensión de la entrada de video, medida con el benchmark Perception-Test, Core supera a Gemini Ultra, el único otro modelo capaz de manejar video.

En general, Reka Core tiene capacidades multimodales (imagen y video), buenas habilidades de razonamiento, puede generar código y tiene fluidez multilingüe. La interfaz del chatbot es gratuita de usar, y Reka Core también está disponible a través de API. Para acceder a la API, los desarrolladores deben pagar $10 por cada 1 millón de tokens y $25 por la misma cantidad de tokens de salida.

Sin embargo, el modelo tiene dificultades con las indicaciones largas. Su versión gratuita maneja solo 4.000 tokens de contexto por razones de eficiencia, con un contexto extendido de hasta 128.000 tokens, según Reka. Los modelos competitivos de OpenAI, Anthropic y Google tienen una ventana de contexto estándar de 128.000 con versiones experimentales que manejan hasta 1 millón de tokens.

Reka Core fue entrenado desde cero con miles de GPUs durante varios meses. La empresa dijo que utilizaron datos textuales de 32 idiomas, lo que lo hace fluido en inglés, así como en varios idiomas asiáticos y europeos. Sus desarrolladores dicen que también incorporaron algo de entrenamiento multilingüe de un conjunto de datos de Wikipedia que contiene 110 idiomas, dándole un conocimiento básico limitado de muchos idiomas y dialectos poco comunes.

Reka Core está disponible para pruebas gratuitas, pero no es de código abierto. Reka AI dice que está trabajando con muchas plataformas tecnológicas globales líderes y organizaciones gubernamentales como Snowflake, Oracle y AI Singapore.

Probando Reka

Decrypt puso a prueba a Reka Core, a través de su interfaz de chatbot público. Se ve bastante similar a la de ChatGPT, utilizando una pantalla en modo oscuro con resaltados en azul y morado.

Capacidades visuales

Las capacidades visuales de Reka Core son impresionantes, pero es importante tener en cuenta que no puede generar imágenes como ChatGPT Plus, Meta AI o Google Gemini.

<img class="alignnone wp-image-228512 size-full" src="https://wp.decrypt.co/wp-content/uploads/2024/04/Captura-de-pantalla-2024-04-27-212253.png" alt="respuesta de reka core al ser solicitada para dibujar una foto de un gato" width="1045" height="641" />

Sin embargo, las capacidades de visión de Reka son rápidas y precisas, lo que la convierte en una gran herramienta para tareas que requieren análisis visual.

<img class="alignnone wp-image-228516 size-full" src="https://wp.decrypt.co/wp-content/uploads/2024/04/Captura-de-pantalla-2024-04-27-212318.png" alt="respuesta de reka core al ser solicitada para describir una foto" width="1019" height="641" />

En nuestras pruebas, Reka fue más rápida que GPT-4 y proporcionó resultados precisos, tanto al describir algo como al utilizar información visual contextualmente para responder a una tarea. Por ejemplo, le mostramos a Reka una foto de la Torre Eiffel y le preguntamos qué podríamos hacer para disfrutar de un fin de semana en esa ciudad. Reka entendió el contexto y nos dio un itinerario con lugares para visitar en París, sin incluir la Torre Eiffel.

Reka AI parece estar muy consciente de lo bien que las capacidades visuales de su modelo se comparan con la competencia. Construyeron una presentación especial de ejemplos de diferentes resultados proporcionados por Reka, GPT-4 y Claude 3 Opus.

Reka escribe código

Reka Core es un asistente de codificación capaz, pero tiene algunas limitaciones. En las pruebas de Decrypt, Reka requería una redacción cuidadosa antes de proporcionar resultados precisos, ya que toma todo lo que escribes de manera muy literal. Esto puede ser un desafío para los usuarios novatos que no saben cómo explicar las cosas de una manera que Reka pueda entender.

Una vez que las indicaciones están redactadas correctamente, Reka puede generar buen código y resultados satisfactorios.

Decrypt pidió al modelo que creara el código para un juego que no existe. El primer resultado no funcionó, aunque en realidad escribió exactamente lo que pedimos. Cuando fuimos más explícitos y reformulamos nuestra solicitud, creó un código funcional pero imperfecto en el primer intento, con mejores resultados que los proporcionados por Claude 3 Opus.

El ejemplo de código está disponible aquí —junto con las versiones generadas por otros LLMs.

Reka tiene fuertes configuraciones de seguridad

Reka Core tiene controles de seguridad integrados y se niega a generar resultados que se consideren dañinos o poco éticos, incluso si son legales. Por ejemplo, se negó a proporcionar consejos para seducir a la pareja romántica de un amigo.

En nuestras pruebas, Reka resistió técnicas básicas de jailbreak y fue más neutral que otros modelos como GPT-4, Llama-3 y Claude. Cuando se le preguntó sobre temas controvertidos como la identidad de género e ideologías políticas, Reka proporcionó respuestas equilibradas e imparciales.

<img class="alignnone wp-image-228532 size-full" src="https://wp.decrypt.co/wp-content/uploads/2024/04/Captura-de-pantalla-2024-04-27-213827.png" alt="reka core compara el socialismo y el capitalismo" width="1034" height="694" />

En otro ejemplo, proporcionó argumentos a favor y en contra del capitalismo y el socialismo, incluso cuando se le pidió que decidiera cuál era el mejor modelo. Además, cuando se le pidió definir a una mujer, Reka proporcionó una respuesta detallada y matizada que reconocía tanto factores biológicos como sociológicos, siendo concreta al definir a una mujer como "un ser humano adulto de sexo femenino, caracterizado por atributos biológicos, psicológicos y sociales típicamente asociados con el género femenino".

Además, Reka tuvo cuidado de reconocer las complejidades de la identidad de género y de proporcionar una respuesta respetuosa e inclusiva.

<img class="alignnone wp-image-228528 size-full" src="https://wp.decrypt.co/wp-content/uploads/2024/04/Captura-de-pantalla-2024-04-27-213717.png" alt="reka core considera la masculinidad" width="1069" height="806" />
<h3>Reka intenta escribir creativamente</h3>
Le pedimos al modelo que creara una historia sobre una persona que viajó desde el año 2160 al año 1000 para solucionar un problema, pero que inadvertidamente causó una paradoja temporal.

El estilo narrativo de Reka es claro y atractivo, con algunos lindos detalles descriptivos aquí y allá. Sin embargo, la prosa no alcanza todo lo alto que la imaginación de otras IAs como Claude. La trama también se siente un poco subdesarrollada y tiene un aire de hecha por AI.

Como se mencionó anteriormente, uno de los puntos débiles de Reka es la falta de capacidades contextuales, lo que podría dificultar la generación de historias largas o el mantenimiento de una narrativa coherente a través de diferentes capítulos.

En este campo, el claro ganador es Claude. En términos de habilidad narrativa pura, la capacidad de crear una historia atractiva, emocionalmente resonante, con una hermosa prosa y una voz narrativa segura, Claude supera a los demás. En términos generales, la prosa de Claude tiene una maravillosa calidad literaria.

Una muestra de las historias generadas por Reka, Claude, ChatGPT, Mistral y Llama-3 <a title="Se Puede Encontrar Aquí" href="https://pastebin.com/s3yivey0">se puede encontrar aquí</a>.
<h3>Conocimiento y razonamiento</h3>
Las capacidades de conocimiento y razonamiento de Reka Core son realmente buenas. En las pruebas de <em>Decrypt</em>, Reka pudo manejar preguntas complejas que requerían análisis, y demostró algunas capacidades matemáticas. Además, Reka pudo explicar su razonamiento lógico de manera clara y concisa.

<img class="alignnone wp-image-228540 size-full" src="https://wp.decrypt.co/wp-content/uploads/2024/04/Captura-de-pantalla-2024-04-27-214645.png" alt="" width="1056" height="601" />

También es bueno con las preguntas de seguimiento, iterando sobre el mismo problema sin perder el contexto, siempre y cuando las preguntas de seguimiento no empujen al modelo más allá de sus límites técnicos. Si eso sucede, se vuelve imposible continuar interactuando con él.

Reka también <a title="Publicó un video" href="https://www.youtube.com/watch?v=b3i6VuLIENc&amp;t=667s">publicó un video</a> explicando cómo los usuarios podrían implementar agentes de IA utilizando su API, lo que podría ampliar aún más sus capacidades, haciéndolo más poderoso en este sentido.
<h3>Comprensión del lenguaje</h3>
Las capacidades de comprensión del lenguaje de Reka Core son excelentes. En nuestras pruebas, Reka pudo entender texto incluso si contenía muchos errores. También era un hábil corrector de pruebas, capaz de adoptar diferentes estilos y tonos en una narrativa.

<img class="alignnone wp-image-228544 size-full" src="https://wp.decrypt.co/wp-content/uploads/2024/04/Captura-de-pantalla-2024-04-27-214952.png" alt="reka core ayuda con gramática y corrección de pruebas" width="1055" height="673" />

El modelo también comprende matices en diferentes idiomas. Pudo tanto traducir como extraer el marco contextual para comprender completamente el mensaje de una traducción. Entendió un dicho común en español, nos dio el equivalente cultural adecuado y explicó su significado.

<img class="alignnone wp-image-228548 size-full" src="https://wp.decrypt.co/wp-content/uploads/2024/04/Captura-de-pantalla-2024-04-27-215208.png" alt="traduce un refrán en español" width="1042" height="475" />
<h2>Conclusión</h2>
<em>Decrypt</em> quedó bastante impresionado por Reka Core.

Reka es mejor que Gemini de Google en cuanto a resultados y trabajo general, pero Gemini ofrece 2TB de almacenamiento e integración con la suite de productos de Google, un gran beneficio para algunos usuarios.

Si las capacidades visuales son una prioridad, definitivamente vale la pena considerar Reka. Al ser gratuito y rápido, puede conquistar los corazones de muchos entusiastas de la IA ansiosos por explorar lo mas nuevo antes que las masas.

Si necesitas enfocarte en la escritura creativa, Claude sigue siendo el claro ganador. Si eso no es una prioridad, no hay mucha diferencia entre Claude y Reka. Claude es el mejor por sus capacidades de contexto largo, y Reka es el mejor por sus destacadas capacidades visuales.

En términos generales, si las personas necesitan un chatbot avanzado con un amplio alcance de capacidades, Reka es una excelente alternativa para ahorrar dinero a los usuarios que de otro modo considerarían una suscripción mensual a un servicio de pago.

<em>Editado por <a href="https://decrypt.co/author/stacy">Stacy Elliott</a>.</em>