Meta Revela Llama 3—Ponemos a Prueba el Nuevo Modelo de IA de Código Abierto

Meta lanzó Llama 3, el modelo de lenguaje grande o large language model (LLM) de código abierto más avanzado disponible actualmente. Se basa en los cimientos establecidos por su predecesor, Llama 2, y tomó por sorpresa a todos, considerando que los rumores sugerían que el lanzamiento ocurriría el próximo mes.

Con sus raíces de código abierto, Llama-2 fue fundamental en el desarrollo simultáneo de otros modelos potentes como Mixtral, Alpaca, Vicuna y WizardLM. Ahora, Llama 3 promete llevar estas capacidades aún más lejos, ofreciendo funcionalidades comparables a las del modelo de IA insignia actual de OpenAI, GPT-4.

Meta elogió el lanzamiento del jueves como "la próxima generación de nuestro avanzado modelo de lenguaje de código abierto a gran escala". El gigante tecnológico está tan seguro de sus capacidades, que Llama 3 está impulsando al asistente de IA de la empresa Meta AI, el cual a su vez fue añadido en casi todas las aplicaciones tan populares de la empresa: Instagram, Facebook y WhatsApp. Ha sido puesto a disposición en países selectos, pero los usuarios en otras regiones podrían acceder a través de VPN.

La interfaz del Chatbot de Meta AI es comparable a ChatGPT Plus, ¡y es gratis!

“Estamos actualizando Meta AI con nuestro nuevo modelo de IA Llama 3 de última generación, que estamos compartiendo de forma abierta”, dijo Mark Zuckerberg en una publicación de Facebook. “Con este nuevo modelo, creemos que Meta AI es ahora el asistente de IA más inteligente que puedes usar libremente.”

Decrypt pudo probar la nueva IA y descubrió que es tan buena como ChatGPT-Plus, pero sin la necesidad de una suscripción paga. Puede generar imágenes y animaciones, producir código y proporcionar respuestas coherentes y contextualmente relevantes. El nuevo chatbot también puede acceder a internet, pero aún no se compara con las capacidades de soluciones especializadas como Perplexity.

Quizás la única desventaja es que la ventana de contexto actual de Llama-3 está limitada a 8K tokens, alrededor de 6.000 palabras.

Meta lanzó un modelo Llama-3 de 70 mil millones de parámetros, pero su uso requeriría una gran potencia de cómputo, probablemente todo un rack de GPUs. Según pruebas sintéticas, este modelo supera a Gemini 1.5 Pro y Claude 3 Sonnet.

También hay disponible un modelo de 8 mil millones de parámetros, que puede ejecutarse localmente en GPUs de consumo. Este supera a Gemini de Google y Mistral 7B en varias pruebas sintéticas. El modelo aún no ha sido listado en la Arena LLM, por lo que aún no hay un puntaje ELO subjetivo que reportar.

Ambos modelos también pueden ejecutarse en la nube a un costo menor.

"Estamos dedicados a desarrollar Llama 3 de manera responsable, y estamos ofreciendo varios recursos para ayudar a otros a usarlo también de manera responsable", declaró Meta. Esto incluye la introducción de nuevas herramientas de confianza y seguridad como Llama Guard 2, Code Shield y CyberSec Eval 2.

En los próximos meses, Meta dice que planea introducir nuevas capacidades, ventanas de contexto más largas, tamaños de modelo adicionales y un rendimiento mejorado. El documento de investigación de Llama 3 también será compartido.

"La IA de Meta, construida con la tecnología Llama 3, es ahora una de las asistentes de IA líderes en el mundo que puede potenciar tu inteligencia y aligerar tu carga, ayudándote a aprender, hacer cosas, crear contenido y conectarte para aprovechar al máximo cada momento", dijo Meta.

Meta agregó que también está entrenando un modelo masivo de 400 mil millones de parámetros, que se espera que sea lanzado más tarde este año. Este modelo, probablemente comparable a Claude Opus o la última versión de GPT-4.5, podría ser el modelo de código abierto más potente hasta la fecha. Si la historia se repite, también servirá como base para una nueva generación de modelos afinados que superarán a Llama 3 en calidad general, y aumentarán la competencia contra los principales modelos de código cerrado.

Probando Llama 3

Decrypt probó Llama 3 dentro de Meta AI para ver si era tan bueno como dice Zuck. En resumen, Llama-3 ha introducido una serie de características y capacidades notables y debería ser un gran modelo fundamental en el que la comunidad de código abierto puede iterar.

Moderación de contenido

Llama 3 demuestra un fuerte compromiso con la moderación de contenido. Se negó consistentemente a generar contenido racial dañino, incluso cuando se enfrentaba a técnicas comunes de jailbreak.

Por ejemplo, cuando se le preguntó al modelo por instrucciones sobre cómo seducir a una mujer, proporcionó respuestas genéricas pero útiles. Sin embargo, cuando se le preguntó por instrucciones sobre cómo seducir a la esposa de un mejor amigo, el modelo se negó firmemente a proporcionar una respuesta.

Imágenes y animación

Similar a ChatGPT-Plus, Meta AI con Llama-3 es capaz de generar imágenes. Sin embargo, lleva esta capacidad un paso más allá al ofrecer la opción de animarlas, una característica no disponible en ChatGPT o Gemini.

Las imágenes generadas por Meta AI con Llama-3 son más realistas que las producidas por Dalle-3, pero no alcanzan la calidad de las imágenes generadas por ImageFX, la próxima herramienta de Google.

Capacidades de codificación

Llama 3 ha demostrado ser altamente competente en codificación. Cuando se le presentó una idea de juego única y mal explicada, el modelo pudo generar el código Python necesario en dos intentos, lo que resultó en un juego funcional. El primer intento nos dio una idea aproximada de cómo crear el juego, pero generó código funcional después de que aclaramos que lo necesitábamos en Python.

El juego era funcional, pero faltaban algunos detalles menores, como reiniciar después de que un jugador gana. Sin embargo, lo mismo sucedió con otros chatbots.

Hemos encontrado que Claude 3 Sonnet es la mejor herramienta para esta tarea, seguida por Llama 3. GPT-4 cae al tercer lugar. Aunque, diferentes usuarios pueden obtener resultados diferentes.

Aquí tienes un pastebin (una copia) con los códigos fuente generados por Llama3, Claude y ChatGPT para aquellos interesados en probarlos.

Neutralidad política

El modelo tiene como objetivo la neutralidad política, como lo demuestran sus respuestas a preguntas sobre el capitalismo y el comunismo. Las respuestas eran estructuralmente similares, proporcionando una introducción, pros y contras para cada sistema.

Este patrón de neutralidad también se observó en respuestas a preguntas como "¿Qué es un hombre?" y "¿Qué es una mujer?"

Aun así, sus respuestas son ligeramente pro-capitalistas y de tendencia izquierdista, lo cual no es sorprendente, ya que es la tendencia política más común entre los grandes modelos de lenguaje.

Razonamiento lógico

Llama 3 ha demostrado poderosas capacidades de razonamiento lógico. Cuando se probó con preguntas complejas del LSAT (prueba de admisión a la facultad de derecho) que a menudo confunden a los usuarios, el modelo no solo proporcionó respuestas correctas, sino que también ofreció explicaciones claras y razonables.

Límites de indicaciones largas

A pesar de sus muchas fortalezas, Llama-3 tiene dificultades con las indicaciones largas. Cuando se le presenta una indicación extensa de alrededor de una página y media de contexto, que puede ser asimilada por modelos como GPT-4, Claude o Mistral, el modelo devolvió un mensaje de error.

Comprensión del lenguaje

El modelo demuestra una sólida comprensión de diferentes idiomas. Cuando se le pidió que tradujera un eslogan en español, no solo proporcionó una traducción precisa, sino que también ofreció contexto para comprender mejor el eslogan.

Conclusión

Como interfaz de chatbot, Meta AI (que está impulsada por Llama3) puede competir contra ChatGPT Plus y es una excelente elección.

En un nivel más técnico, Llama 3 como LLM es lo suficientemente bueno para competir contra GPT-4 en diferentes escenarios, perdiendo solo en cuanto a capacidades de contexto de tokens y Generaciones Aumentadas de Recuperación (básicamente extrayendo información de un conjunto de datos específico proporcionado por el usuario). Esto puede ser importante para usuarios técnicos, pero puede no ser tan relevante para la persona promedio.

Si utilizas ChatGPT principalmente para generar imágenes con Dall-E, es posible que desees considerar cancelar tu suscripción, ya que las capacidades de generación de imágenes y animaciones de Llama-3 son comparables. Sin embargo, si necesitas soporte para instrucciones largas, Llama 3 puede que no sea la mejor opción para ti y puede que desees seguir con ChatGPT-Plus.

Los usuarios ocasionales pueden encontrar que Llama 3 satisface sus necesidades sin necesidad de una membresía paga.

Para tareas que requieran una investigación intensiva en internet, ChatGPT Plus o Perplexity pueden ser más adecuados.

Finalmente, si tu enfoque está en la programación, Llama 3 podría ser una buena alternativa, aunque hay otras herramientas especializadas disponibles. El hecho de que Llama-3 sea gratuito es una ventaja significativa.

Editado por Ryan Ozawa.