Según Meta, Llama 3 supera a otros modelos, incluido Gemini

Meta ha anunciado el lanzamiento de su última generación de modelos de lenguaje grande, Llama 3, afirmando que supera a la mayoría de los modelos de IA actuales, incluidos Gemini de Google.

En una extensa publicación de su blog, la compañía destacó que Llama 3 estará disponible inicialmente para proveedores de nube como AWS y plataformas de modelos como Hugging Face.

Características de Llama 3

Llama 3 se presenta en dos versiones con pesos de modelo de 8 mil millones (8B) y 70 mil millones (70B) de parámetros, lo que refleja su complejidad y capacidad de comprensión.

Meta asegura que esta nueva versión ofrece un gran salto en rendimiento con respecto a la versión anterior, mostrando mayor diversidad en las respuestas, menos rechazos falsos y mejor capacidad de razonamiento.

Llama 3 aparte, entiende mejor las instrucciones y genera código de forma más eficiente.

Comparaciones y resultados

Según Meta, ambos tamaños de Llama 3 superan a modelos de tamaño similar en varias pruebas de evaluación comparativa.

Por ejemplo, en el benchmark MMLU, Llama 3 8B tuvo un rendimiento significativamente mejor que Gemma 7B y Mistral 7B, mientras que Llama 3 70B superó ligeramente a Gemini Pro 1.5.

Aunque Meta no mencionó a GPT-4 de OpenAI en su publicación de 2.700 palabras, es evidente que Llama 3 busca posicionarse como un líder en el campo de los modelos de IA.

Evaluaciones humanas y mejoras progresivas

Meta también señaló que evaluadores humanos calificaron a Llama 3 más alto que otros modelos, incluyendo GPT-3.5 de OpenAI.

Para estas evaluaciones, se utilizó un nuevo conjunto de datos diseñado para emular escenarios del mundo real, con casos de uso como pedir consejo, resumir y escritura creativa.

Este conjunto de evaluación contenía 1.800 indicaciones cubriendo 12 casos de uso clave.

Se espera que Llama 3 evolucione con modelos de mayor tamaño que puedan manejar cadenas más largas de instrucciones y datos, así como generar respuestas multimodales, como imágenes o transcripciones de audio.

Meta informó que estos modelos más grandes, con más de 400 mil millones de parámetros, están en proceso de entrenamiento, aunque aún no se ha publicado una vista previa ni una comparación con otros modelos grandes como GPT-4.

La empresa estadounidense confía en que Llama 3 marcará un punto en el desarrollo de modelos de lenguaje grande, estableciendo nuevos estándares de rendimiento y capacidad en el mundo de la inteligencia artificial.

Con información de The Verge.