¡Tu carrito está actualmente vacío!
El reciente lanzamiento de Mistral-NeMo-Minitron 8B, uno de los modelos de lenguaje más avanzados y de acceso abierto en su clase, marca un hito en la tecnología de procesamiento del lenguaje natural (NLP).
Este modelo, resultado de la colaboración entre NVIDIA y Mistral AI, ofrece una precisión líder en nueve puntos de referencia populares, superando consistentemente a otros modelos de tamaño similar.
Proceso de poda y destilación
El Mistral-NeMo-Minitron 8B fue desarrollado a partir del modelo Mistral NeMo 12B, empleando técnicas de poda de ancho y destilación de conocimientos.
La poda de ancho reduce las dimensiones intermedias y ocultas del modelo, haciéndolo más compacto sin sacrificar la calidad.
La destilación de conocimientos, por su parte, transfiere las capacidades predictivas de un modelo grande a uno más pequeño, logrando eficiencia y velocidad de procesamiento con menos recursos.

Puesta a punto y parámetros técnicos
Para asegurar la eficacia del modelo, se realizó una puesta a punto del modelo base, ajustándolo a un conjunto de datos específico.
Posteriormente, se llevó a cabo la poda de ancho, reduciendo considerablemente las dimensiones de incrustación y MLP del modelo original.
La destilación se efectuó con parámetros cuidadosamente calibrados, utilizando 380 mil millones de tokens, lo que garantizó una alta precisión.
Colaboración de NVIDIA y Mistral AI: Mistral-NeMo-Minitron 8B
Mistral-NeMo-Minitron 8B destaca por su precisión y eficiencia, superando a otros modelos recientes en su categoría.
Dicho modelo representa el primer paso en una serie de desarrollos que continuarán mejorando la precisión y reduciendo el tamaño de los modelos de lenguaje, con implementaciones futuras planificadas en el marco de NVIDIA NeMo para IA generativa.
Con información de NVIDIA.
Tagged in :
Más entradas
IA local para robots más hábiles
.
Gemini Robotics On-Device es el nuevo modelo de IA desarrollado para ejecutarse directamente en robots, sin depender de la nube.
El marcapasos celular está en el núcleo, no fuera de él
.
Investigadores del Instituto Francis Crick demostraron que el «marcapasos» que regula la división celular, se encuentra dentro del núcleo.
Gemini CLI: Inteligencia artificial en la terminal
.
Gemini CLI es una nueva herramienta de código abierto que lleva el poder de Gemini directamente al terminal de los desarrolladores.