En una colaboración entre Meta Reality Labs y la Universidad de California, Berkeley, se ha presentado un marco para generar avatares fotorrealistas con movimientos corporales que siguen la dinámica de las interacciones diádicas.
A través del audio de una conversación, este método produce gestos realistas en la cara, el cuerpo y las manos, abriendo nuevas posibilidades en el mundo de los avatares.
La fusión de la cuantificación vectorial y detalles de alta frecuencia
El proceso se basa en combinar la diversidad de muestras de la cuantificación vectorial con detalles de alta frecuencia obtenidos mediante la difusión, logrando así un movimiento gestual más dinámico y expresivo.
La visualización se realiza mediante avatares altamente fotorrealistas, capaces de expresar matices cruciales en los gestos, como sonrisas y muecas. Además, se ha creado un conjunto de datos conversacionales multivista, pionero en su tipo, para facilitar la reconstrucción fotorrealista.
Pasos para la generación de movimiento conversacional
Desde la captura de datos hasta el resultado final, Audio2Photoreal incluye la captura de conversaciones diádicas, la creación de un modelo de movimiento facial, un predictor de pose guía y un cuerpo modelo de movimiento.
El uso del audio como entrada para generar gestos en la cara y el cuerpo, combinado con técnicas de difusión, demuestra ser fundamental para lograr movimientos más dinámicos y agudos.
Avances en movimiento y expresividad
Los resultados en Audio2Photoreal muestran momentos notables, como posturas guía que conducen a movimientos específicos y generación de muestras variadas con la misma entrada de audio.
En comparación con enfoques anteriores, este método demuestra una mayor diversidad y plausibilidad en los gestos generados.
Evaluación de movimientos conversacionales
La evaluación perceptual destaca la importancia del fotorrealismo en la precisión de los detalles sutiles del movimiento en los gestos conversacionales.
El enfoque desarrollado supera a métodos anteriores, subrayando la necesidad de representaciones fotorrealistas para una evaluación precisa en este campo innovador.
More Stories
IA Copilot de Microsoft llega a nuevos portátiles Intel y AMD
¿Se están reduciendo las emisiones de carbono de Meta?
Unigine: Motor 3D en tiempo real para simulaciones