La tarea desafiante de animar imágenes humanas ha encontrado un aliado en MagicAnimate, un framework creado por la Universidad Nacional de Singapur que busca generar videos coherentes siguiendo una secuencia de movimientos específica.
A diferencia de las técnicas convencionales que emplean deformación de fotogramas, MagicAnimate se destaca al abordar desafíos clave para mantener la consistencia temporal y preservar la identidad de referencia.
Modelo de difusión para mejorar la consistencia temporal
MagicAnimate presenta un modelo de difusión de video que codifica información temporal, mejorando significativamente la coherencia temporal en la animación.
Este enfoque novedoso supera los problemas de falta de modelado temporal y preservación de la identidad que enfrentan otras técnicas.
Codificador de apariencia para detalles intrincados
Para conservar los detalles intrincados de la imagen de referencia, MagicAnimate introduce un codificador de apariencia. Esta adición es crucial para mantener la coherencia de la apariencia en todos los fotogramas, asegurando una animación visualmente fiel.
Fusión de video para transiciones suaves
Empleando una técnica de fusión de video, MagicAnimate garantiza transiciones suaves en videos largos. Esta estrategia simple contribuye a la mejora de la fidelidad de la animación y proporciona resultados notables en comparación con los enfoques convencionales.
Resultados empíricos
Los resultados empíricos respaldan la eficacia de MagicAnimate, superando en más del 38% a la línea de base más sólida en fidelidad de video, especialmente en desafiantes conjuntos de datos como el de bailes de TikTok. Tanto el código como el modelo estarán disponibles para la comunidad.
Animación de la imagen humana
MagicAnimate se centra en animar la imagen de referencia, manteniendo la consistencia temporal en las secuencias de movimiento.
Comparaciones cualitativas
Se presentan comparaciones entre MagicAnimate y SOTA en la animación de ID cruzado, evidenciando la superioridad en la animación de imágenes de referencia con secuencias de movimiento diferentes.
Animación de dominio invisible
MagicAnimate va más allá al animar imágenes de dominio invisible, como pinturas al óleo y personajes de películas.
Combinación con el modelo de difusión T2I
La combinación de MagicAnimate con el modelo de difusión T2I ofrece animaciones diversas, generando acciones a partir de imágenes de referencia.
Animación multipersona
La herramienta respaldado por un modelo de difusión de video y un codificador de apariencia, permite la animación multipersona con transiciones suaves para videos extensos.
More Stories
Tutorial de Unity: Aberración cromática y distorsión Bubble Shader
IA Copilot de Microsoft llega a nuevos portátiles Intel y AMD
Técnicas de la percepción de velocidad en Unreal Engine 5