La animación de personajes, busca transformar imágenes estáticas en videos coherentes y controlables, es el objetivo de investigación del Instituto de Computación Inteligente, Grupo Alibaba.
A pesar de la corriente principal de modelos de difusión en la generación visual, persisten desafíos, especialmente en la animación de personajes.
Esta investigación llamada Animate Anyone, presenta un marco que aprovecha los modelos de difusión y aborda la coherencia temporal mediante la IA ReferenceNet, la guía de pose eficiente y un enfoque de modelado temporal, logrando resultados superiores en comparación con otros métodos.
Marco Propuesto: Preservando la coherencia y control
Para preservar la coherencia en las características detalladas de la imagen de referencia, se introduce ReferenceNet, diseñado para fusionar características de detalle mediante la atención espacial.
Para asegurar control y continuidad, se implementa una guía de pose eficiente para dirigir los movimientos y un enfoque de modelado temporal eficaz para transiciones fluidas entre fotogramas de vídeo.
Proceso detallado
La secuencia de pose se codifica con Pose Guider y se fusiona con ruido de varios fotogramas, seguido por la Unidad de Eliminación de Ruido que emplea Atención Espacial, Atención Cruzada y Atención Temporal.
La integración de la imagen de referencia incluye la extracción de características detalladas a través de ReferenceNet y la utilización de un codificador CLIP para Cross-Attention.
El decodificador VAE finaliza la generación del videoclip.
Resultados y evaluación
El enfoque se evalúa en puntos de referencia para el video de moda y la síntesis de danza humana, superando los métodos existentes.
La capacidad para animar personajes arbitrarios, ampliando los datos de entrenamiento, destaca su versatilidad y eficacia.
Aplicaciones prácticas de Animate Anyone
El método se aplica con éxito en la animación de varios personajes, predominando la síntesis de video de moda y la generación de danzas humanas realistas a partir de imágenes estáticas.
Animate Anyone representa un paso adelante en la animación de personajes, demostrando su eficacia a través de resultados de última generación en diversas aplicaciones.
More Stories
Tutorial de Unity: Aberración cromática y distorsión Bubble Shader
IA Copilot de Microsoft llega a nuevos portátiles Intel y AMD
Técnicas de la percepción de velocidad en Unreal Engine 5