SPARK: Captura facial monocular personalizada en tiempo real

SPARK es una herramienta que permite la reconstrucción de un avatar facial en 3D a partir de múltiples videos monoculares de una persona.

A partir de esta información, se genera un modelo reiluminable, es decir, que puede adaptarse a diferentes condiciones de iluminación, para representar la geometría y la apariencia detallada del rostro.

Seguimiento personalizado en tiempo real

Una vez que SPARK ha creado el avatar facial, utiliza los mismos videos para aprender a rastrear nuevas imágenes de la persona en tiempo real.

Esto permite un seguimiento preciso en videos no vistos previamente, lo cual facilita la manipulación y control del avatar en diversas situaciones.

SPARK: Método original de captura facial

Los métodos actuales para la captura facial monocular presentan limitaciones debido a su dependencia de modelos paramétricos que solo ofrecen una estimación aproximada de la forma del rostro.

SPARK propone un método de captura facial en 3D de alta precisión mediante un proceso de dos etapas.

Primero, se reconstruye un avatar detallado a partir de múltiples videos.

Luego, se realiza un ajuste personalizado utilizando un codificador, lo cual permite obtener una representación más precisa de la postura y la expresión.

Reconstrucción de avatar facial de video múltiple en SPARK

Gracias a su precisión, SPARK se puede utilizar en aplicaciones de edición de rostros y efectos visuales.

Esta tecnología ofrece una alternativa a las técnicas tradicionales de escaneo 3D o modelado manual, mejorando la eficiencia y reduciendo costos en la creación de avatares digitales para cine, videojuegos y otros campos creativos.

Con información de Max Planck Institute for Intelligent Systems.