DECAF es un novedoso método monocular de captura de movimiento para las interacciones de la cara y las manos.
Un equipo de investigadores del Instituto Max Planck de Informática y Valeo.ai ha presentado oficialmente Decaf, el nuevo método para configurar reconstrucciones 3D de manos y rostros altamente realistas, descrito por el equipo como el primer método monocular de captura de movimiento a partir de un video que retrocede los movimientos 3D de manos y caras junto con las deformaciones que surgen de sus interacciones.
Manos y rostros realistas en 3D
Este procedimiento, conocido como DECAF, marca un hito en la creación de reconstrucciones 3D realistas de manos y rostros. Los investigadores han desarrollado un enfoque revolucionario para capturar los movimientos de las manos y las interacciones faciales a partir de un solo video en 2D.
Representación articulada y deformaciones faciales no rígidas
DECAF se basa en representar las manos como objetos articulados que inducen deformaciones no rígidas en la cara durante las interacciones activas.
El enfoque permite obtener reconstrucciones 3D altamente precisas de ambas partes del cuerpo, incluyendo las deformaciones realistas que surgen de su interacción.
Captura de movimientos e interacciones sin marcadores
El equipo de investigación ha creado un conjunto de datos completo que abarca una amplia variedad de movimientos e interacciones mano-cara, todo capturado sin el uso de marcadores.
Utilizando un sistema de cámara multivista, lograron recopilar datos de alta calidad que respaldan su uso.
El núcleo del enfoque neuronal
La herramienta utiliza un autocodificador variacional para proporcionar información sobre la profundidad de las manos y la cara, así como módulos que guían el seguimiento 3D al estimar los contactos y las deformaciones.
El enfoque neuronal es esencial para lograr reconstrucciones finales de manos y rostros en 3D que son realistas y altamente plausibles en comparación con otros sistemas existentes, tanto en términos cuantitativos como cualitativos.
Resultados consistentes en el tiempo
El método DECAF es capaz de capturar los movimientos de las manos y las deformaciones faciales en 3D a partir de un video en 2D, y lo hace de manera consistente en el tiempo.
Esto lo convierte en una herramienta poderosa para aplicaciones en campos como la animación, la realidad virtual, la telemedicina y mucho más.
DECAF representa un progreso en la creación de reconstrucciones realistas de manos y rostros en 3D a partir de videos en 2D, abriendo nuevas posibilidades en la generación de contenido digital y la interacción persona-máquina.
Con información de 80lv.
More Stories
Apptronik se une a Google DeepMind para cambiar la robótica
CogLabs: Robótica para transformar la educación en África
Falla crítica en herramientas de transferencia de archivos