Speech Graphics y animación facial generada con IA

La animación facial desempeña un papel esencial en la creación de personajes auténticos en videojuegos y películas, transmitiendo comunicación verbal y no verbal.

Con el avance tecnológico, los desarrolladores tienen acceso a diversas técnicas de animación.

En esta investigación, presentamos a Gregor Hofer, CEO y cofundador de Speech Graphics, para analizar las opciones disponibles para los animadores.

Animación facial basada en audio

Esta técnica utiliza clips de audio para generar animación facial realista.

Speech Graphics destaca al utilizar tecnología basada en audio que mapea los sonidos con precisión a los movimientos musculares, permitiendo incluso la animación de la lengua.

Sus productos, SGX y SG Com, han elevado los estándares en juegos como Hogwarts Legacy y The Last Of Us Part 2.

Ventajas:

• Escalable y rentable: Facilita el escalado y reduce la necesidad de costosas capturas de actuación completa.
• Flexibilidad de edición: Permite la fácil edición de expresiones faciales después de la primera pasada.
• Sincronización labial precisa: Destaca en la sincronización precisa de movimientos labiales, incluso animando la lengua.
• Tiempo real y conexión a TTS e IA: Utilizable en tiempo real y compatible con texto a voz y tecnologías de inteligencia artificial.

Desventajas:

• Dificultad en la semejanza: Lograr semejanza es más desafiante ya que un actor puede usar múltiples combinaciones musculares.

Captura de rendimiento facial (PCap)

Esta técnica precisa replica expresiones faciales mediante un estudio profesional. Ampliamente utilizado en la industria del entretenimiento, presenta desafíos de costos y edición limitada.

Ventajas:

Captura de Semejanza: Ofrece reproducción precisa de expresiones faciales y movimientos.

Desventajas:

• Costoso: Requiere equipos costosos y múltiples etapas de producción.
• Captura de ruido: Puede ser ruidoso y laborioso en la postproducción.
• Limitada en edición: La edición es corta si el rendimiento no satisface o hay cambios en el guion.

Captura de teléfono con una sola cámara

Esta opción más accesible utiliza dispositivos de consumo como iPhones, siendo asequible pero limitada en calidad y escalabilidad.

Ventajas

• Asequible: Accesible para casi cualquier persona.
• Casi en tiempo real: Ofrece retroalimentación de animación casi instantánea.

Desventajas

• Menor calidad: Difícil obtener actuaciones convincentes.
• Falta de escalabilidad: Limitada en edición y no escalable a grandes cantidades de contenido.

Sistemas híbridos

Muchos estudios adoptan enfoques híbridos, combinando PCap y animación basada en audio.

Esto permite una mayor personalización y realismo, como se evidencia en juegos como Hogwarts Legacy y The Last Of Us Part 2.

Conclusión

Cada técnica tiene sus pros y contras, y la elección depende del presupuesto y las prioridades del animador.

Speech Graphics emerge como una opción flexible, escalable y precisa, permitiendo la combinación con PCap para lograr la mejor experiencia posible en animación facial.

Con información de 80lv.