La Universidad de Rutgers publicó ScoreHMR, nuevo enfoque para resolver problemas en la reconstrucción de poses y formas humanas en 3D.
Durante la CVPR 2024, investigadores de la Universidad de Rutgers presentaron una nueva técnica que promete revolucionar el campo, el modelo de difusión para escanear poses en tiempo real..
Score-Guided Human Mesh Recovery (ScoreHMR)
ScoreHMR es un método que se alinea con la observación de imágenes mediante la guía de partituras en el espacio latente de un modelo de difusión.
A diferencia de los métodos tradicionales que ajustan modelos basados en imágenes, ScoreHMR utiliza un enfoque guiado por puntuaciones en el espacio latente de un modelo de difusión entrenado.
Funcionamiento
El modelo de difusión utilizado por ScoreHMR captura la distribución condicional de los parámetros del modelo humano dados una imagen de entrada.
Al guiar su proceso de eliminación de ruido con una puntuación específica de la tarea, ScoreHMR resuelve problemas inversos para varias aplicaciones sin necesidad de volver a entrenar el modelo independientemente para cada tarea.
Comparaciones y resultados
Según los desarrolladores, ScoreHMR supera a varios puntos de referencia y configuraciones, incluyendo el ajuste del modelo de un solo fotograma y la reconstrucción a partir de múltiples vistas y secuencias de video no calibradas.
En comparación con enfoques como ProHMR y SMPLify, ScoreHMR logra reconstrucciones más fieles y precisas, como se evidencia en las comparaciones realizadas por los desarrolladores.
El modelo de difusión es una herramienta idónea para la recuperación de poses y formas humanas en 3D.
Su especialidad basado en puntuaciones en el espacio latente de un modelo de difusión ofrece resultados más precisos y robustos en comparación con los métodos existentes.
Este modelo de IA promete tener un gran impacto en campos como la animación, la realidad virtual, la medicina y la seguridad, entre otros.
Para obtener el código y la investigación completa sobre ScoreHMR, pueden visitar este enlace.
Con información de 80lv.
Más historias
Alerta masiva: 16 mil millones de contraseñas filtradas
WhatsApp comenzará a mostrar anuncios dentro de la app
Blender 4.5 entra en fase beta