OmniMotion: Seguimiento de píxeles para la estimación de movimiento en vídeo

En su reciente artículo llamado Tracking Everything Everywhere All at Once (Seguimiento de todo, en todas partes, todo a la vez), investigadores de Google, la Universidad de Cornell y la Universidad de Berkeley presentaron OmniMotion un “nuevo método de optimización de tiempo de prueba para estimar el movimiento denso y de largo alcance a partir de una secuencia de video” mejorando los algoritmos que detectan el movimiento.

Presentan un nuevo método de optimización del tiempo de prueba para estimar el movimiento denso y de largo alcance a partir de una secuencia de video.

Los algoritmos previos de seguimiento de flujo óptico o video de partículas generalmente operan dentro de ventanas temporales limitadas, luchando por rastrear a través de oclusiones y mantener la consistencia global de las trayectorias de movimiento estimadas.

Proponen una representación de movimiento completa y globalmente consistente, denominada OmniMotion, que permite una estimación de movimiento precisa y completa de cada píxel en un video.

OmniMotion representa un vídeo utilizando un volumen canónico cuasi-3D y realiza un seguimiento de píxeles a través de biyecciones entre el espacio local y canónico.

Esta representación nos permite garantizar la consistencia global, rastrear las oclusiones y modelar cualquier combinación de movimiento de la cámara y el objeto.

Las evaluaciones exhaustivas sobre el punto de referencia TAP-Vid y las imágenes del mundo real muestran que su enfoque supera los métodos anteriores de vanguardia por un amplio margen tanto cuantitativa como cualitativamente.

¿Cómo usar OmniMotion?

Para utilizar la demostración interactiva para inspeccionar las correspondencias generadas por el método. Simplemente haga clic en cualquier ubicación en el marco de consulta (izquierda) y observe su ubicación correspondiente en el marco de destino (derecha).

Use el control deslizante para cambiar a un marco de destino diferente y presione el botón ‘puntos claros’ para eliminar todos los puntos. Los puntos que se identifican como ocluidos se muestran como cruces en lugar de puntos.

Tenga en cuenta que esta demostración muestra correspondencias para un solo fotograma de consulta, pero nuestra representación captura todas las correspondencias de cualquier fotograma a cualquier otro fotograma de un vídeo.

El seguimiento de video aún es difícil de implementar de manera confiable, por lo que los investigadores proponen OmniMotion, la representación de movimiento que permite una estimación precisa y completa del movimiento de cada píxel.

OmniMotion representa un vídeo utilizando un volumen canónico cuasi-3D y realiza un seguimiento de píxeles a través de biyecciones entre el espacio local y canónico.

Esta representación permite garantizar la consistencia global, rastrear las oclusiones y modelar cualquier combinación de movimiento de la cámara y el objeto”.

Los autores también dicen que pueden extraer una visualización pseudo-profunda.

Si bien el método supera a otros modelos, según los investigadores, todavía tiene margen de mejora. En este momento, lucha con movimientos rápidos y altamente no rígidos, así como con estructuras delgadas.

Puede comprobar qué tan bien rastrea el movimiento OmniMotion, puede probar esta herramienta aquí.