MeshGPT: Transformadores decodificadores para la generación de mallas triangulares

MeshGPT transforma la generación de mallas triangulares a través de un método empleando un modelo entrenado para producir tokens.

MeshGPT comienza como un procedimiento transformador entrenado para producir tokens a partir de un vocabulario geométrico aprendido, los cuales se decodifican en las caras de una malla triangular.

El resultado es la creación de mallas limpias, coherentes y compactas, destacadas por bordes afilados y alta fidelidad.

Un enfoque secuencial para mallas triangulares compactas

MeshGPT introduce un enfoque único para generar mallas triangulares compactas, inspirado en poderosos modelos de lenguaje.

Adoptando un enfoque basado en secuencias, el método genera automáticamente mallas de triángulos como secuencias de triángulos.

Primero, se aprende un vocabulario de incrustaciones cuantificadas latentes mediante convoluciones de grafos, las cuales informan sobre la geometría y topología local de la malla.

Luego, estas incrustaciones se secuencian y decodifican en triángulos por un decodificador, garantizando una reconstrucción eficaz de la malla.

Comparación con líneas de base y resultados notables

MeshGPT demuestra una mejora notable en comparación con métodos anteriores, logrando un aumento del 9% en la cobertura de formas y una mejora de 30 puntos en las puntuaciones FID en diversas categorías.

Contrario a las líneas de base, este enfoque produce mallas compactas con detalles geométricos nítidos, evitando la sobretriangulación y simplificación excesiva.

Aplicaciones versátiles y escenarios 3D dinámicos

Este método va más allá de la generación de mallas, ya que puede inferir múltiples terminaciones de forma a partir de una malla parcial.

Igualmente se destaca en la generación de activos 3D para escenas, ofreciendo una versatilidad que se ilustra en una sala poblada con activos generados mediante MeshGPT.

Aprendizaje del vocabulario y muestreo autorregresivo

MeshGPT aprende un vocabulario para mallas triangulares a partir de una extensa colección de formas, utilizando una red codificador-decodificador con cuantificación vectorial.

Una vez entrenado completamente, el transformador permite el muestreo directo de mallas como secuencias de este vocabulario, allanando el camino para la generación eficiente de mallas triangulares con bordes afilados, imitando la habilidad humana en la triangulación eficiente.