La investigación de NVIDIA animará la conferencia sobre aprendizaje de robots

Hallazgos de simulación a real entre 15 artículos que presentarán los investigadores de robots de NVIDIA en CoRL, en Atlanta.

Con el floreciente campo de la robótica, no hay mejor lugar para estar que Atlanta el próximo mes, cuando el Laboratorio de Investigación de Robótica de NVIDIA presentará sus últimos hallazgos en la Conferencia sobre Aprendizaje de Robots, un evento anual centrado en la intersección de la robótica y el aprendizaje automático.

CoRL, que se llevará a cabo del 6 al 9 de noviembre, incluirá 15 artículos en total de NVIDIA, muchos de los cuales destacan los hallazgos de simulación a realidad que permiten el aprendizaje por imitación, la percepción, la segmentación y el seguimiento en robótica.

Escalando la generación de datos en simulación

Para tareas de manipulación ricas en contactos mediante el aprendizaje por imitación, los investigadores de NVIDIA han desarrollado métodos novedosos para escalar la generación de datos en simulación. También han desarrollado un método de aprendizaje de imitación human-in-the-loop para acelerar la recopilación de datos y mejorar la precisión.

Aplicando grandes modelos de lenguaje en robots de NVIDIA

Los investigadores de NVIDIA también utilizaron grandes modelos de lenguaje para tareas tan diversas como la simulación de tráfico y la descripción de tareas guiadas por lenguaje para predecir las posturas de agarre.

Avances previos y futuro

Los investigadores de NVIDIA tienen un historial sobresaliente en la Conferencia sobre Aprendizaje de Robots, y su enfoque en la simulación, la generación de datos y el aprendizaje por imitación promete impulsar aún más el campo de la robótica. No es de sorprender que su trabajo anterior, como “RVT: Robotic View Transformer for 3D Object Manipulation”, siga siendo un tema candente en la conferencia de este año.

Con 15 artículos en el programa de CoRL 2023, la presencia de NVIDIA en el evento es una oportunidad emocionante para explorar los avances más recientes en el aprendizaje de robots y cómo están llevando la simulación a la realidad.

Artículos destacados en CoRL

• “Shelving, Stacking, Hanging: Relational Pose Diffusion for Multi-Modal Rearrangement”: Este artículo cubre un sistema versátil para reposicionar objetos en escenas entrenadas con datos de nubes de puntos 3D. El enfoque sobresale en varias tareas de reordenamiento, demostrando su adaptabilidad y precisión tanto en la simulación como en el mundo real.
• “Imitación de la planificación de tareas y movimientos con transformadores visomotores”: Este artículo cubre un sistema novedoso que utiliza conjuntos de datos a gran escala generados por supervisores de planificación de tareas y movimiento (TAMP) y modelos de transformadores flexibles para sobresalir en diversas tareas de manipulación de robots.
• “Human-in-the-Loop Task and Motion Planning for Imitation Learning”: Este artículo cubre el empleo de un mecanismo de control controlado por TAMP para optimizar la eficiencia de la recopilación de datos, demostrando resultados superiores en comparación con los sistemas de teleoperación convencionales.
• “MimicGen: Un sistema de generación de datos para el aprendizaje escalable de robots mediante demostraciones humanas”: MimicGen es un sistema de generación de datos que genera automáticamente conjuntos de datos de entrenamiento de robots a gran escala adaptando un pequeño número de demostraciones humanas a diversos contextos.
• “M2T2: Multi-Task Masked Transformer for Object-Centric Pick-and-Place”: Este documento cubre cómo un modelo de transformador puede recoger y colocar objetos arbitrarios en escenas desordenadas con transferencia sim2real de disparo cero, superando a los sistemas específicos de tareas hasta en un 37,5% en escenarios desafiantes.
• “STOW: Discrete-Frame Segmentation and Tracking of Unseen Objects for Warehouse Picking Robots”: En contextos dinámicos de robótica industrial, segmentar y rastrear instancias de objetos invisibles con brechas temporales sustanciales es un desafío.
• “Composable Part-Based Manipulation”: Este artículo cubre la manipulación componible basada en partes (CPM), un enfoque novedoso que utiliza la descomposición objeto-parte y las correspondencias parte-parte para mejorar el aprendizaje y la generalización de habilidades de manipulación robótica.