Anand Majmudar, estudiante de la Universidad de Pensilvania, desarrolló un sistema que combina ALOHA, un robot bimanual económico de código abierto, con BiGym, un benchmark diseñado para evaluar manipulaciones robóticas en tareas del hogar.
ALOHA consta de dos brazos robóticos con un solo actuador, montados en una mesa, y varias cámaras para registrar las acciones.
Pero BiGym estaba pensado para robots humanoides móviles, lo que representó un desafío al integrarlo
La solución implicó modificar extensivamente los archivos XML y las configuraciones de ALOHA para que fueran compatibles con BiGym.
Anand adaptó las tareas originales del benchmark, como mover bloques o cerrar un lavavajillas, ajustándolas al entorno estacionario de ALOHA.
Por ejemplo, reposicionó el lavavajillas a una altura media para que los brazos del robot pudieran acceder a él con mayor facilidad.
Control mediante Joycon
Una innovación clave fue el uso de controles Joycon de Nintendo Switch para teleoperar ALOHA.
El estudiante implementó cinemática inversa utilizando Mink, lo que permite al usuario controlar intuitivamente las posiciones de los brazos robóticos sin manejar cada articulación manualmente.
Aunque enfrentó problemas como ruido en los sensores de los Joycon, ajustó los controles mapeando movimientos físicos a acciones precisas del robot.
Para la traducción en el espacio, usó joysticks para controlar ejes y botones para movimientos verticales.
Entrenamiento con ACT
Finalmente, Anand entrenó un modelo de aprendizaje, el Action-Chunking Transformer (ACT), para que el sistema realizara tareas de manera autónoma.
Este modelo predice secuencias de acciones en lugar de decisiones individuales, mejorando la fluidez de las tareas y la planificación a largo plazo.
Recolectó datos mediante teleoperación y los usó para entrenar el modelo con tareas como cerrar un lavavajillas.
Si bien enfrentó limitaciones técnicas en el hardware, logró resultados funcionales al entrenar el modelo en plataformas externas como Google Colab.
Integración de sistemas ALOHA y Bigym
El proyecto demuestra cómo robots económicos y herramientas accesibles pueden realizar tareas avanzadas mediante innovaciones técnicas y metodologías de aprendizaje.
ALOHA y BiGym integrados ofrecen un modelo accesible para avanzar en la robótica doméstica y bimanual, abriendo puertas a futuros desarrollos en este campo.
Pueden ver el paper completo aquí.
More Stories
Exploradores impresos en 3D aprenden a encontrar una bola azul
Una forma más rápida y mejor de entrenar robots de uso general
Reachy 2: Robot humanoide de código abierto para IA