Los investigadores utilizan la simulación generativa para desbloquear infinitos datos de entrenamiento para robots

Añadir a tus IAs favoritasQuitar de tus favoritasQuitar de favoritos 0
Puntuación0

2023-11-05 14:09:09

Los investigadores presentan RoboGen, un agente robótico generativo que aprende automáticamente nuevas habilidades en una simulación generativa.

El trabajo de investigadores de CMU, Tsinghua IIIS, MIT CSAIL, UMass Amherst y el MIT-IBM AI Lab pretende aprovechar los recientes avances en IA generativa para generar datos de entrenamiento infinitos para el aprendizaje automatizado de robots.

Según el equipo, RoboGen es un agente robótico generativo que aprende diversas tareas robóticas de forma automática y masiva mediante simulación generativa. El equipo utiliza modelos básicos existentes, como el GPT-4 de OpenAI, para «generar automáticamente tareas, escenas y supervisiones de entrenamiento diversificadas, ampliando así el aprendizaje de habilidades robóticas con una supervisión humana mínima.»

RoboGen utiliza GPT-4 para la simulación generativa

En concreto, RoboGen tiene un proceso automatizado con cuatro pasos:

Propuesta de tarea: RoboGen selecciona un modelo de robot y un objeto y utiliza GPT-4 para generar tareas basadas en esta información.

Generación de escenas: RoboGen crea entornos de simulación para las tareas propuestas. Para ello, selecciona objetos 3D de la base de datos Objaverse y los coloca en disposiciones realistas utilizando GPT-4.

Generación de supervisión del entrenamiento: A continuación, RoboGen utiliza GPT-4 para descomponer todas las tareas en pequeños pasos. Según el equipo, esta descomposición conduce a tareas menos exigentes que luego pueden resolverse mediante algoritmos como el aprendizaje por refuerzo. Tras este paso, GPT-4 selecciona un algoritmo adecuado para cada tarea.

Aprendizaje de habilidades: Una vez seleccionada la tarea, la escena en el entorno de simulación, las subtareas y los algoritmos, se inicia la escena y el entrenamiento en la simulación.

Vídeo: Wang, Xian, Chen et al.

RoboGen seguirá desarrollándose

En una primera prueba, RoboGen generó simulaciones de entrenamiento para más de 100 tareas diferentes. Según el equipo, el conjunto de datos resultante ya supera a los generados por humanos. Sin embargo, el equipo no comparó su trabajo con el conjunto de datos Open-X Embodiment de Google Deepmind, presentado recientemente y diseñado también para apoyar el aprendizaje general de robótica con distintos tipos de robots. Este conjunto de datos podría utilizarse en el futuro para mejorar las capacidades de RoboGens.

Vídeo: Wang, Xian, Chen et al.

El equipo cita la falta de verificación de las habilidades aprendidas como limitación de RoboGen, pero los procesos automatizados se integrarán en el futuro. Además, la brecha de realidad sigue siendo un problema, pero se está reduciendo a medida que avanza la investigación.

Toda la información, más ejemplos y el código están disponibles en GitHub.

Deja una opinión

      Deje una respuesta

      🤖 AI MAFIA
      Logo