Los investigadores utilizan la simulaci贸n generativa para desbloquear infinitos datos de entrenamiento para robots

A帽adir a tus IAs favoritasQuitar de tus favoritasQuitar de favoritos 0
Puntuaci贸n0

2023-11-05 14:09:09

Los investigadores presentan RoboGen, un agente rob贸tico generativo que aprende autom谩ticamente nuevas habilidades en una simulaci贸n generativa.

El trabajo de investigadores de CMU, Tsinghua IIIS, MIT CSAIL, UMass Amherst y el MIT-IBM AI Lab pretende aprovechar los recientes avances en IA generativa para generar datos de entrenamiento infinitos para el aprendizaje automatizado de robots.

Seg煤n el equipo, RoboGen es un agente rob贸tico generativo que aprende diversas tareas rob贸ticas de forma autom谩tica y masiva mediante simulaci贸n generativa. El equipo utiliza modelos b谩sicos existentes, como el GPT-4 de OpenAI, para 芦generar autom谩ticamente tareas, escenas y supervisiones de entrenamiento diversificadas, ampliando as铆 el aprendizaje de habilidades rob贸ticas con una supervisi贸n humana m铆nima.禄

RoboGen utiliza GPT-4 para la simulaci贸n generativa

En concreto, RoboGen tiene un proceso automatizado con cuatro pasos:

Propuesta de tarea: RoboGen selecciona un modelo de robot y un objeto y utiliza GPT-4 para generar tareas basadas en esta informaci贸n.

Generaci贸n de escenas: RoboGen crea entornos de simulaci贸n para las tareas propuestas. Para ello, selecciona objetos 3D de la base de datos Objaverse y los coloca en disposiciones realistas utilizando GPT-4.

Generaci贸n de supervisi贸n del entrenamiento: A continuaci贸n, RoboGen utiliza GPT-4 para descomponer todas las tareas en peque帽os pasos. Seg煤n el equipo, esta descomposici贸n conduce a tareas menos exigentes que luego pueden resolverse mediante algoritmos como el aprendizaje por refuerzo. Tras este paso, GPT-4 selecciona un algoritmo adecuado para cada tarea.

Aprendizaje de habilidades: Una vez seleccionada la tarea, la escena en el entorno de simulaci贸n, las subtareas y los algoritmos, se inicia la escena y el entrenamiento en la simulaci贸n.

V铆deo: Wang, Xian, Chen et al.

RoboGen seguir谩 desarroll谩ndose

En una primera prueba, RoboGen gener贸 simulaciones de entrenamiento para m谩s de 100 tareas diferentes. Seg煤n el equipo, el conjunto de datos resultante ya supera a los generados por humanos. Sin embargo, el equipo no compar贸 su trabajo con el conjunto de datos Open-X Embodiment de Google Deepmind, presentado recientemente y dise帽ado tambi茅n para apoyar el aprendizaje general de rob贸tica con distintos tipos de robots. Este conjunto de datos podr铆a utilizarse en el futuro para mejorar las capacidades de RoboGens.

V铆deo: Wang, Xian, Chen et al.

El equipo cita la falta de verificaci贸n de las habilidades aprendidas como limitaci贸n de RoboGen, pero los procesos automatizados se integrar谩n en el futuro. Adem谩s, la brecha de realidad sigue siendo un problema, pero se est谩 reduciendo a medida que avanza la investigaci贸n.

Toda la informaci贸n, m谩s ejemplos y el c贸digo est谩n disponibles en GitHub.

Deja una opini贸n

Deje una respuesta

馃 AI MAFIA
Logo