2023-10-23 18:21:59
Puntos destacados:
🤖 Un nuevo agente de IA desarrollado por NVIDIA Research ha enseñado a una mano robótica a realizar trucos de giro de bolígrafo tan rápido como un humano.
🎛️ El agente de IA, llamado Eureka, ha enseñado a los robots a realizar casi 30 tareas complejas, como abrir cajones, lanzar y atrapar pelotas y manipular tijeras.
📊 Los programas de recompensa generados por Eureka superan en rendimiento a los escritos por humanos en más del 80% de las tareas, lo que mejora el rendimiento de los robots en más de un 50% en promedio.
Un nuevo agente de IA desarrollado por NVIDIA Research que puede enseñar a los robots habilidades complejas ha entrenado a una mano robótica para realizar trucos rápidos de giro de bolígrafo, tan bien como lo haría un humano.
La sorprendente prestidigitación, mostrada en el video de arriba, es una de las casi 30 tareas que los robots han aprendido a realizar con maestría gracias a Eureka, que escribe de forma autónoma algoritmos de recompensa para entrenar a los bots.
Eureka también ha enseñado a los robots a abrir cajones y armarios, lanzar y atrapar pelotas y manipular tijeras, entre otras tareas.
La investigación de Eureka, publicada hoy, incluye un artículo y los algoritmos de IA del proyecto, con los que los desarrolladores pueden experimentar utilizando NVIDIA Isaac Gym, una aplicación de referencia de simulación física para la investigación de aprendizaje por refuerzo. Isaac Gym está construido sobre NVIDIA Omniverse, una plataforma de desarrollo para construir herramientas y aplicaciones en 3D basadas en el marco OpenUSD. Eureka en sí está alimentado por el modelo de lenguaje GPT-4.
«El aprendizaje por refuerzo ha permitido avances impresionantes en la última década, pero todavía existen muchos desafíos, como el diseño de recompensas, que sigue siendo un proceso de prueba y error», dijo Anima Anandkumar, directora senior de investigación de IA en NVIDIA y autora del artículo de Eureka. «Eureka es un primer paso hacia el desarrollo de nuevos algoritmos que integren métodos de generación y aprendizaje por refuerzo para resolver tareas difíciles».
Los programas de recompensa generados por Eureka, que permiten el aprendizaje por prueba y error para los robots, superan en rendimiento a los escritos por expertos humanos en más del 80% de las tareas, según el artículo. Esto lleva a una mejora promedio de más del 50% en el rendimiento de los bots.
El agente de IA utiliza el LLM GPT-4 y la IA generativa para escribir código de software que recompensa a los robots por el aprendizaje por refuerzo. No requiere solicitudes específicas de tareas ni plantillas de recompensa predefinidas, y se ajusta fácilmente a los comentarios humanos para modificar sus recompensas y obtener resultados más alineados con la visión de un desarrollador.
Usando la simulación acelerada por GPU en Isaac Gym, Eureka puede evaluar rápidamente la calidad de grandes lotes de candidatos a recompensa para un entrenamiento más eficiente.
Luego, Eureka construye un resumen de las estadísticas clave de los resultados del entrenamiento e instruye al LLM para mejorar su generación de funciones de recompensa. De esta manera, la IA se va mejorando a sí misma. Ha enseñado a todo tipo de robots, como cuadrúpedos, bipedales, cuadricópteros, manos hábiles, brazos colaborativos y otros, a realizar todo tipo de tareas.
El artículo de investigación proporciona evaluaciones detalladas de 20 tareas entrenadas por Eureka, basadas en benchmarks de destreza de código abierto que requieren que las manos robóticas demuestren una amplia gama de habilidades de manipulación complejas.
Los resultados de nueve entornos de Isaac Gym se muestran en visualizaciones generadas utilizando NVIDIA Omniverse.
«Eureka es una combinación única de grandes modelos de lenguaje y tecnologías de simulación aceleradas por GPU de NVIDIA», dijo Linxi «Jim» Fan, científico senior de investigación en NVIDIA, uno de los colaboradores del proyecto. «Creemos que Eureka permitirá el control hábil de los robots y proporcionará una nueva forma de producir animaciones físicamente realistas para los artistas».
Es un avance que seguramente hará volar la imaginación de los desarrolladores, sumándose a los avances recientes de NVIDIA Research, como Voyager, un agente de IA construido con GPT-4 que puede jugar a Minecraft de forma autónoma.
NVIDIA Research cuenta con cientos de científicos e ingenieros en todo el mundo, con equipos centrados en temas como IA, gráficos por computadora, visión por computadora, autos autónomos y robótica.
