Un avance revolucionario en el campo de la inteligencia artificial: los agentes de IA ahora pueden aprender y perfeccionarse entre generaciones, superando los límites del aprendizaje individual.
En el mundo de la inteligencia artificial, la acumulación cultural, es decir, la capacidad de acumular conocimientos y habilidades a lo largo de las generaciones, se considera un factor clave para el éxito. Investigadores de la Universidad de Oxford y Google DeepMind han dado un paso importante en esta dirección al desarrollar modelos de aprendizaje por refuerzo (RL) que permiten a los agentes de IA aprender unos de otros a través de generaciones.
Dos modelos de aprendizaje:
El estudio presenta dos modelos de RL correspondientes:
- Modelo «En-Contexto»: La acumulación ocurre a través de una adaptación rápida a nuevos entornos. Los agentes aprenden de otros agentes en episodios individuales y también mejoran su comportamiento a través del aprendizaje independiente para proporcionar demostraciones más útiles a la siguiente generación.
- Modelo «En-Pesos»: La acumulación se produce a través de una actualización más lenta de los pesos de la red durante el entrenamiento. La vida útil de un agente es equivalente a un ciclo completo de entrenamiento y los parámetros de la red son equivalentes a las habilidades. Cada agente se entrena desde cero pero se beneficia de las observaciones de la generación anterior.
Superando a los agentes individuales de IA:
Para probar sus modelos, los investigadores hicieron que los agentes artificiales resolvieran tareas complejas en entornos simulados. En todos los casos, los agentes acumulativos superaron a los agentes que solo aprendieron de por vida dado el mismo presupuesto de experiencia.
Resultados y desafíos:
- Aprendizaje en contexto: Se descubrió que los profesores demasiado confiables o demasiado poco confiables en la fase de entrenamiento pueden obstaculizar la acumulación. Es necesario encontrar un equilibrio entre el aprendizaje social y el descubrimiento independiente.
- Aprendizaje en pesos: Ayudó a evitar prejuicios de aprender demasiado pronto.
Implicaciones y trabajo futuro:
Los autores del estudio ven sus resultados como la base para un ciclo de auto-mejora sin fin basado en la población para agentes de IA. Los modelos también podrían proporcionar nuevas herramientas para estudiar la acumulación cultural en los seres humanos.
El trabajo futuro debería abordar, entre otras cosas, planes de estudio aprendidos para guiar el aprendizaje social y la transmisión cultural en escenarios multi-agentes competitivos o cooperativos. Sin embargo, los investigadores señalan que los sistemas de IA potentes y auto-mejoradores también plantean riesgos.
Conclusión:
Este avance en la inteligencia artificial representa un paso importante hacia el desarrollo de sistemas de IA más sofisticados y capaces de aprender y adaptarse de manera similar a los humanos. Sin embargo, es importante considerar las implicaciones éticas de estos sistemas y desarrollar mecanismos para garantizar su uso responsable.
