Investigadores presentan ‘3D-GPT’, una IA capaz de generar mundos en 3D a partir de simples comandos de texto
2023-10-24 18:32:02
Puntos destacados:
🤖 Investigadores desarrollan sistema de IA que genera modelos 3D a partir de descripciones de texto.
🔧 El sistema utiliza agentes de IA especializados en diferentes tareas de modelado 3D.
🌟 Este enfoque promete simplificar y agilizar la creación de contenido 3D.
Investigadores de la Universidad Nacional de Australia, la Universidad de Oxford y la Academia de Inteligencia Artificial de Beijing han desarrollado un nuevo sistema de IA llamado «3D-GPT» que puede generar modelos 3D simplemente a partir de descripciones basadas en texto proporcionadas por un usuario.
El sistema, descrito en un artículo publicado en arXiv, ofrece una forma más eficiente e intuitiva de crear activos 3D en comparación con los flujos de trabajo tradicionales de modelado 3D.
3D-GPT es capaz de «descomponer tareas de modelado 3D procedurales en segmentos accesibles y asignar el agente adecuado para cada tarea», según el artículo. Utiliza múltiples agentes de IA que se enfocan en diferentes partes de la comprensión de la indicación de texto y la ejecución de funciones de modelado.
crédito: arxiv.org
«3D-GPT posiciona a los modelos de lenguaje grandes (LLM) como resolutores de problemas competentes, descomponiendo las tareas de modelado 3D procedurales en segmentos accesibles y designando el agente adecuado para cada tarea», indicaron los investigadores.
Los agentes clave incluyen un «agente de despacho de tareas» que analiza las instrucciones de texto, un «agente de conceptualización» que agrega detalles que faltan en la descripción inicial y un «agente de modelado» que define los parámetros y genera el código para impulsar software 3D como Blender.
Al descomponer el proceso de modelado y asignar agentes de IA especializados, 3D-GPT es capaz de interpretar las indicaciones de texto, mejorar las descripciones con detalles adicionales y, en última instancia, generar activos 3D que coincidan con lo que el usuario imaginó.
«Mejora las descripciones iniciales concisas de escenas, convirtiéndolas en formas detalladas al adaptar dinámicamente el texto en función de las instrucciones posteriores», explicó el artículo.
crédito: arxiv.org
El sistema fue probado con indicaciones como «una mañana de primavera brumosa, donde las flores rocío besadas decoran un prado exuberante rodeado de árboles en flor». 3D-GPT pudo generar escenas 3D completas con gráficos realistas que reflejaban con precisión los elementos descritos en el texto.
Aunque la calidad de los gráficos aún no es fotorealista, los resultados iniciales sugieren que este enfoque basado en agentes muestra promesas para simplificar la creación de contenido 3D. La arquitectura modular también permitiría mejorar cada componente del agente de manera independiente.
«Nuestras investigaciones empíricas confirman que 3D-GPT no solo interpreta y ejecuta instrucciones, ofreciendo resultados confiables, sino que también colabora de manera efectiva con los diseñadores humanos», escribieron los investigadores.
crédito: arxiv.org
Al generar código para controlar software 3D existente en lugar de construir modelos desde cero, 3D-GPT proporciona una base flexible para seguir avanzando en las técnicas de modelado. Los investigadores concluyen que su sistema «destaca el potencial de los modelos de lengu
