2023-11-22 16:36:15
La IA generativa para modelos 3D avanza a paso firme. El último sistema procede de investigadores chinos y es el más rápido hasta la fecha.
Investigadores de MetaApp AI Research y varias universidades chinas han desarrollado MetaDreamer, una nueva herramienta para crear rápidamente modelos 3D a partir de descripciones de texto. El método está diseñado para superar problemas habituales en la creación de modelos 3D, como las incoherencias desde distintos ángulos y la lentitud de procesamiento.
Para ello, el equipo separa el proceso generativo. MetaDreamer funciona en dos etapas principales: En primer lugar, la herramienta da forma al objeto 3D (fase de geometría) para asegurarse de que tiene un aspecto correcto desde todos los ángulos. Después, en la fase de textura, MetaDreamer añade detalles y texturas para que el objeto parezca realista.
MetaDreamer genera un modelo en 20 minutos
En concreto, en la fase de geometría, el equipo de MetaDreamer optimiza un modelo 3D aproximado en Instant-NGP con una imagen de referencia generada por un modelo de difusión y varias imágenes generadas por un modelo de difusión multivista desde diferentes ángulos. En la segunda fase, el modelo resultante se refina aún más en Instant-NGP con imágenes detalladas adicionales generadas por IA.
Según el equipo, este método da como resultado modelos 3D más rápidos y de mayor calidad. MetaDreamer puede crear objetos 3D detallados a partir de texto en sólo 20 minutos en una GPU Nvidia A100, lo que actualmente representa el tiempo más rápido en este campo.
MetaDreamer muestra un salto de calidad en comparación con métodos anteriores
En las pruebas, los investigadores compararon MetaDreamer con otros métodos de conversión de texto a 3D, como Dreamfusion y Magic3D. MetaDreamer superó a estos métodos en velocidad, calidad y grado de coincidencia de los modelos con las descripciones textuales. MetaDreamer también obtuvo la puntuación más alta en las pruebas comparativas T3Bench, un estándar para medir la calidad de los modelos 3D.
Sin embargo, la herramienta aún no es perfecta; por ejemplo, tiene dificultades para crear escenas con múltiples objetos. El equipo planea resolver este problema en el futuro mejorando la comprensión del modelo sobre cómo interactúan los objetos en el espacio 3D.
Otros ejemplos de modelos generativos de inteligencia artificial para 3D son Dream Fields de Google, CLIP-Mesh, Point-E y Shap-E de OpenAI, Dream3D de Tencent o, más recientemente, 3D Gaussian Splatting. Luma AI también tiene una oferta comercial llamada Genie.
Puede encontrar más información y ejemplos en Página del proyecto MetaDreamer.
