2023-12-04 17:13:59
Investigadores de la Universidad Técnica de Múnich han desarrollado DiffusionAvatars, un método para crear avatares 3D de alta calidad con expresiones faciales realistas.
El sistema se entrenó utilizando vídeos RGB y mallas 3D de cabezas humanas. Tras el entrenamiento, el sistema es capaz de animar avatares tanto tomando animaciones de los vídeos de entrada como generando expresiones faciales mediante un sencillo control.
DiffusionAvatars combina las capacidades de síntesis de imágenes de los modelos de difusión 2D con la consistencia de las redes neuronales 3D. Para esto último, DiffusionAvatars utiliza las llamadas «Modelos neuronales paramétricos de la cabeza» (NPHM) para predecir la geometría de la cabeza humana. Según el equipo, estos modelos proporcionan mejores datos geométricos que los modelos neuronales 3D convencionales.
DiffusionAvatars tiene aplicaciones en XR y más
Según el equipo, DiffusionAvatars genera vídeos temporalmente coherentes y visualmente atractivos para nuevas poses y expresiones faciales de una persona, superando a los enfoques existentes.
Esta tecnología podría utilizarse en el futuro en varios ámbitos, como aplicaciones de RV/RA, videoconferencias inmersivas, juegos, animación cinematográfica, aprendizaje de idiomas y asistentes virtuales. Empresas como Meta y Apple también están investigando Avatares realistas generados por IA.
Sin embargo, la tecnología tiene sus límites: DiffusionAvatars incorpora actualmente la iluminación en las imágenes generadas y no ofrece ningún control sobre las características de exposición. Esto supone un problema para los avatares en entornos realistas. Además, la arquitectura actual sigue siendo intensiva desde el punto de vista computacional, por lo que todavía no es adecuada para aplicaciones en tiempo real.
Más información en Página del proyecto DiffusionAvatars.
