2023-08-10 13:04:09
Un equipo de investigadores presenta la primera solución de renderizado de alta calidad en tiempo real para campos de radiación, con tiempos de entrenamiento en minutos y renderizado a más de 100 FPS.
Investigadores de Inria, el Instituto Max Planck de Informática y la Universidad Côte d’Azur han presentado un nuevo método de renderizado en tiempo real de alta calidad de campos de radiación adquiridos a partir de escenas reales. Con este método se consigue una calidad visual de vanguardia que requiere tiempos de entrenamiento muy breves, competitivos con los anteriores métodos rápidos de campos de radiancia, y un renderizado en tiempo real muy superior al estándar de 30 fps.
La clave está en representar la escena con un conjunto de gaussianos 3D, esencialmente una forma 3D flexible que también se puede rasterizar de forma muy eficiente proyectándola en 2D. El método comienza con un conjunto básico de puntos obtenidos a partir de una técnica estándar de calibración de cámaras denominada estructura a partir del movimiento (SfM). A partir de estos puntos, el método crea las gaussianas 3D. Cada gaussiano tiene una posición central, una matriz que especifica su forma y dirección, y su nivel de transparencia (opacidad). Utilizando las imágenes de entrada como referencia y otras técnicas, el método afina el renderizado ajustando los gaussianos.
Renderizado de alta calidad con más de 100 FPS
Para conseguir un renderizado rápido, los autores desarrollaron un rasterizador de GPU que proyecta los gaussianos 3D a 2D. Esta herramienta organiza los gaussianos en un orden específico y se asegura de que se mezclen correctamente. También lo hace rápidamente, preservando los detalles necesarios de cada imagen.
El método consigue renderizar en tiempo real 1080p vistas novedosas en más de 100 FPS, con una calidad que iguala o supera los mejores trabajos anteriores, como Mip-NeRF360, que necesita hasta 48 horas de tiempo de entrenamiento. Optimización de gaussianos 3D en cuestión de minutoscompetitivo con los métodos anteriores más rápidos, como InstantNGP.
«Primer enfoque que renderiza en tiempo real y con alta calidad el campo de radiancia»
Según el equipo, los gaussianos 3D proporcionan una representación de la escena compacta y flexible que establece un nuevo estándar. «Hemos presentado el primer enfoque que realmente permite la renderización de campos de radiancia en tiempo real y de alta calidad, en una amplia variedad de escenas y estilos de captura, al tiempo que requiere tiempos de entrenamiento competitivos con los métodos anteriores más rápidos», escriben.
Dado que más del 80 por ciento del tiempo de entrenamiento se emplea en código Python, el equipo sospecha que habrá que seguir trabajando, ya que portar la optimización restante por completo a CUDA podría proporcionar una aceleración adicional significativa para aplicaciones en las que el rendimiento es fundamental.
Hay más información, ejemplos y código disponibles en la página web sitio web del proyecto.