2023-11-29 10:00:56
Puntos de interés:
🔹 Novedosa técnica de creación denominada Adversarial Diffusion Distillation (ADD) para sintetizar salidas de imagen en un solo paso.
🔹 Ventajas de la destilación por difusión adversarial en SDXL Turbo.
🔹 Ventajas de rendimiento de SDXL Turbo en comparación con otros modelos de difusión
Stability AI presenta SDXL Turbo, un nuevo modelo de texto a imagen capaz de generar imágenes de IA de alta calidad en tiempo real.
SDXL Turbo se basa en los cimientos de SDXL 1.0 e implementa una nueva técnica de destilación para modelos texto-imagen: Adversarial Diffusion Distillation (ADD). Esta técnica reduce el número de pasos de generación de imágenes de 50 a un único paso, manteniendo una alta calidad de imagen.
Al igual que otras técnicas de destilación, ADD utiliza un modelo de imagen de gran difusión previamente entrenado como red maestra. Puede leer el documento de investigación SDXL Turbo en el que se detalla la nueva técnica de destilación de este modelo aquí.
Al integrar ADD, SDXL Turbo ofrece muchas de las ventajas de las redes adversariales generativas (GAN), como la salida de imágenes en un solo paso, al tiempo que evita los artefactos o el desenfoque que suelen verse en otros métodos de destilación, escribe Stability AI.
Al mismo tiempo, proporciona una generación de un solo paso de mayor calidad. Con sólo cuatro pasos, se dice que SDXL Turbo alcanza la calidad de imagen de SDXL con 50 pasos.
Ventajas de la destilación por difusión adversaria
Presentando nuevos avances en tecnologías de modelos de difusión, SDXL Turbo itera sobre la base de SDXL 1.0 e implementa una nueva técnica de destilación para modelos de texto a imagen: Destilación por difusión adversaria.
Al incorporar ADD, SDXL Turbo obtiene muchas ventajas compartidas con GANs (Redes Generativas Adversarias), como salidas de imagen en un solo paso, evitando artefactos o borrosidad que a menudo se observa en otros métodos de destilación. El artículo de investigación de SDXL Turbo detallando esta nueva técnica de destilación está disponible aquí.
SDXL Turbo supera a SDXL en sólo cuatro pasos
Stability AI comparó varias variantes del modelo (StyleGAN-T++, OpenMUSE, IF-XL, SDXL y LCM-XL) generando imágenes con el mismo prompt.
A continuación, se mostraron a los evaluadores humanos dos resultados aleatorios y se les pidió que seleccionaran el resultado que más se acercaba al mensaje. A continuación, se realizó otra prueba utilizando el mismo método para la calidad de imagen.
En estas pruebas ciegas, SDXL Turbo superó a una configuración de 4 pasos de LCM-XL con sólo un paso, y una configuración de 50 pasos de SDXL con sólo cuatro pasos.
La comparación con SDXL de 50 pasos, en particular, muestra que SDXL Turbo puede superar significativamente en velocidad a un modelo multipaso computacionalmente intensivo con una sobrecarga de procesamiento mucho menor, e incluso superarlo ligeramente en términos de calidad de imagen.
Además, SDXL Turbo ofrece mejoras significativas en la velocidad de inferencia. En una Nvidia A100, SDXL Turbo genera una imagen de 512×512 en sólo 207 ms (codificación rápida + un único paso de eliminación de ruido + descodificación, fp16).
Si quieres probar un demo de Stable Diffusion XL Turbopuede hacerlo en Clipdrop. La demo no está pensada para uso comercial. Si está interesado en el uso comercial, puede ponerse en contacto con Stability AI.
