2023-07-30 15:03:25
Los modelos de imagen de IA pueden generar nuevas imágenes o modificar las existentes. DreamGenerator muestra cómo podría funcionar esto en una cámara.
A diferencia de las cámaras convencionales, DreamGenerator te permite elegir el mundo en el que se tomará la siguiente foto: El cielo o el infierno, la Edad Media, bajo el agua o el espacio exterior, hay muchas variaciones. Hay treinta temas preprogramados.
Una vez capturada una foto, se transforma instantáneamente en una nueva imagen utilizando el tema preseleccionado. Se conservan las características fundamentales de la foto, como la postura y los rasgos faciales de un individuo, o la perspectiva desde la que se fotografía un coche en un aparcamiento. La única alteración es que, tras la captura de la foto, el coche retratado se convierte en un nuevo Ferrari, en lugar de un viejo Honda.
«Las imágenes generadas hacen referencia a la composición y la pose de la foto original, lo que garantiza que se mantienen los elementos clave al tiempo que se añaden nuevos toques imaginativos», escribe el desarrollador Kyle Goodrich.
¡Presentamos DreamGenerator! ?✨
Una cámara que transforma tus fotos en algo nuevo utilizando el poder de la IA generativa.
Elige entre 30 sugerencias, captura y observa cómo tu imagen se transforma en una obra maestra única ante tus ojos. ? pic.twitter.com/NJMxQ09Rna
– Kyle Goodrich (@_kylegoodrich) 18 de julio de 2023
Por supuesto, esto no tiene nada que ver con la fotografía auténtica. Pero Goodrich afirma que lo que más le interesa es simplificar el complejo proceso de indicación de sistemas como Stable Diffusion. Se podría hacer con una aplicación para smartphone, obviamente, pero Goodrich dice que prefiere la sencillez de una cámara de apuntar y disparar.
ControlNet permite ajustar Stable Diffusion con datos mínimos
Para la generación de imágenes, Goodrich utiliza una combinación de la IA de imágenes Stable Diffusion de código abierto y ControlNet, un sencillo método de ajuste fino que mejora enormemente las capacidades de imagen a imagen de Stable Diffusion.
Aquí, el ajuste fino para un sujeto dado se realiza con pequeños conjuntos de datos, como una sola fotografía. Como Stable Diffusion, ControlNet es un programa gratuito de código abierto. e incluso funciona en teléfonos inteligentes.
En el siguiente vídeo, Goodrich, diseñador de productos de realidad aumentada en Snapchat, muestra un prototipo de hardware y software. No menciona ninguna versión comercial, así que los que quieran la cámara con IA probablemente tendrán que construirla ellos mismos (o crearla como una aplicación para su smartphone).
Se trata de un prototipo que utiliza Stable Diffusion y ControlNet.
Las imágenes generadas hacen referencia a la composición y la pose de la foto original, lo que garantiza que se conservan los elementos clave al tiempo que se añaden nuevos toques imaginativos. pic.twitter.com/DKdT6POXTc
– Kyle Goodrich (@_kylegoodrich) 18 de julio de 2023
