Texto-a-Video está mejorando rápidamente, aquí tienes algunos ejemplos creados con Runway Gen-2
2023-07-30 11:01:37
Runway Gen-2 es uno de los primeros modelos comerciales de IA que puede generar vídeos cortos a partir de texto o imágenes. Te mostramos lo que Runway Gen-2 puede hacer y cómo empezar.
Lo que Midjourney es a la generación de imágenes de IA, Runway es al vídeo de IA: el producto técnicamente más avanzado del mercado actual. Gen-1 soportaba conversiones de vídeo a vídeo; lanzado en marzo, Gen-2 permite crear nuevos vídeos a partir de texto, texto con imagen o sólo imagen. Recientemente, Runway lanzó una importante actualización de Gen-2 a principios de julio.
En este artículo, recopilamos grandes ejemplos que demuestran el potencial de la generación de vídeo con IA y explicamos cómo empezar.
El texto a vídeo IA más potente: Así se hace con Runway Gen-2
La startup presentó Runway Gen-2 en marzo y lo lanzó en junio. Actualmente, el software está disponible en el navegador y como aplicación iOS para smartphones. Runway ofrece 125 créditos al mes de forma gratuita. Un crédito equivale a un segundo de vídeo generado.
Esto te permite crear secuencias de vídeo de hasta cuatro segundos de duración (igual que los planes de pago). No necesitas tarjeta de crédito para utilizarlo gratuitamente.
Para evitar malgastar preciosos créditos en resultados que van en una dirección totalmente diferente a la planeada, hay un botón «Vista previa» junto al botón «Generar». Tras unos instantes, Runway mostrará cuatro fotogramas de cómo la IA podría interpretar la indicación, y podrás decidir si quieres continuar.
Si uno de los cuatro fotogramas es el que quieres, puedes seleccionarlo y editarlo en un clip de cuatro segundos. Dependiendo de la carga del servidor, el vídeo puede tardar entre unos segundos y unos minutos en completarse y se guarda automáticamente para su posterior descarga en tu biblioteca personal.
Una vez descargados, los vídeos MP4 tienen un tamaño de 1 megabyte y una resolución relativamente baja de 896 x 512 píxeles en el popular formato 16:9.
Algunos grandes ejemplos de texto a video por IA
Las imágenes son sintéticas, pero el sonido es real y se añade en un paso separado: Con el fondo acústico adecuado, se puede engañar mejor a nuestros ojos, de modo que los vídeos de la IA a veces sólo son reconocibles como tales a segunda vista.
¿Cómo se movería un Pikachu real? Runway Gen-2 puede visualizarlo si le das al sistema una imagen inicial adecuada. Este Pikachu realista, creado con Midjourney, es animado por Gen-2 en un clip de cuatro segundos.
El usuario de Twitter @I_need_moneyy ha utilizado Midjourney como punto de partida para numerosos clips creados con Gen-2, combinando imagen y vídeo. Se pueden ver muchos estilos, desde fotorrealismo a dibujos animados, pasando por escenas que sólo serían posibles con CGI, incluso en Hollywood.
Min Choi demuestra que la edición y la música son lo más importante para que los clips de IA tengan buen aspecto. Ha producido un breve vídeo musical con Gen-2 que cuenta una historia con diferentes escenas.
Cómo crearon exactamente los creadores del canal de YouTube Curious Refuge el tráiler de la película crossover del año entre «Barbie» y «Oppenheimer» es algo que sólo revelan en su bootcamp de 499 dólares, pero Runway Gen-2 está involucrado. Ellos también intentan hacer una pieza coherente a partir de clips de cuatro segundos mediante un ingenioso montaje.
Javi López combinó las siguientes herramientas para crear una escena de película de IA sobrenatural: Midjourney para la imagen, Runway Gen-2 para el vídeo, Elevenlabs para la voz de la IA, y el editor de vídeo gratuito CapCut de TikTok para la edición y los efectos de partículas.
Consejos y observaciones de la comunidad Runway sobre Gen-2
Muchos usuarios comparten sus experiencias con Gen-2 en Twitter, por ejemplo, Mia Blume. He aquí algunas de sus observaciones y consejos para utilizar Runway Gen-2.
- Runway Gen-2 tiende a dar más peso al texto que a la imagen en un aviso mixto. No hay (actualmente) forma de cambiar esta ponderación.
- Al igual que los modelos de imagen han luchado durante mucho tiempo para producir manos realistas, Runway Gen-2 lucha para producir animaciones de caminar realistas.
- Gen-2 tiene problemas para generar vídeos a partir de ilustraciones. Las imágenes fotorrealistas funcionan mejor.
- El máximo de cuatro segundos que Gen-2 puede generar actualmente es una grave limitación, pero también puede estimular la creatividad.
