Puntos Clave:
- Google ha presentado VideoPoet: un sistema de inteligencia artificial capaz de generar y editar vídeos a partir de texto y otros datos.
- VideoPoet es un modelo lingüístico que integra diferentes tareas de generación de vídeo en un único sistema.
- El modelo puede crear vídeos de longitud variable, estilizar imágenes en vídeo y generar audio a partir del texto.
- Google ha evaluado VideoPoet con éxito y prevé su expansión a otras funciones como la conversión de texto en audio, audio en vídeo y subtítulos de vídeo.
VideoPoet, un nuevo sistema de inteligencia artificial generativa
Según Google, ha sido presentado el VideoPoet, un sistema de inteligencia artificial generativa que tiene la capacidad de crear y editar vídeos a partir de texto y otros datos. Este modelo lingüístico es capaz de realizar tareas diversas, como convertir texto en vídeo, estilizar vídeos, pintar y generar audio, todo en un único sistema. Además, puede generar vídeos con una variedad de movimientos y estilos, adaptándolos al contenido del texto.
VideoPoet utiliza varios tokenizadores para entrenar un modelo del lenguaje en las modalidades de vídeo, imagen, audio y texto. Gracias a esto, puede generar representaciones visuales a partir de los tokens que genera el modelo.
VideoPoet: evaluación y futuras funcionalidades
Según Google, VideoPoet ha sido evaluado comparativamente con otros modelos, y los resultados indican que es preferido en un 24-35% de los casos, ya que se ajusta mejor a las peticiones que otros modelos. Además, se espera que en el futuro el modelo pueda realizare conversiones «any-to-any» y ampliarse para incluir funciones como la conversión de texto en audio, audio en vídeo y subtítulos de vídeo.
El modelo en acción
Google también ha producido un cortometraje utilizando a Bard como guionista y VideoPoet para la generación de vídeo. Aunque no se conocen planes de comercialización, es posible que el modelo se integre en Bard Advanced en el futuro.
Para ver más ejemplos a resolución completa, se puede acceder a la página web del proyecto VideoPoet.
