2023-07-21
Las capacidades creativas de Difusión Estable o GPT-4 son bien conocidas. Sin embargo, carecen de la consistencia necesaria para historias complejas. SHOW-1 pretende cambiar esta situación.
La empresa de IA Fable Studio ha combinado varios modelos en uno nuevo llamado SHOW-1. Es capaz de generar varios episodios coherentes de una serie.
Demuestran que su concepto funciona con un episodio de 22 minutos de «South Park» que, sorprendentemente, trata sobre el impacto de la IA en la industria del entretenimiento.
Link del vídeo: https://vimeo.com/830748401
Para empezar, el modelo sólo necesita un título, una sinopsis y los acontecimientos principales.
Crear un episodio completo de South Park es un proceso complejo. El sistema de narración se inicia con una idea a nivel abstracto, normalmente en forma de título, sinopsis y acontecimientos principales que deben tener lugar en una semana simulada (unas tres horas de juego). Generar una sola escena puede llevar un «tiempo considerable», hasta un minuto.
- El sistema genera automáticamente hasta 14 escenas a partir de los datos de la simulación.
- Un sistema de showrunner organiza el reparto de personajes y da forma a la trama según un patrón predeterminado.
- A cada escena se le asigna una letra argumental (ABC) que se utiliza para cambiar entre los distintos grupos de personajes.
- Cada escena define la ubicación, los personajes y el diálogo.
- Tras la configuración inicial de la puesta en escena y el sistema de cámaras AI, la escena se reproduce de acuerdo con el patrón de la trama.
- Las voces de los personajes se preentrenaron y se generaron clips de voz en tiempo real para cada nueva línea.
El trabajo de Fable Studio se basa en otro trabajo de investigación, «Generative Agents», publicado en abril por científicos de Stanford y Google. En él, simulaban una ciudad virtual y observaban cuántos valores predeterminados necesitaban los llamados agentes -los habitantes- para seguir una rutina diaria realista e interactuar entre sí.
GPT-4, modelos de difusión personalizados y voces clonadas
Entre otras cosas, SHOW-1 utiliza GPT-4 de OpenAI para influir en los agentes de la simulación y generar las escenas de los episodios de South Park.
Según Fable Studio, las transcripciones de la mayoría de los episodios de South Park forman parte del conjunto de datos de entrenamiento de GPT-4, por lo que ya tiene un buen conocimiento de la personalidad de los personajes, el estilo de hablar y el humor general de la serie. Esta huella dramática es importante para la coherencia de un programa, afirma el equipo.
El encadenamiento de prompts, o encadenamiento de múltiples prompts, es otra de las bases. El Dramatron de Deepmind, que escribe guiones para cine y televisión, también utiliza esta técnica.
En el caso de SHOW-1, GPT-4 actúa como su propio discriminador de respuestas, similar al concepto de Auto-GPT. Pero generar una historia es una «tarea altamente discontinua» y requiere cierto pensamiento «eureka», según el equipo.
Para la visualización, los desarrolladores utilizaron un conjunto de datos de unos 1.200 personajes y 600 fondos. Utilizaron DreamBooth para entrenar dos modelos especializados de difusión estable: uno para generar personajes individuales sobre un fondo monocromo y otro para los propios fondos, de modo que pudieran ensamblarse de forma modular.
Una característica especial de este enfoque es que los usuarios pueden crear su propio personaje utilizando el modelo de personaje y hacerlo participar en la simulación.
Sin embargo, la calidad de la imagen es limitada debido a la relativamente baja resolución de los modelos de difusión, por lo que en el futuro los desarrolladores sugieren generar vectores SVG a través de GPT-4 para escalar los gráficos sin pérdidas.
Ni juego, ni gachas, ni página en blanco
Los modelos de IA existentes tendrían que enfrentarse, entre otros, a los siguientes problemas, que SHOW-1 no resuelve por completo, pero al menos reduce:
- Efecto máquina tragaperras: Según esta teoría, el uso de la mayoría de los modelos de IA es similar a los juegos de azar, ya que los resultados no pueden predecirse en absoluto o sólo con dificultad.
- El problema de la avena: Otra crítica a los modelos existentes es la observación de que todo parece igual. En el caso de los episodios en serie, esto es especialmente fatal cuando el espectador reconoce los patrones y ya no puede sorprenderse.
- El problema de la página en blanco: Según Fable Studios, incluso los escritores experimentados se sienten a veces abrumados cuando se les pide que propongan un título o una idea para una historia. Esto no puede ocurrir con un gran modelo lingüístico en SHOW-1 debido al contexto de la simulación anterior.
¿Quién es responsable de qué?
¿Y quién es, en última instancia, el creador del episodio de IA? La respuesta es más compleja de lo que parece a primera vista. La tarea se reparte entre los usuarios de SHOW-1, GPT-4 y la simulación, y es posible establecer de quién es la opinión que debe ponderarse y en qué medida.
Incluso antes del lanzamiento de SHOW-1, la industria del entretenimiento estaba alborotada. Los autores, en particular, se sienten amenazados por los avances de la IA. Fable Studio no aborda explícitamente estos temores en su documento.
Por el contrario, sostienen que su enfoque ofrece una solución eficaz para sortear las limitaciones de los modelos actuales de narración creativa.
«A medida que sigamos perfeccionando este enfoque, confiamos en poder mejorar aún más la calidad del contenido generado, la experiencia del usuario y el potencial creativo de los sistemas de IA generativa en la narración de historias», concluyen.
