2023-09-13 15:48:54
Microsoft y el Proyecto Gutenberg han utilizado tecnologías de IA para crear más de 5.000 audiolibros gratuitos con voces sintéticas de alta calidad.
Para el proyecto, los investigadores combinaron avances en aprendizaje automático, selección automática de textos (qué textos se leen en voz alta y cuáles no) y sistemas de síntesis de voz con sonido natural.
En primer lugar, desarrollaron un algoritmo que entiende la estructura de un libro electrónico basado en HTML y distingue entre el texto principal y elementos sin importancia como notas a pie de página, números de página o tablas.
A este análisis le sigue la conversión del texto en voz (text-to-speech, TTS). En este proyecto se utilizaron WaveNet, Tacotron y FastSpeech, que son capaces de producir una salida de voz natural y similar a la humana.
Además, el equipo desarrolló un sistema capaz de distinguir entre narrador y diálogo, y aquí incluso entre personajes individuales y sus emociones, y adaptar en consecuencia la voz generada.
Toda la cadena de procesos se ejecuta en el marco de aprendizaje automático SynapseMLque está diseñado para dividir las distintas tareas y procesarlas en paralelo.
Haz que tu voz narre un audiolibro
Para la presentación de la conferencia, el equipo también ha desarrollado un método de conversión de texto a voz que puede capturar el carácter de la voz del propio usuario a partir de unas pocas frases grabadas y transferirlo a la narración del audiolibro.
Esto permite a los usuarios seleccionar un libro de la biblioteca digital y que se lo lean con su voz, o con la voz que elijan si disponen de archivos de audio. Aún no está claro si este servicio estará disponible más allá de la conferencia, pero parece poco probable dados los posibles costes.
En total, el proyecto ha recogido más de 35.000 horas de datos de audio sobre literatura clásica, obras de teatro, biografías y mucho más, leído «con voz clara y coherente».
Este conjunto de datos por sí solo podría ser útil para otros proyectos de IA. El equipo de investigación tiene la intención de poner a disposición todos los datos de audio como código abierto sin restricciones.
Los audiolibros están disponibles en Spotify, Podcasts de Appleo Google Podcasts. Más información sobre el proyecto en sitio web oficial.
Proyecto Gutenberg es una biblioteca digital gratuita accesible a través de Internet. Está creada por voluntarios. En el sitio web del proyecto se pueden leer y descargar gratuitamente más de 70.000 libros electrónicos.
