AudioCraft es el kit de generación de música y audio gratuito de Meta para tareas de conversión de texto a audio
2023-08-03 18:20:36
Con Audiocraft, Meta lanza tres herramientas de IA para la generación de música y audio con fines de investigación.
Audiocraft consta de MusicGen de Meta, un modelo de IA introducido en junio de 2023 que puede generar melodías y piezas musicales a partir de texto y otra música. También forma parte de Audiocraft AudioGen, un modelo de IA generativa basado en Transformer introducido en octubre de 2022 que puede generar sonidos que coincidan con la entrada de texto desde cero o ampliar archivos de audio existentes.
El tokenizador de audio de Meta, EnCodec, que divide los archivos de audio en piezas más pequeñas para el procesamiento de IA, es la tercera parte de Audiocraft y ahora está disponible en una versión mejorada que, según Meta, produce música de mayor calidad con menos artefactos.
Kit de modelos para experimentos de audio con IA
Según Meta, la familia de modelos Audiocraft puede producir audio de alta calidad, consistente y de mayor duración utilizando únicamente la interacción con el lenguaje natural. El lanzamiento proporciona acceso completo a la investigación de Meta en IA de audio generativa de los últimos años, según la empresa.
«Las posibilidades son casi ilimitadas una vez que se da a la gente acceso a los modelos para ajustarlos a sus necesidades», escribe Meta.
Con Audiocraft, los músicos o diseñadores de sonido, por ejemplo, dispondrían de herramientas profesionales para inspirarse más rápido, hacer lluvias de ideas o perfeccionar composiciones ya existentes.
Ejemplo de MusicGen: Tonos terrosos, conciencia ecológica, ukelele infundido, armónico, brisa, fácil de llevar, instrumentación orgánica, grooves suaves
Ejemplo Audiogen: Silbido con soplo de viento
Audio generativo para reducir las barreras de entrada a la música y el audio
El equipo de investigación de Meta sigue trabajando en el audio generativo, concretamente en audio de alta calidad basado en modelos de difusión, la misma técnica que ha permitido mejorar enormemente la calidad en la generación de imágenes.
El objetivo, por ejemplo, es permitir a los músicos crear nuevas composiciones sin tener que tocar una sola nota en un instrumento o ayudar a los desarrolladores independientes con poco presupuesto a llenar mundos virtuales de efectos sonoros creíbles y variados. Para Instagram, la IA de audio generativo podría proporcionar la banda sonora adecuada para las publicaciones. Sin embargo, Audiocraft aún no permite el uso comercial, así que esto no ocurrirá todavía.
Tras el lanzamiento, Meta vuelve a insistir en la importancia de los modelos de código abierto: «La innovación responsable no puede darse de forma aislada. Open sourcing our research and resulting models helps ensure that everyone has equal access.»
