Traducción de vídeo automática por inteligencia artificial con clonación de voz y sincronización labial
2023-09-12 10:10:40
La empresa de IA HeyGen ha presentado una herramienta capaz de traducir vídeos de hasta cinco minutos de duración a distintos idiomas. El software también clona la voz de la persona que aparece en el vídeo y ajusta los movimientos de los labios en consecuencia.
En una prueba realizada por el usuario de Twitter Jon Finger, la traducción funcionó a la perfección a pesar del ruido de fondo de una calle muy transitada. En el vídeo editado, los sonidos de distracción se filtran.
La voz sintética en otro idioma recuerda mucho a la original, aunque sigue sonando ligeramente robótica o mecánica. También llama la atención la fidelidad con la que se reproduce la entonación.
El hecho de que los movimientos de los labios hayan sido modificados por la IA apenas se aprecia a simple vista. Sin embargo, HeyGen realiza otro ajuste en la pista de vídeo, ya que la cara aparece mucho más brillante tras la traducción que en el clip original.
Como hablante nativo, puedo confirmar que la traducción al alemán es algo monótona, pero definitivamente auténtica. Si no supiera que es una traducción de la IA, la entonación me parecería inusual, pero no antinatural.
En el vídeo oficial de demostración aparecen el popular YouTuber de tecnología Marques Brownlee con voz española y el consejero delegado de Apple, Tim Cook, con voz india.
HeyGen video ejemplo clonacion de voz multi-idioma
Beta: Diez idiomas de entrada, ocho idiomas de salida
El sitio «Herramienta «Video Translate dentro de la oferta experimental de HeyGen Labs, se encuentra actualmente en fase beta abierta. En el momento de su lanzamiento, admite inglés, español, francés, chino, alemán, italiano, portugués, holandés, hindi y japonés como idiomas de entrada. Sin embargo, sólo puede traducir al inglés, español, francés, hindi, italiano, alemán, polaco y portugués. En las próximas semanas se añadirán «muchos más» idiomas.
Además de los requisitos técnicos, como una duración mínima de 30 segundos, tipos de archivo MP4, Quicktime y Webm, y una resolución de entre 480 x 480 píxeles y 1920 x 1920 píxeles, HeyGen ofrece otros consejos para obtener el mejor resultado posible.
Por ejemplo, sólo debe verse la cara de una persona desde un ángulo en cada escena de vídeo. Si hay ruido de fondo o música en el vídeo, la traducción limpia es más difícil.
HeyGen – Creación de Videos y avatares con Inteligencia Artificial. Verificado ✓
Consigue dos minutos gratis, luego paga desde 29 $ al mes
HeyGen -anteriormente conocido como Movio.la- ofrece a los usuarios dos créditos gratuitos tras registrarse, que pueden utilizarse para editar o crear hasta dos minutos de vídeo.
Hay disponibles 15 créditos adicionales a partir de 29 dólares al mes, que pueden utilizarse en todas las ofertas de software de HeyGen basadas en navegador. Además de la función de traducción de vídeo, HeyGen se ha centrado principalmente en los avatares virtuales de IA.
La idea de sincronizar voz y labios no es nueva, pero está causando revuelo, sobre todo en la industria cinematográfica, y temores existenciales entre los actores de doblaje. HeyGen está poniendo esta tecnología a disposición no sólo de los grandes estudios cinematográficos con enormes presupuestos, sino también de empresas más pequeñas y usuarios domésticos.
En 2021, por ejemplo, un start-up israelí saltó a los titulares con un servicio de este tipo. Sin embargo, todavía no se ha estrenado ninguna gran producción con doblaje AI. Sin embargo, «Top Gun: Maverick» utilizó IA para recuperar la voz de Val Kilmer, así que es justo decir que la tecnología se está abriendo camino en el cine convencional.
