El LLM de código abierto Poro34B de Silo AI pretende dominar todas las lenguas oficiales de la UE
2023-11-23 20:15:33
La empresa Silo AI, con sede en Helsinki, ha lanzado Poro, un gran modelo lingüístico (LLM) de código abierto cuyo objetivo es mejorar las capacidades de IA multilingüe para las lenguas y el código europeos.
Desarrollado por SiloGen, la división de IA generativa de Silo AI, y el grupo de investigación TurkuNLP de la Universidad de Turku, Poro es el primero de una serie prevista de modelos que cubren todas las lenguas oficiales de la Unión Europea, «con el objetivo de garantizar la soberanía digital europea y democratizar el acceso a los LLM». Silo AI se describe como «el mayor laboratorio privado de IA de los países nórdicos que construye IA como servicio».
En Modelo Poro 34B de 34.200 millones de parámetros utiliza una arquitectura de transformadores BLOOM con incrustaciones ALiBi y se entrena en un conjunto de datos multilingüe de un billón de tokens centrado en inglés, finés y lenguajes de programación como Python y Java. Poro está entrenado en un 30 por ciento, y este entrenamiento se realizó en LUMI, el superordenador más rápido de Europa, situado en Finlandia.
El modelo utiliza un enfoque de entrenamiento multilingüe para afrontar el reto de entrenar modelos de lenguaje natural de alto rendimiento para lenguas europeas con pocos recursos. El progreso del entrenamiento de Poro se documenta a través del programa Poro Research Checkpoints, que aporta transparencia al entrenamiento del modelo.
En las pruebas comparativas, Poro 34B logra resultados de vanguardia en el idioma de bajos recursos Finish, sin sacrificar sus capacidades en Finish a expensas de sus capacidades en inglés. Después del modelo lingüístico LeoLM específico para el alemán, entrenado recientemente por LAION y Hessian.ai, este es el segundo LLM específico para un idioma europeo que puede obtener buenos resultados en inglés y en su lengua materna.
Poro está disponible gratuitamente bajo la licencia Apache 2.0, lo que lo hace adecuado tanto para uso comercial como para investigación. Puede consultar su ficha modelo aquí.
Los LLM como GPT-4 funcionan bien en muchos idiomas, pero suelen ser más potentes en inglés porque domina el conjunto de datos.
Con el Mistral 7B de Francia mostrando un rendimiento general competitivo y el Aleph Alpha de Alemania recibiendo recientemente una inversión de 500 millones, parece que Europa por fin se está poniendo las pilas. Si no contamos la actual Ley de Inteligencia Artificial de la UE, que parece estar tardando un poco más.
