2023-09-04 11:30:52
Jais es un gran modelo lingüístico centrado en el árabe y es actualmente el mejor modelo abierto de su clase.
Investigadores de los Emiratos Árabes Unidos, en colaboración con Cerebras, presentan dos nuevos modelos lingüísticos abiertos: Jais y Jais-chat. Los modelos se entrenaron con lenguaje y código en árabe e inglés, y superan con creces a los modelos de código abierto existentes para el árabe.
Jais es un modelo de 13.000 millones de parámetros preentrenado con 395.000 millones de tokens, de los cuales 116.000 millones son árabes. El chat de Jais se ha ajustado con 10 millones de pares de instrucción/respuesta adicionales y supera a todos los chatbots multilingües/árabes de código abierto existentes.
Se trata de los primeros modelos abiertos centrados en el árabe de esta envergadura.
Jais puede igualar a ChatGPT en algunas tareas
Como datos de entrenamiento se utilizaron sitios web, libros, noticias y Wikipedia en árabe, y todos los datos se filtraron antes del entrenamiento. Los 232.000 millones de tokens de datos en inglés de The Pile de EleutherAI se utilizan para compensar los escasos datos en árabe disponibles. El equipo también utiliza 46.000 millones de tokens de código.
Según el equipo, en las pruebas comparativas, Jais y Jais-chat superan en precisión a los modelos existentes en árabe, disponibles de forma gratuita, en 11 a 15 puntos, y compiten con LLaMa2 de Meta en inglés. Modelos comerciales como ChatGPT, de OpenAI, o Claude, de Anthropic, siguen por delante de media en las pruebas comparativas, pero también son bastante más grandes. Sin embargo, en algunas tareas, como la escritura, Jais y Jais-chat están a la par con ChatGPT, según el equipo.
El equipo también proporciona otros mecanismos de seguridad para Jais-chat, como filtros y clasificadores para peticiones y salidas no deseadas.
Otra característica especial del modelo: no se entrenó en GPU de Nvidia, sino en los sistemas CS-2 de Cerebra. La empresa fabrica un chip de IA del tamaño de una oblea que se instala en los sistemas CS-2.
Jais y Jais-chat están disponibles en Hugging Face y pueden probarse en Árabe-GPT.
