Japanese StableLM entra al mercado internacional de modelos de lenguaje, marcando una nueva era en IA
2023-08-14 11:28:37
Puntos destacados:
🔹 Japanese StableLM es un modelo de lenguaje japonés de propósito general con 7 mil millones de parámetros.
🔹 Japanese StableLM Base Alpha 7B será lanzado bajo la licencia Apache 2.0 y está disponible para fines comerciales.
🔹 Japanese StableLM Instruct Alpha 7B es un modelo de investigación exclusivamente para uso en investigaciones.
El modelo de lenguaje japonés Japanese StableLM, con 7 mil millones de parámetros, ha sido reconocido como el mejor modelo de lenguaje japonés disponible públicamente, superando a otros modelos en múltiples conjuntos de datos de benchmark. Japanese StableLM Base Alpha 7B se lanzará bajo la licencia Apache 2.0 y estará disponible para su uso comercial. Por otro lado, Japanese StableLM Instruct Alpha 7B es un modelo exclusivamente para fines de investigación y se ha lanzado para su uso en investigaciones. Meng Lee, líder del proyecto Japanese StableLM, expresó su orgullo por este gran paso en el ecosistema AI generativo japonés y señaló que esperan seguir creando modelos que reflejen la cultura, el idioma y la estética japonesa.
Japanese StableLM Base Alpha 7B ha sido entrenado para la generación de texto utilizando una gran cantidad de datos obtenidos principalmente de la web, en su mayoría en japonés e inglés. Además de los conjuntos de datos abiertos, los datos de entrenamiento incluyen conjuntos de datos creados por Stability AI Japan y el equipo japonés del proyecto EleutherAI Polyglot, junto con miembros de la comunidad de Stability AI Japan. Durante el entrenamiento, se utilizó un software basado en GPT-NeoX de EleutherAI y se procesaron un total acumulativo de 750 mil millones de tokens a lo largo de las épocas.
Por otro lado, Japanese StableLM Instruct Alpha 7B es un modelo de lenguaje que se ajusta para seguir instrucciones de usuario. Se empleó un ajuste fino supervisado (SFT) para el entrenamiento adicional, utilizando múltiples conjuntos de datos abiertos. Este enfoque también mejora significativamente la puntuación de evaluación de rendimiento mediante lm-evaluation-harness.
