2023-09-15 19:21:50
El gobierno japonés y grandes empresas tecnológicas como NEC, Fujitsu y SoftBank están invirtiendo «cientos de millones» en el desarrollo de un modelo lingüístico japonés.
Se supone que este modelo de lengua japonesa representará las sutilezas culturales y lingüísticas mejor que ChatGPT y similares. Se entrenará con textos japoneses utilizando el superordenador nacional Fugaku.
Pocas letras contra muchos caracteres
Keisuke Sakaguchi, investigador en procesamiento del lenguaje natural de la Universidad de Tohoku (Japón), considera que las diferencias en el sistema alfabético y los limitados datos de entrenamiento de los sistemas occidentales son una desventaja para los usuarios japoneses.
Por ejemplo, ChatGPT genera a veces «caracteres extremadamente raros que la mayoría de la gente nunca ha visto» y palabras raras desconocidas, afirma Sakaguchi. Del mismo modo, ChatGPT no suele aplicar normas de comunicación culturalmente apropiadas y educadas al generar respuestas en japonés.
El alfabeto inglés tiene 26 caracteres, mientras que el japonés tiene al menos dos grupos de 48 caracteres, además de 2.136 caracteres chinos (kanji) de uso común. Además, existen diferentes pronunciaciones para cada carácter y aproximadamente 50.000 caracteres Kanji de uso poco frecuente.
Japón obtiene su propio LLM de referencia
Para medir la sensibilidad de los LLM a la cultura japonesa, los investigadores desarrollaron el Clasificación Rakudaque utiliza preguntas generadas por el GPT-4 para medir la capacidad de los LLM para responder a preguntas específicas sobre Japón. El mejor LLM abierto japonés actual ocupa el cuarto lugar en esta clasificación. La lista está encabezada por GPT-3.5, y GPT-4 debería superar significativamente a su predecesor.
Se espera que el LLM japonés que están desarrollando el Instituto Tecnológico de Tokio, la Universidad de Tohoku, Fujitsu y RIKEN, financiado por el gobierno, se publique como código abierto el año que viene y tenga al menos 30.000 millones de parámetros.
El Ministerio de Educación, Cultura, Deporte, Ciencia y Tecnología de Japón está construyendo un modelo mucho mayor. El modelo, con al menos 100.000 millones de parámetros, también estará basado en el idioma japonés y optimizado para aplicaciones científicas: Basándose en investigaciones publicadas, generará nuevas hipótesis para acelerar la investigación. El modelo costará unos 200 millones de dólares y se espera que esté a disposición del público en 2031.
Recientemente, el Ministerio de Educación japonés también publicó unas directrices que permiten el uso limitado de inteligencia artificial generativa como ChatGPT en las escuelas primarias, medias y secundarias.
