Científicos de todo el Mundo se Unen para Desarrollar Modelos de IA de un Billón de Parámetros
2023-11-16 16:09:46
El Trillion Parameter Consortium tiene como objetivo entrenar modelos de IA masivos e interdisciplinarios para la ciencia. Entre sus miembros fundadores figuran destacadas instituciones de investigación, centros nacionales de supercomputación y empresas.
Un consorcio mundial de científicos de laboratorios federales, institutos de investigación, universidades y empresas se ha unido para desarrollar modelos de IA para el descubrimiento científico, con especial atención a los modelos gigantes de un billón de parámetros o más.
El Trillion Parameter Consortium (TPC) identifica retos concretos en el desarrollo de arquitecturas de modelos escalables y estrategias de entrenamiento, la organización y conservación de datos científicos para el entrenamiento de modelos, la optimización de bibliotecas de IA para plataformas informáticas a exaescala actuales y futuras, y el desarrollo de plataformas de evaluación profunda.
El TPC pretende crear una comunidad abierta de investigadores, que a menudo ya trabajan en pequeños grupos, para desarrollar modelos de IA generativa a gran escala para problemas científicos y de ingeniería. En particular, se iniciarán proyectos conjuntos para evitar la duplicación de esfuerzos y compartir métodos, enfoques, herramientas, conocimientos y flujos de trabajo. De este modo, el consorcio espera maximizar el impacto de los proyectos en la comunidad científica y de IA en general.
TPC apuesta por las nuevas plataformas de computación a exaescala
Pero no se trata sólo de grupos individuales trabajando juntos: El TPC también pretende crear una red mundial de recursos, datos y conocimientos. Desde su creación, el consorcio ha establecido una serie de grupos de trabajo para abordar las complejidades de construir modelos de IA a gran escala.
Estos grupos liderarán iniciativas para explotar las plataformas informáticas emergentes a exaescala para el entrenamiento de LLM (Large Language Models) o arquitecturas de modelos alternativas para la investigación científica. Los modelos con billones de parámetros son el límite de los modelos de IA actuales, y sólo los mayores sistemas comerciales de IA, como GPT-4, alcanzan actualmente esta escala.
Los recursos informáticos a exaescala necesarios para la formación serán proporcionados por varios laboratorios nacionales del Departamento de Energía de Estados Unidos (DOE) y varios socios fundadores del TPC en Japón, Europa y otros países. Incluso con estos recursos, la formación durará varios meses.
Los nuevos modelos de IA deben ser capaces de trabajar en distintas disciplinas
«En nuestro laboratorio y en un número cada vez mayor de instituciones colaboradoras de todo el mundo, los equipos están empezando a desarrollar tecnologías de vanguardia. IA para uso científico y están preparando para el entrenamiento enormes colecciones de datos científicos hasta ahora desaprovechados», ha declarado Rick Stevens, director asociado de laboratorio de informática, medio ambiente y ciencias de la vida en DOEdel Laboratorio Nacional Argonne y profesor de informática en la Universidad de Chicago.
«Creamos en colaboración TPC para acelerar estas iniciativas y crear rápidamente los conocimientos y herramientas necesarios para crear IA modelos con capacidad no sólo para responder a preguntas específicas de un dominio, sino también para sintetizar conocimientos de distintas disciplinas científicas».
La lista de socios fundadores incluye numerosas instituciones de investigación, empresas y fabricantes de hardware líderes en IA.
