El Índice de Transparencia de Modelos elaborado por Stanford HAI muestra la falta de transparencia de las empresas de IA
2023-10-24 18:39:42
El Center for Research on Foundation Models (CRFM) de Stanford HAI ha elaborado el Foundation Model Transparency Index (FMTI), un sistema de calificación de la transparencia empresarial en el ámbito de los modelos de fundación de IA.
El índice examina 100 aspectos diferentes de la transparencia, incluyendo cómo una empresa crea un modelo de cimentación, cómo funciona y cómo se utiliza en aplicaciones posteriores.
Según la FMTI, la mayoría de las empresas, incluida OpenAI, son cada vez menos transparentes. Esto dificulta la comprensión y el uso seguro de estos modelos por parte de empresas, investigadores, responsables políticos y consumidores.
Según el equipo de investigación, las puntuaciones más altas obtenidas oscilaban entre 47 y 54 puntos sobre 100 posibles, lo que indica una importante necesidad de mejora.
El equipo de investigación utilizó un protocolo de investigación estructurado para recopilar información de dominio público sobre los principales modelos de cada empresa.
El código abierto es difuso entre los opacos
Metas Llama 2, un modelo de código abierto, encabeza la lista, pero sólo alcanza una puntuación de transparencia del 54%. OpenAI, despreciada por la comunidad de código abierto como IA «cerrada», se sitúa justo detrás de Llama 2, con su modelo GPT-4 a la cabeza, con un 48%. En la categoría posiblemente más importante, los datos utilizados para entrenar la IA, casi todos los proveedores de modelos suspenden con puntuaciones muy por debajo del 50%.
«No deberíamos pensar en Meta como la meta a la que todo el mundo intenta llegar», afirma Rishi Bommasani, director de sociedad del Center for Research on Foundation Models (CRFM). «Deberíamos pensar en todo el mundo intentando llegar a 80, 90 o posiblemente 100».
El FMTI está diseñado para ayudar a los responsables políticos a regular eficazmente los modelos de fundación y motivar a las empresas para que mejoren su transparencia.
«Es una indicación bastante clara de cómo se comparan estas empresas con sus competidoras, y esperamos que las motive a mejorar su transparencia», afirma Bommasani.
La metodología y los resultados completos están disponibles en un documento de 100 páginas que acompaña al índice.
