2023-11-24 00:10:47
📰 Resumen del artículo:
– Meta ha lanzado su modelo de lenguaje Llama 2 como código abierto, pero con limitaciones que no cumplen con los requisitos de la Iniciativa de Código Abierto.
– La compañía argumenta que su enfoque limitado de apertura es necesario para equilibrar los beneficios de compartir información y los posibles costos para su negocio.
– Meta ha trabajado en proyectos abiertos en el pasado y espera fomentar la misma emoción alrededor de sus modelos de IA generativa.
En julio, Meta lanzó su modelo de lenguaje Llama 2 relativamente abierto y de forma gratuita, en marcado contraste con sus mayores competidores. Sin embargo, en el mundo del software de código abierto, algunos todavía ven la apertura de la compañía con un asterisco.
Aunque la licencia de Meta hace que Llama 2 sea gratuito para muchos, aún es una licencia limitada que no cumple con todos los requisitos de la Open Source Initiative (OSI). Según se establece en la Definición de Código Abierto de la OSI, el código abierto va más allá de simplemente compartir código o investigación. Para ser verdaderamente de código abierto, se debe ofrecer redistribución gratuita, acceso al código fuente, permitir modificaciones y no estar ligado a un producto específico. Las limitaciones de Meta incluyen requerir una tarifa de licencia para cualquier desarrollador con más de 700 millones de usuarios diarios y no permitir que otros modelos se capaciten en Llama. Investigadores de la Universidad de Radboud en los Países Bajos afirmaron que Meta afirmar que Llama 2 es de código abierto «es engañoso», y publicaciones en las redes sociales cuestionaron cómo Meta podía afirmarlo.
Joelle Pineau, vicepresidenta de investigación de IA de Meta, que dirige el centro de Investigación Fundamental de IA (FAIR) de la empresa, es consciente de los límites de la apertura de Meta. Sin embargo, argumenta que es un equilibrio necesario entre los beneficios de compartir información y los posibles costos para el negocio de Meta. En una entrevista con The Verge, Pineau dice que incluso el enfoque limitado de Meta hacia la apertura ha ayudado a sus investigadores a adoptar un enfoque más centrado en sus proyectos de IA.
La división de IA de Meta ha trabajado en proyectos más abiertos anteriormente. Una de las mayores iniciativas de código abierto de Meta es PyTorch, un lenguaje de programación de aprendizaje automático utilizado para desarrollar modelos de IA generativa. La compañía lanzó PyTorch a la comunidad de código abierto en 2016 y los desarrolladores externos han estado iterando en él desde entonces. Pineau espera fomentar la misma emoción en torno a sus modelos de IA generativa, especialmente porque PyTorch «ha mejorado mucho» desde que se lanzó como código abierto.
Pineau dice que la elección de cuánto lanzar depende de varios factores, incluida la seguridad del código en manos de desarrolladores externos. Es importante para FAIR que «un conjunto diverso de investigadores» vea su investigación para obtener mejores comentarios. Es el mismo ethos que Meta utilizó cuando anunció el lanzamiento de Llama 2, creando la narrativa de que la compañía cree que la innovación en IA generativa debe ser colaborativa.
Pineau dice que Meta participa en grupos de la industria como Partnership on AI y MLCommons para ayudar a desarrollar referencias de modelos de base y pautas para la implementación segura de modelos. Prefiere trabajar con grupos de la industria, ya que cree que ninguna compañía puede liderar la conversación sobre una IA segura y responsable en la comunidad de código abierto.
El enfoque de apertura de Meta se siente novedoso en el mundo de las grandes compañías de IA. OpenAI comenzó como una compañía más abierta y centrada en la investigación abierta. Pero Ilya Sutskever, cofundador y científico jefe de OpenAI, dijo a The Verge que fue un error compartir su investigación, citando preocupaciones competitivas y de seguridad. Si bien Google ocasionalmente comparte documentos de sus científicos, también ha mantenido en secreto el desarrollo de algunos de sus grandes modelos de lenguaje.
Los jugadores de código abierto de la industria tienden a ser desarrolladores más pequeños como Stability AI y EleutherAI, que han tenido cierto éxito en el espacio comercial. Los desarrolladores de código abierto regularmente lanzan nuevos LLM en los repositorios de código de Hugging Face y GitHub. Falcon, un LLM de código abierto del Technology Innovation Institute con sede en Dubai, también ha ganado popularidad y compite con Llama 2 y GPT-4.
Es importante tener en cuenta, sin embargo, que la mayoría de las compañías de IA cerradas no comparten detalles sobre la recopilación de datos para crear sus conjuntos de datos de entrenamiento de modelos. Pineau dice que los esquemas de licencia actuales no se crearon para funcionar con software que recopila grandes cantidades de datos externos, como muchos servicios de IA generativa. La mayoría de las licencias, tanto de código abierto como propietarias, otorgan responsabilidad limitada a los usuarios y desarrolladores y una indemnización muy limitada por infracción de derechos de autor. Pero Pineau dice que los modelos de IA como Llama 2 contienen más datos de entrenamiento y exponen a los usuarios a una responsabilidad potencialmente mayor si producen algo considerado infracción. Las licencias de software actuales no cubren esa inevitabilidad.
Las personas de la industria han comenzado a analizar las limitaciones de algunas licencias de código abierto para LLM en el espacio comercial, mientras que otros argumentan que el verdadero código abierto es un debate filosófico en el mejor de los casos y algo en lo que los desarrolladores no se preocupan tanto. Stefano Maffulli, director ejecutivo de OSI, le dice a The Verge que el grupo entiende que las licencias aprobadas por OSI actualmente pueden no satisfacer ciertas necesidades de los modelos de IA. Dice que OSI está revisando cómo trabajar con los desarrolladores de IA para proporcionar acceso transparente y sin permisos, pero seguro a los modelos.
También está en proceso de crear una definición de código abierto en relación con la IA. Dondequiera que te encuentres en el debate «¿Es Llama 2 realmente de código abierto?», no es la única medida potencial de apertura. Un informe reciente de Stanford, por ejemplo, mostró que ninguna de las principales compañías con modelos de IA habla lo suficiente sobre los riesgos potenciales y su responsabilidad confiable si algo sale mal. Reconocer los riesgos potenciales y proporcionar vías para recibir comentarios no es necesariamente parte estándar de las discusiones de código abierto, pero debería ser una norma para cualquier persona que cree un modelo de IA.