2023-08-28 09:16:40
Según un primer rumor, Llama 3 podrá competir con GPT-4, pero seguirá estando disponible gratuitamente bajo la licencia Llama.
Esto lo escuchó por casualidad el ingeniero de OpenAI Jason Wei, anteriormente de Google Brain, en un evento social del Generative AI Group organizado por Meta. Wei dice que se enteró en una conversación de que Meta tiene ahora suficiente potencia de cálculo para entrenar a Llama 3 y 4. Está previsto que Llama 3 alcance el nivel de rendimiento de GPT-4, pero seguirá siendo de libre acceso.
Aunque el propio Wei es una fuente creíble, las declaraciones que escuchó podrían ser erróneas, o los planes aún podrían cambiar. No hay ninguna declaración oficial sobre si Llama 3 saldrá a la venta o cuándo.
Meta tardó unos cinco meses entre el lanzamiento de Llama 1 a finales de febrero de 2023 y el lanzamiento de Llama 2 a finales de julio de 2023.
GPT-4 tiene una arquitectura más sofisticada que su Llama estándar
Es probable que GPT-4 consiga su alto rendimiento utilizando una arquitectura de mezcla de expertos más compleja con 16 redes de expertos, cada una con unos 111.000 millones de parámetros.
Por tanto, pasar de Llama 2 a Llama 3 puede ser más difícil que simplemente escalar mediante más entrenamiento, y puede llevar más tiempo que pasar de Llama 1 a Llama 2.
Llama 2 alcanza el nivel de GPT-3.5 en algunas aplicaciones y también está siendo optimizado por la comunidad de código abierto mediante ajustes y características adicionales.
Por ejemplo, el recientemente lanzado Code Llama, basado en Llama 2, alcanza resultados de nivel GPT-3.5 y GPT-4 (dependiendo del tipo de medición) en el benchmark de codificación HumanEval mediante ajuste fino.
Sin embargo, en el documento sobre Llama 2, la propia Meta señala que sigue existiendo una gran diferencia de rendimiento con modelos de código cerrado como GPT-4 y PaLM-2 de Google.
El Financial Times informó a mediados de julio de que el principal objetivo de los modelos Llama de Meta es romper el dominio de OpenAI en el mercado de los LLM. Es probable que Meta esté tratando de establecer los modelos Llama como una tecnología habilitadora en el mercado LLM, de forma similar a lo que Google ha hecho con Android en el mercado móvil, para lanzar ofertas adicionales más adelante. Meta también se beneficia del rápido desarrollo de los modelos por parte de la comunidad de código abierto.
El jefe de OpenAI, Sam Altman, dijo a principios de junio de 2023 que GPT-5 aún está lejos de un lanzamiento de entrenamiento. Google tiene previsto lanzar Gemini, la próxima generación de LLM multimodales, a finales de este año o principios del que viene.