2023-08-29 18:19:42
Puntos destacados:
📌 Llama 3 podrá competir con GPT-4 y seguirá siendo de libre acceso.
📌 Jason Wei, ingeniero de OpenAI, escuchó rumores de que Meta tiene suficiente potencia informática para entrenar Llama 3 y 4.
📌 GPT-4 tiene una arquitectura más sofisticada que Llama y puede ser más difícil de alcanzar en rendimiento.
Según un rumor, Llama 3 podrá competir con GPT-4, pero seguirá estando disponible de forma gratuita bajo la licencia de Llama. Esto fue escuchado por el ingeniero de OpenAI, Jason Wei, en un evento social del Grupo de IA Generativa organizado por Meta. Wei afirma que escuchó una conversación en la que Meta tiene suficiente potencia informática para entrenar Llama 3 y 4. Llama 3 está planeado para alcanzar el nivel de rendimiento de GPT-4, pero seguirá siendo de acceso libre.
Image: Jason Wei via Twitter
Incluso si Wei es una fuente creíble, las afirmaciones que escuchó podrían ser incorrectas o los planes podrían cambiar. No hay un comunicado oficial sobre si o cuándo se lanzará Llama 3. Meta tardó aproximadamente cinco meses entre el lanzamiento de Llama 1 a fines de febrero de 2023 y el lanzamiento de Llama 2 a fines de julio de 2023.
GPT-4 tiene una arquitectura más sofisticada que Llama
Es probable que GPT-4 logre su alto rendimiento utilizando una arquitectura más compleja de mezcla de expertos con 16 redes expertas, cada una con aproximadamente 111 mil millones de parámetros. Pasar de Llama 2 a Llama 3 podría ser más desafiante que simplemente escalar a través de más entrenamiento y podría llevar más tiempo que pasar de Llama 1 a Llama 2.
Llama 2 alcanza el nivel de GPT-3.5 en algunas aplicaciones y también está siendo optimizado por la comunidad de código abierto a través de ajuste fino y características adicionales.
Por ejemplo, el recientemente lanzado Code Llama, que se basa en Llama 2, logra resultados de nivel GPT-3.5 y GPT-4 (dependiendo del tipo de medida) en la prueba de codificación HumanEval a través del ajuste fino.
Sin embargo, en el documento sobre Llama 2, Meta señala que todavía hay una gran brecha de rendimiento con los modelos de código cerrado como GPT-4 y el PaLM-2 de Google.
Según el Financial Times, el objetivo principal de los modelos Llama de Meta es romper la dominancia de OpenAI en el mercado de LLM. Es probable que Meta esté intentando establecer los modelos Llama como una tecnología habilitadora en el mercado de LLM, similar a lo que Google ha hecho con Android en el mercado móvil, para lanzar ofertas adicionales más adelante. Meta también se beneficia del rápido desarrollo de los modelos por parte de la comunidad de código abierto.
Sam Altman, el director de OpenAI, dijo a principios de junio de 2023 que GPT-5 todavía está lejos de ser lanzado. Google planea lanzar Gemini, la próxima generación de LLM multimodales, a finales de este año o principios del próximo.
