2023-11-01 17:18:36
Parece que OpenAI ha hecho otro cambio significativo en el cambio a su último modelo GPT-4 que integra todos los modelos GPT-4.
OpenAI está desplegando actualmente su modelo «GPT-4 (Todas las herramientas)», que selecciona automáticamente las mejores herramientas para una tarea determinada, como Navegación, Análisis avanzado de datos o DALL-E 3.
El modelo también puede procesar contenidos mucho más largos en una sola pasada, hasta 32.000 miles de tokens, es decir, unas 25.000 palabras.. Esto permite a los usuarios chatear con PDF más largos sin necesidad de una base de datos vectorial. El modelo cuenta con una ventana contextual adicional de 2,7K para el prompt del sistema.
Esto fue descubierto por desarrollador Dustin Miller en twitter.com, refiriéndose a un hallazgo de código. Otro usuario confirma la observación con un documento largo de 16.000 palabras que ChatGPT pudo analizar con GPT-4-All.
OpenAI presentó por primera vez el modelo de 32K cuando dio a conocer GPT-4 en marzo, pero limitó el acceso primero a usuarios selectos y después a la API, probablemente por razones de coste. El modelo de 32K es incluso más caro que el de 8K, que ya es 15 veces más caro que GPT-3.5 a través de la API.
Si OpenAI implementa ahora el modelo 32K en todo ChatGPT, podría significar que tienen un mejor control de los costes. La cuestión interesante es si la empresa trasladará esta ventaja a la comunidad de desarrolladores. La conferencia de desarrolladores de OpenAI que se celebrará el 6 de noviembre sería un buen momento para anunciarlo.
La competición por el LLM se recrudece
Otra razón para ampliar la ventana contextual podría ser que el principal competidor de OpenAI, Anthropic, está acelerando el despliegue de su chatbot, Claude 2, en la web y a través de API. Google y Amazon invirtieron recientemente hasta 6.000 millones de dólares en Anthropic.
El punto fuerte de Claude 2 es su ventana de contexto de 100.000 (unas 75.000 palabras), tres veces más grande que la de 32.000 de GPT-4, pero una mejora significativa respecto a la ventana de contexto de 8.000 (de 4.000 a 6.000 palabras) del modelo original de GPT-4 en ChatGPT.
Además, el Gemini de Google está a la vuelta de la esquina, y puede que también se base en una ventana de contexto grande además de la multimodalidad.
