¿Gemini de Google y ChatGPT GPT-4 las IA más inteligentes? ¿Hasta donde Podemos llegar con GPT-5?
2023-12-07 13:22:56
Con Gemini, Google es la primera empresa que ofrece un LLM más potente que el GPT-4 de OpenAI, si nos atenemos a los puntos de referencia actuales.
Sin embargo, el hecho de que la versión Ultra de Gemini supere a GPT-4 en 30 de 32 pruebas no es la gran noticia del lanzamiento del LLM de Google. La gran noticia es que Gemini apenas supera a GPT-4.
Incluso la variante Gemini Pro, más compacta, sólo está a la par con el modelo GPT-3.5 de OpenAI, de hace un año. Esto nos lleva a preguntarnos: ¿No podría Google hacerlo mejor, o han alcanzado ya los LLM sus límites? Bill Gates, que sigue hablando con Microsoft y OpenAI, piensa lo segundo.
Pichai, CEO de Google, sigue creyendo en el escalado de los LLM y ve «mucho margen de maniobra»
En un entrevista con el MIT, el consejero delegado de Google, Sundar Pichai, dice: «Las leyes de escalado van a seguir funcionando». Pichai espera que los modelos de IA sean más potentes y eficientes a medida que crecen en tamaño y complejidad. Google todavía ve «mucho margen» para escalar los modelos lingüísticos, según Pichai.
Para que este progreso sea mensurable, se necesitan nuevos puntos de referencia. Pichai se refiere a la prueba de referencia MMLU (massive multi-task language understanding), en la que Gemini supera por primera vez la barrera del 90%, superando a los humanos (89,8%). Hace sólo dos años, el estándar MMLU era del 30-40%, afirma Pichai.
Sin embargo, si nos fijamos en las cifras de MMLU en Informe técnico de Gemini, que Google no pone en el gran escenario, se puede ver que Google rinde mejor que GPT-4 sólo para uno de los dos métodos de prompting, el más complejo (CoT@32). En el caso del método de incitación descrito por OpenAI (5 disparos, cinco ejemplos), Gemini Ultra obtiene peores resultados que GPT-4.
Esto demuestra lo cerca que están GPT-4 y Gemini en muchas áreas. Incluso los modelos de lenguaje más antiguos, como PaLM 2, no quedan completamente atrás en la prueba comparativa MMLU.
Según Pichai, muchos puntos de referencia actuales ya han alcanzado sus límites. Esto también afecta a la percepción del progreso. «Así que puede no parecer mucho, pero se está progresando», dijo Pichai.
Hay más margen de mejora en otras áreas, como el procesamiento multimodal y el manejo de tareas. Esto incluye, por ejemplo, la capacidad de responder a una imagen con el texto adecuado. Aquí es donde Gemini da mayores saltos, pero sigue sin ser rompedor.
«A medida que hagamos los modelos más grandes, habrá más avances. Cuando lo considero en su totalidad, siento sinceramente que estamos en el principio», afirma Pichai.
A la espera de la GPT-5
Si la predicción de Pichai es correcta, también significa que, a pesar de los años de inversión en I+D de IA y de las enormes capacidades de investigación y computación, Google tardó varios meses en adaptar sus procesos y estructuras internas al escalado LLM de forma que pudiera superar, al menos por poco, a GPT-4. Han pasado unos nueve meses desde el lanzamiento de GPT-4. La fusión de la división de IA de Google con Deepmind puede haber añadido tiempo.
Con GPT-3, OpenAI ya había sacado al mercado un gran modelo lingüístico listo para usar en 2020, y había estado construyendo las estructuras correspondientes en los años anteriores. Pero Google también había lanzado grandes LLM con PaLM y sus predecesores. Así que escalar modelos lingüísticos no era nada nuevo para ellos.
Los saltos más grandes pueden requerir primero avances en la arquitectura LLM subyacente, lo que requiere más tiempo de investigación. El último gran salto, la arquitectura Transformer, que permitió los principios de escalado utilizados posteriormente por OpenAI, vino de Google.
Así que la carrera continúa, y la pregunta más interesante ahora mismo es: ¿cómo de rápido y cómo de fuerte puede OpenAI contrarrestar a Gemini con GPT-5?
Hasta ahora, OpenAI ha declarado oficialmente que el próximo gran modelo de lenguaje está lejos de estar listo para el mercado, pero su director ejecutivo, Sam Altman, también dijo a principios de noviembre que la IA actual parecerá «pintoresca» el año que viene. La última filtración apunta a que GPT-5 podría estar listo a principios de 2024. Quizá GPT-4.5 sea suficiente.
