2023-07-21 07:46:31
A partir de ahora, los suscriptores de ChatGPT Plus podrán enviar hasta 50 mensajes en tres horas a GPT-4. Tras la introducción del nuevo modelo en marzo, el número se limitó a 25 mensajes en dos horas por razones computacionales y de coste.
El aumento del número de mensajes puede estar relacionado con la versión «0613» de GPT-4 introducida recientemente, que puede ser un modelo más eficiente, pero también puede sacrificar la calidad (véase más abajo).
Lo que es notable en comparación con el modelo de marzo «0314» es la velocidad de escritura significativamente mayor del nuevo modelo. Este también fue el caso al cambiar de GPT-3 a GPT-3.5. Sin embargo, no hubo pérdida de calidad. El nuevo modelo «0613» de GPT-4 puede manejar muchas más RPM (peticiones por minuto) y TPM (fichas por minuto).
El GPT-4 ofrece más volumen y es más rápido, ¿a costa de la calidad?
En nuestras pruebas a través de la API, la nueva versión GPT-4 sigue nuestras plantillas de avisos creadas para la versión de marzo con menos fiabilidad y detalle, y es más propensa a errores de hecho.
Por ejemplo, generamos algunos resúmenes a continuación de nuestros artículos con GPT-4. En el resumen de esta noticia sobre los planes de demanda de Barry Diller, el antiguo modelo GPT-4 capta correctamente que Diller quiere asociarse con editores para demandar a empresas de IA.
La nueva versión de GPT-4 afirma que Diller quiere demandar a los editores. Este error podría reproducirse en múltiples regeneraciones con el mismo prompt. La versión antigua siempre es correcta, la nueva siempre es incorrecta.
Por supuesto, esto no es más que una observación anecdótica. Sin embargo, una investigación más sistemática también sugiere que ChatGPT ha perdido calidad con GPT-3.5 y GPT-4 desde marzo. En última instancia, sin embargo, esto no está probado de forma concluyente y se desconocen las posibles razones.
Las críticas sobre la supuesta pérdida de calidad del modelo se han venido sucediendo desde hace varias semanas, especialmente por parte de usuarios habituales en las redes sociales y en Reddit. OpenAI siempre ha señalado que no ha habido degradación de la calidad, y que si algo ha cambiado, es una mejora. Los ejemplos que a veces se citan son probablemente errores. Ahora que se ha publicado el estudio, OpenAI quiere investigar los ejemplos y la posible degradación de la calidad.
Los LLM deben ser fiables para el trabajo diario
Independientemente de si las críticas sobre un rendimiento potencialmente pobre resultan ser ciertas, OpenAI haría bien en garantizar la fiabilidad de su modelo a través de los cambios de modelo y en comunicar mejor y de forma más transparente. Especialmente para los clientes empresariales que revenden servicios, las fluctuaciones de calidad en el uso diario pueden poner en peligro el modelo de negocio.
Puede que ni siquiera se trate de una degradación del modelo, sino más bien de una desviación en la compatibilidad puntual, por ejemplo. Dado que la comprensión del funcionamiento exacto de los modelos es aún escasa, OpenAI se enfrenta aquí a una ardua tarea, que no hará sino complicarse a medida que crezca su base de clientes.
