Usuarios afirman que Claude AI se vuelve menos inteligente, Anthropic lo niega. La degradación de los LLM continua.
2024-08-28 11:55:18
👀 Diferentes usuarios han expresado preocupaciones sobre la capacidad de Claude AI, sugiriendo que su inteligencia ha disminuido. Sin embargo, Anthropic defiende la calidad del rendimiento de su inteligencia artificial, asegurando que no ha perdido efectividad.
Se exploran las recientes quejas sobre la disminución de las capacidades del chatbot Claude de Anthropic, en paralelo a las preocupaciones similares que afectaron a ChatGPT el año pasado. Se analiza el fenómeno de la percepción de degradación en la inteligencia artificial y los desafíos en la comunicación de su rendimiento.
La Degradación Percibida de los Chatbots: Un Análisis de Claude y ChatGPT
Recientemente, usuarios han informado que el chatbot Claude de Anthropic ha perdido capacidades, una queja que recuerda a las preocupaciones sobre ChatGPT del año pasado. A pesar de esto, Anthropic afirma que no se han realizado cambios, lo que resalta los retos de mantener un rendimiento consistente en la inteligencia artificial.
Un publicación en Reddit sostiene que «Claude definitivamente ha sido atenuado recientemente», ganando tracción entre muchos usuarios que coinciden en que las habilidades del chatbot han disminuido. El autor original comentó que Claude ahora olvida tareas rápidamente y tiene dificultades con la codificación básica, lo que llevó a algunos usuarios a cancelar su suscripción.
Algo está pasando en la interfaz web y estoy cansado de que me digan que no. Alguien de Anthropic necesita investigar esto porque demasiadas personas están de acuerdo conmigo en los comentarios.
u/NextgenAITrading en Reddit
Alex Albert de Anthropic respondió, afirmando que su investigación «no muestra problemas generalizados» y confirmando que no han alterado el modelo Claude 3.5 Sonnet ni el pipeline de inferencia.
También nos gustaría confirmar que no hemos realizado cambios en el modelo 3.5 Sonnet ni en el pipeline de inferencia. Si notas algo específico o replicable, utiliza el botón de «no me gusta» en las respuestas de Claude para informarnos. Esa retroalimentación es muy útil.
Alex Albert, Relaciones con Desarrolladores en Anthropic
Para aumentar la transparencia, Anthropic ahora publica sus prompts del sistema para los modelos Claude en su sitio web. Quejas similares sobre Claude salieron a la luz en abril de 2024, que Anthropic también negó. Algunos usuarios informaron más tarde que el rendimiento volvió a la normalidad.
Patrón Recurrente de Degradación Percibida en la IA
Este patrón de los usuarios que perciben una disminución en la IA, seguido de negaciones por parte de las empresas, ha ocurrido antes, notablemente con ChatGPT a finales de 2023. Las quejas sobre GPT-4 y GPT-4 Turbo persisten hoy en día, incluso para el más reciente modelo GPT-4o.
Existen varios factores que pueden explicar las percepciones de caídas en el rendimiento de los modelos de inteligencia artificial (IA). En primer lugar, los usuarios tienden a acostumbrarse rápidamente a las capacidades iniciales de una IA y, con el tiempo, desarrollan expectativas más altas y a veces poco realistas. Cuando OpenAI lanzó ChatGPT en noviembre de 2022 utilizando el modelo GPT-3.5, las capacidades del sistema sorprendieron y entusiasmaron a muchos usuarios. No obstante, a medida que la tecnología ha avanzado y se han introducido modelos más sofisticados como GPT-4, las expectativas de los usuarios también han aumentado, lo que hace que GPT-3.5 ahora se perciba como menos innovador o potente en comparación con las nuevas versiones.
Además, la IA presenta una variabilidad natural en sus respuestas debido a la naturaleza probabilística de los modelos de lenguaje, lo que significa que las salidas pueden variar en calidad y precisión. Esta variabilidad puede ser influenciada por una serie de factores, incluyendo las limitaciones temporales de recursos computacionales que pueden afectar el procesamiento de datos en momentos específicos. También hay que considerar que los errores ocasionales de procesamiento o las respuestas inesperadas son una parte intrínseca del uso de modelos generativos, los cuales, aunque se minimizan con ajustes y mejoras continuas, no se eliminan por completo. En la práctica diaria, incluso los «prompts» o entradas más confiables pueden producir resultados subóptimos, aunque una simple regeneración de la respuesta a menudo resuelve el problema.
Otro aspecto importante a tener en cuenta es la percepción de los usuarios sobre el rendimiento de la IA, que puede verse afectada incluso cuando no se han realizado cambios significativos en los modelos subyacentes. Las actualizaciones o modificaciones en los modelos de IA a veces no se comunican de manera transparente o no se entienden completamente por los usuarios, lo que puede llevar a malentendidos sobre las capacidades reales del sistema.
Recientemente, OpenAI lanzó una versión actualizada de GPT-4, y aunque indicó que los usuarios «tienden a preferir» este nuevo modelo, no proporcionó un registro de cambios detallado. La falta de una documentación exhaustiva sobre las modificaciones específicas realizadas puede contribuir a la incertidumbre sobre lo que realmente ha cambiado en términos de rendimiento y comportamiento del modelo. OpenAI ha expresado su intención de ofrecer más detalles sobre cómo varían las respuestas del modelo, pero también ha mencionado la dificultad de hacerlo debido a la falta de investigación avanzada en métodos que permitan evaluar y comunicar de manera granular las mejoras en el comportamiento del modelo.
OpenAI también ha señalado anteriormente que el comportamiento de los modelos de IA puede ser inherentemente impredecible. El entrenamiento de la IA, la afinación del modelo y su evaluación son descritos por la empresa como un «esfuerzo artesanal y de múltiples personas», en lugar de un «proceso industrial limpio». Esto significa que cada ajuste y mejora puede tener efectos imprevistos en diferentes áreas del rendimiento del modelo, mejorando algunas capacidades mientras que otras pueden verse afectadas negativamente. Esta complejidad en el desarrollo y mantenimiento de modelos de IA generativa resalta los desafíos que enfrentan los desarrolladores para garantizar un rendimiento consistente y comunicar de manera efectiva los cambios a los usuarios finales.
En resumen, la percepción de una disminución en el rendimiento de los modelos de IA puede deberse a varios factores, incluyendo expectativas crecientes, variabilidad natural en las respuestas, limitaciones temporales de recursos y falta de claridad en la comunicación de actualizaciones. Aunque OpenAI y otras empresas están trabajando continuamente para mejorar la transparencia y la calidad de sus modelos, la naturaleza compleja y en evolución de la IA genera desafíos continuos en la gestión de las expectativas y la satisfacción de los usuarios.
