2024-10-24 – Conoce las últimas actualizaciones de los modelos de inteligencia artificial Claude 3.5 de Anthropic, incluyendo su rendimiento en tareas de programación y una nueva funcionalidad que mejora la interacción con computadoras.
Recientemente, Anthropic ha realizado importantes anuncios relacionados con sus modelos de inteligencia artificial Claude 3.5, introduciendo mejoras significativas en el modelo Sonnet y lanzando una nueva versión, el Claude 3.5 Haiku. Además, la empresa ha presentado una innovadora funcionalidad que permite a estos modelos interactuar directamente con interfaces de computadora, lo que representa un paso importante en la evolución de la inteligencia artificial.
Claude 3.5 Sonnet: Mejora en tareas de programación de código
El modelo actualizado Claude 3.5 Sonnet ha demostrado avances notables en las tareas de programación. Según los informes, su rendimiento en la Prueba Verificada SWE Bench ha aumentado de 33.4% a 49.0%, superando así a todos los modelos disponibles públicamente, incluidos los sistemas de programación especializados. Esta mejora pone de manifiesto el compromiso de Anthropic por desarrollar tecnología de IA que no solo sea poderosa, sino también más accesible para los usuarios.
En el TAU Bench, que evalúa el uso de herramientas por parte de modelos de IA, Claude 3.5 Sonnet ha mostrado un rendimiento superior en distintas industrias. En el sector minorista, su capacidad ha subido de 62.6% a 69.2%, y en el más desafiante sector de la aviación, ha mejorado de 36.0% a 46.0%. Estas cifras son indicativas de que el modelo está cada vez más ajustado a las necesidades prácticas de los usuarios.
Nuevo modelo Haiku supera a su predecesor
Anthropic ha introducido también el Claude 3.5 Haiku, el cual, según la empresa, supera al anterior modelo insignia, el Claude 3 Opus, en varias métricas de evaluación, manteniendo una velocidad y costo comparables a su predecesor, el Claude 3 Haiku. Es relevante señalar que Anthropic no ha mencionado planes para un nuevo modelo Opus en este anuncio, lo que sugiere un enfoque renovado en las versiones Haiku.
El nuevo modelo Claude 3.5 Sonnet muestra un rendimiento mejorado, especialmente en razonamiento lógico, resolución de problemas matemáticos y tareas de programación. En la prueba de comprensión del lenguaje general MMLU, se encuentra ligeramente por delante del antiguo Sonnet 3.5. | Imagen: Anthropic
El Claude 3.5 Haiku también exhibe capacidades destacadas en tareas de programación, logrando un 40.6% en la prueba SWE-bench Verified, superando a muchos agentes basados en modelos de vanguardia disponibles públicamente, incluyendo GPT-4o. Esta mejora refuerza la importancia de la innovación continua en el campo de la inteligencia artificial.
Con respecto a las fechas de corte del conocimiento, el modelo Sonnet 3.5 está actualizado hasta abril de 2024, mientras que el nuevo modelo Haiku tiene información hasta julio de 2024. Se espera que Anthropic lance el modelo Haiku a finales de este mes, lo que sin duda generará expectativas en la comunidad de desarrolladores y expertos en IA.
Interacción impulsada por IA con computadoras
Una de las características más innovadoras anunciadas es la nueva función de «uso de computadora» que Anthropic ha desarrollado. En lugar de crear herramientas específicas para tareas individuales, la estrategia adoptada consiste en enseñar a Claude habilidades informáticas generales. Esto permite que la IA utilice diversas herramientas estándar y programas de software diseñados originalmente para ser utilizados por humanos.
Anthropic ha desarrollado una API que permitirá a Claude percibir e interactuar con interfaces de computadora. Los desarrolladores podrán integrar esta API para que Claude traduzca instrucciones como «Usa datos de mi computadora e internet para completar este formulario» a comandos informáticos reales.
El sistema es capaz de mover el puntero del mouse, hacer clic en elementos de la pantalla e introducir información mediante un teclado virtual. En el benchmark OSWorld, que evalúa la capacidad de los modelos de IA para utilizar computadoras de manera similar a un humano, el Claude 3.5 Sonnet obtuvo un 14.9% en la categoría de «solo capturas de pantalla». Aunque esta puntuación supera con creces al siguiente mejor sistema de IA, que logró un 7.8%, aún queda lejos de alcanzar las capacidades humanas.
Desafíos y consideraciones en la interacción con computadoras
Se reconoce que las habilidades actuales de interacción de Claude con las computadoras son perfectibles. Acciones que son casi automáticas para los humanos, como desplazamientos, arrastres o zooms, aún representan un desafío considerable para Claude. Por lo tanto, la recomendación de Anthropic para los desarrolladores es comenzar con tareas de bajo riesgo al implementar esta funcionalidad, garantizando así una integración progresiva y segura.
La evolución de los modelos Claude 3.5 representa no solo un avance tecnológico, sino también un importante paso hacia la creación de herramientas de inteligencia artificial más eficientes y útiles en el trabajo diario.
