2023-11-15 05:24:45
Puntos destacados:
🚀 You.com lanza APIs para dar a los modelos de lenguaje acceso en tiempo real a la web abierta.
🔍 Los clientes ya están integrando estas APIs con sus modelos, incluyendo LlamaIndex, Anthropic y Cohere.
💰 You.com ofrece tres «sabores» de API: Búsqueda web, noticias y RAG.
Cuando OpenAI conectó ChatGPT a internet, potenció las capacidades del chatbot de inteligencia artificial. Ahora, el motor de búsqueda You.com quiere hacer lo mismo para todos los grandes modelos de lenguaje (LLM) existentes.
You.com anunció hoy el lanzamiento de un conjunto de APIs destinadas a dar a LLMs como el Llama 2 de Meta acceso en tiempo real a la web abierta, o a fragmentos más estrechos de la misma. A partir de $100 al mes, las APIs de You.com mejoran las respuestas de los LLMs a preguntas de los usuarios (por ejemplo, «¿Qué vacaciones hay esta semana?») con contexto actualizado de internet.
Clientes como LlamaIndex, Anthropic y Cohere ya lo han integrado con sus modelos.
“Hemos recibido muchas solicitudes de una API con estas capacidades”, dijo el CEO y fundador de You.com, Richard Socher, en una entrevista por correo electrónico con TechCrunch. “Cuando preguntas sobre un evento reciente, como un resultado del Super Bowl el día del Super Bowl, nuestra API buscará esos resultados en la web y luego podrás añadir esa información, en ese momento, al … LLM y luego podrá usarla para responder tu pregunta de manera más precisa.”
La mayoría de los LLMs están entrenados en datos estáticos disponibles públicamente, obtenidos de páginas web, libros electrónicos y otros lugares. Eso es suficiente para que realicen tareas, desde escribir correos electrónicos hasta redactar cartas de presentación y ensayos. Pero limita el conocimiento de los LLMs al rango de tiempo de los datos; un LLM entrenado en información anterior a septiembre de 2021, obviamente no estaría al tanto de eventos que ocurrieron ayer.
Las nuevas APIs de You.com permiten a los LLMs superar esta limitación creando un índice de fragmentos largos de sitios web, un punto clave de diferenciación sobre las APIs de búsqueda estándar proporcionadas por Bing y Google, que Socher afirma que ofrecen solo fragmentos muy cortos «diseñados para incitar a alguien a hacer clic en un enlace». Los LLMs pueden aprovechar este índice personalizado al responder preguntas, identificando el fragmento relevante y resumiéndolo para proporcionar una respuesta actualizada.
“Cada LLM recibe una indicación, una descripción de cómo debería comportarse y responder preguntas”, explicó Socher. “Puedes añadir tu propia pregunta al final de esa indicación para conversar con un LLM. Lo que esta API permite es que puedas añadir mucho contexto actualizado de la web a la indicación, después de que se haya hecho la pregunta.”
You.com ofrece tres «sabores» de API en el lanzamiento: Búsqueda web, noticias y RAG. La búsqueda web da a los LLMs acceso al mencionado índice de fragmentos largos, mientras que las noticias —como su nombre lo indica— proporcionan exclusivamente resultados de noticias. En cuanto a RAG (que significa «generación aumentada por recuperación»), combina los resultados de búsqueda web de You.com con un LLM para generar lo que Socher afirma que son respuestas «más factuales», aunque obviamente el juicio está en entredicho.
Ahora, un LLM con acceso a la web puede ser una perspectiva arriesgada, no importa a qué API esté conectado. La web en vivo es menos curada que un conjunto de datos de entrenamiento estático y, por implicación, menos filtrada. Los resultados de búsqueda pueden ser manipulados, y tampoco necesariamente son representativos de la totalidad de la web. Debido a que la mayoría de los algoritmos priorizan los sitios web que utilizan tecnologías web modernas como encriptación, soporte móvil y marcado de esquema, los sitios web con contenido de calidad pueden perderse en el cúmulo.
Socher admitió que la API de You.com tiene debilidades especialmente en áreas de preguntas localizadas tipo «cerca de mí» (por ejemplo, «¿Dónde hay buen sushi cerca de mí?»), ya que la API no conoce la ubicación de los usuarios de LLM. Pero ya se están haciendo mejoras, incluyendo actualizaciones que permitirán a las APIs de You.com codificar y «producir respuestas mucho más complejas» con citas rastreables, dice Socher.
“Pronto fusionaremos noticias y búsqueda web general para hacerlo aún más fácil para las empresas que utilizan nuestras APIs”, añadió. “Al incorporar nuestra API en cualquier solución creada por los desarrolladores, sus respuestas serán más relevantes y útiles para sus usuarios finales… [La solución puede recurrir] a la web para verificar hechos.”
Las nuevas APIs hacen que este redactor se pregunte si la búsqueda es el próximo campo de batalla en el frente de la inteligencia artificial generativa. A medida que los LLM de código abierto se acercan al nivel de algunos de sus contrapartes de código cerrado, la fortaleza del motor de búsqueda que respalda esos LLM de código cerrado (Bing en el caso de ChatGPT, Google en el de Bard) se convierte en un argumento de venta más fuerte, a menos que las APIs como las de You.com nivelan efectivamente el campo de juego.
Eso es un gran «si» — ninguna API es perfecta, y la de You.com seguramente tenga fallas más allá de las que Socher menciona. Pero se podría argumentar que la competencia siempre es algo bueno.
Las nuevas APIs de You.com comienzan en $100 al mes por 14,200 llamadas a la API después de un periodo de prueba de 60 días que viene con 1,000 llamadas mensuales gratuitas. You.com también ofrece paquetes personalizados para acuerdos empresariales más grandes que incluyen suscripciones anuales y descuentos.
