La IA generativa es cara y Microsoft necesita reducir costes con modelos más pequeños o eficientes
2024-01-24 12:59:34
Entrenar y desplegar IA generativa es caro, sobre todo si se quiere escalar y hacer llegar a millones de clientes, como hace Microsoft.
El otoño pasado se supo que Microsoft estaba intensificando sus investigaciones sobre modelos de IA más pequeños y eficientes, con los que reducir costes.
Ahora, según La Información Microsoft está redoblando sus esfuerzos en este sentido. Un nuevo equipo GenAI se encarga de desarrollar una IA conversacional más pequeña y barata. La publicación menciona a dos personas con conocimiento directo de la situación.
Los «modelos lingüísticos pequeños» (SLM, por sus siglas en inglés) buscan replicar la calidad de los modelos lingüísticos más grandes, como el GPT-4 de OpenAI, pero utilizando mucha menos potencia de cálculo. Estos SLM podrían usarse para procesar consultas básicas en chatbots como Bing y Windows Copilot, con el objetivo de reducir costos informáticos.
Microsoft ha trasladado a varios destacados desarrolladores de IA de su grupo de investigación al nuevo equipo GenAI, incluido Sebastien Bubeck, quien también participó en el desarrollo del SLM insignia de Microsoft, Phi-2. Phi-2 fue lanzado como código abierto a principios de este año, y se afirmó que supera al SLM comercial Gemini Nano de Google.
La dirección del equipo GenAI está a cargo del vicepresidente corporativo Misha Bilenko y depende directamente del director de tecnología Kevin Scott. Además, Microsoft cuenta con un equipo Turing dedicado al desarrollo de modelos lingüísticos a gran escala, utilizados en los productos de Copilot, a veces en combinación con modelos de OpenAI. Una vez más, los modelos de Microsoft están diseñados para simplificar tareas y reducir costos.
El escalado lo es todo en la IA, pero es caro
La escalabilidad es un tema central en el campo de la inteligencia artificial, tanto en el desarrollo como en la implementación de modelos. Se prevé que estos modelos adquieran capacidades cada vez mayores, lo que puede resultar en fases de entrenamiento más intensivas desde el punto de vista computacional y en mayores costos de ejecución.
Paralelamente, compañías como Microsoft buscan implementar la tecnología de manera rápida y extensiva, con el objetivo de obtener una posición sólida en la competencia por la cuota de mercado.
En ausencia de mejoras en la eficiencia, la espiral de precios no hará más que acelerarse en este escenario.
Según un fuente anónima del Wall Street Journal, Microsoft perdió más de 20 dólares al mes por usuario en la IA de código generativo Github Copilot en los primeros meses del año. Se dice que a algunos usuarios les costó hasta 80 dólares al mes. Microsoft cobra 10 dólares al mes.
Para el otoño de 2023, se espera que el jefe de investigación de Microsoft, Peter Lee, encargue a «muchos» de los 1.500 investigadores de la empresa desarrollar sistemas de IA conversacional más pequeños y asequibles.
Los proveedores de IA están explorando formas de reducir su dependencia de los costosos chips de IA, como los de Nvidia, mediante el desarrollo de chips más económicos y eficientes. Los procesadores caros de Nvidia son un factor de coste, en parte, por su difícil disponibilidad.
Sam Altman, CEO de OpenAI, preocupado por la escasez de chips, está en conversaciones con TSMC para establecer una empresa de chips, siendo OpenAI su principal cliente. Sin embargo, los beneficios de estos esfuerzos podrían tardar varios años en manifestarse en los costes.
Se informa que Lee, de Microsoft, ha indicado a su equipo que utilice una parte significativa de las 2.000 tarjetas gráficas Nvidia disponibles en su unidad de investigación para desarrollar modelos de IA más eficientes.
Aunque se busca eficiencia de costes, esto no debe comprometer la calidad, ya que podría afectar la utilidad y frenar la adaptación de la IA. En muchas tareas de texto, los modelos más potentes, como GPT-4, son suficientemente competentes.
Desde el lanzamiento de GPT-4 en marzo, los usuarios de ChatGPT han expresado repetidamente su preocupación por la disminución del rendimiento del modelo, posiblemente relacionada con las medidas de eficiencia adoptadas por OpenAI. No hay evidencia concreta de que esto sea cierto, solo informes anecdóticos.
Con nuevos modelos como GPT-4 Turbo, es probable que OpenAI busque mejorar la eficiencia. Al parecer, la eficiencia es el objetivo principal de la nueva generación de modelos de OpenAI, razón por la cual los prototipos actuales llevan nombres de desiertos.
