2023-10-13 16:27:28
Las empresas tecnológicas están invirtiendo miles de millones en desarrollar y desplegar IA generativa. Hay que recuperar ese dinero. Informes y análisis recientes muestran que no es fácil.
Según una fuente anónima del Wall Street Journal, Microsoft perdió más de 20 dólares por usuario al mes en el código de IA generativa Github Copilot en los primeros meses del año. Según los informes, algunos usuarios llegan a costar 80 dólares al mes. Microsoft cobra 10 dólares por usuario al mes.
Pierde dinero porque el modelo de IA que genera el código es caro de ejecutar. Github Copilot es popular entre los desarrolladores y actualmente cuenta con cerca de 1,5 millones de usuarios que activan constantemente el modelo para escribir más código.
Empresas como Microsoft, Adobe, Google y Zoom ya están respondiendo a unos costes de funcionamiento más elevados de lo habitual ofreciendo actualizaciones de su software basadas en IA a precios más altos. Adobe está introduciendo límites de uso y precios de pago por uso. Zoom está reduciendo costes con una IA interna más sencilla.
«Estamos tratando de ofrecer un gran valor, pero también de protegernos en el lado de los costes», declaró Shantanu Narayen, consejero delegado de Adobe. El consejero delegado de Amazon Web Services, Adam Selipsky, afirmó que los clientes están «descontentos» con el elevado coste de ejecutar modelos de IA.
Disminuye el crecimiento de los ingresos de las aplicaciones ChatGPT
Otro problema es la escasez y el coste de los chips. OpenAI colabora con Microsoft y utiliza un superordenador con 10.000 GPU Nvidia para sus servicios. Cada consulta cuesta unos 4 céntimos, según Stacy Rasgon, analista de Bernstein.
Si esas consultas tuvieran una décima parte del volumen de búsquedas de Google, afirma Rasgon, la inversión inicial en GPU sería de unos 48.100 millones de dólares, con unos costes anuales de mantenimiento de unos 16.000 millones.
Teniendo esto en cuenta, hay una ventaja para OpenAI cuando plataforma de análisis Appfigures estima que el crecimiento de los ingresos de la aplicación ChatGPT cayó del 39% en agosto al 20% en septiembre. Los ingresos de septiembre se estiman en 4,58 millones de dólares.
Según Appfigures, la aplicación ChatGPT se ha descargado unos 52 millones de veces hasta la fecha, con 15,6 millones de nuevas instalaciones sólo en septiembre. 9 millones llegaron a través de Android, 6,6 millones a través de iOS.
La ralentización en el crecimiento de los ingresos puede indicar que la aplicación ha alcanzado el límite de usuarios dispuestos a pagar por el modelo de pago, GPT-4, que es significativamente más caro de ejecutar que GPT-3.5. También es claramente superior en términos de calidad.
Romper la trampa del coste de la IA con chips propios y arquitecturas más eficientes
Para convertir la IA generativa en un modelo de negocio a medio plazo, las grandes tecnológicas intentan depender menos de Nvidia, que actualmente dicta los precios de los chips de IA. Amazon y Google ya fabrican sus propios chips. Se espera que Microsoft presente pronto su primer chip de IA, y OpenAI también está considerando la posibilidad de producir sus propios chips.
Las empresas también están investigando arquitecturas de IA más eficientes. Los modelos de IA más pequeños entrenados con datos de alta calidad pueden igualar la calidad de los modelos más grandes, al menos en determinados casos de uso. El modelo Phi de Microsoft, por ejemplo, lo demuestra.
El jefe de investigación de Microsoft, Peter Lee, ha encargado a «muchos» de los 1.500 investigadores de Microsoft que desarrollen modelos de IA conversacional como Phi, que son más pequeños y más baratos de ejecutar, según informó recientemente The Information. Según el sitio web, la transformación de Microsoft no ha hecho más que empezar.
¿Hasta qué punto es suficiente la IA generativa?
Centrarse en la rentabilidad más que en la calidad en esta fase tan temprana introduce nuevos riesgos: GPT-4 es lo suficientemente bueno para algunas tareas; para otras, como la navegación web, el modelo aún no es competitivo.
Si los fabricantes insisten demasiado en la calidad debido a los elevados gastos de explotación, los usuarios pueden verse disuadidos de utilizar la IA generativa. Y si la IA generativa no crece, la inversión podría disminuir: el resultado podría ser un movimiento a la baja del mercado.
Un ejemplo negativo de los experimentos de reducción de costes es el modo «Equilibrado» del chat de Bing, que al parecer utiliza modelos lingüísticos más baratos de Microsoft además de GPT-4. Esto provoca más errores en los resultados. Esto da lugar a más errores en el resultado, lo que es especialmente crítico en el contexto de las elecciones, como muestra AlgorithmWatch en una investigación reciente.
Es probable que el elevado coste de ejecutar una búsqueda con IA sea también la razón por la que Google está probando actualmente una versión reducida de su búsqueda con IA, denominada Search Generative Experience. Esto podría permitir una transición más suave entre la búsqueda clásica y la generativa, primero reduciendo los elevados gastos de funcionamiento y después incorporando el negocio publicitario tradicional de Google a la nueva experiencia de búsqueda.
