2023-07-25 16:35:42
Puntos destacados:
🔹 Qualcomm y Meta colaborarán para habilitar el modelo de lenguaje Llama 2 en los chips de Qualcomm en teléfonos y PCs a partir de 2024.
🔹 Esto permitirá que los grandes modelos de lenguaje se ejecuten en dispositivos en lugar de en centros de datos, lo que podría reducir los costos de ejecución de modelos de IA y mejorar la eficiencia de los asistentes de voz y otras aplicaciones.
🔹 Qualcomm ya ha trabajado con Meta en el desarrollo de chips para dispositivos de realidad virtual y ahora busca destacar sus procesadores como aptos para la IA «en el borde» de los dispositivos.
Qualcomm y Meta permitirán que el nuevo modelo de lenguaje de la red social, Llama 2, se ejecute en los chips de Qualcomm en teléfonos y PCs a partir de 2024, según anunciaron las compañías. Hasta ahora, los grandes modelos de lenguaje se han ejecutado principalmente en grandes granjas de servidores, en procesadores gráficos de Nvidia, debido a las enormes necesidades de potencia de cálculo y datos de esta tecnología. Esto ha beneficiado a Nvidia, cuyas acciones han subido más del 220% este año. Por otro lado, las compañías que fabrican procesadores de vanguardia para teléfonos y PCs, como Qualcomm, se han quedado algo rezagadas en el auge de la IA. Las acciones de Qualcomm han subido aproximadamente un 10% en lo que va del año 2023, por debajo del aumento del 36% del NASDAQ.
El anuncio de Qualcomm sugiere que la compañía busca posicionar sus procesadores como adecuados para la IA «en el borde», es decir, en dispositivos, en lugar de «en la nube». Si los grandes modelos de lenguaje pueden ejecutarse en teléfonos en lugar de en grandes centros de datos, podría reducir significativamente el costo de ejecución de los modelos de IA y permitiría ofrecer asistentes de voz y otras aplicaciones más rápidos y eficientes.
Qualcomm pondrá a disposición de los dispositivos de Qualcomm los modelos Llama 2 de código abierto de Meta, lo que permitirá aplicaciones como asistentes virtuales inteligentes. Llama 2 de Meta puede hacer muchas de las mismas cosas que ChatGPT, pero se puede empaquetar en un programa más pequeño, lo que le permite funcionar en un teléfono.
Los chips de Qualcomm incluyen una «unidad de procesamiento tensorial» o TPU, que es adecuada para los cálculos que requieren los modelos de IA. Sin embargo, la cantidad de potencia de procesamiento disponible en un dispositivo móvil palidece en comparación con un centro de datos con las últimas unidades de procesamiento gráfico.
Llama de Meta es notable porque Meta publicó sus «pesos», un conjunto de números que ayuda a regular cómo funciona un modelo de IA en particular. Al hacer esto, los investigadores y eventualmente las empresas comerciales podrán utilizar los modelos de IA en sus propias computadoras sin necesidad de permiso ni pago. Otros modelos de lenguaje destacados, como el GPT-4 de OpenAI o el Bard de Google, son de código cerrado y sus «pesos» se mantienen en secreto.
Qualcomm ha trabajado estrechamente con Meta en el pasado, especialmente en chips para sus dispositivos de realidad virtual Quest. También ha demostrado algunos modelos de IA ejecutándose lentamente en sus chips, como el generador de imágenes de código abierto Stable Diffusion.
