2023-08-10 18:24:46
Con StableCode, Stability AI lanza un modelo de lenguaje para la generación de código como software de código abierto bajo licencia Apache, versión 2.0.
Según Stability AI, StableCode se basa en tres modelos: El modelo base de tres mil millones de parámetros construido sobre el GPT-NeoX de Eleuther, se preentrenó con numerosos lenguajes de programación del conjunto de datos BigCode y luego se amplió para incluir lenguajes de programación adicionales como Python, Go, Java, Javascript, C, Markdown y C++, con un total de 560.000 millones de tokens.
En modelo de instrucción se construyó sobre el modelo base, que se refinó con ejemplos de aplicación concretos para «resolver tareas de programación complejas» utilizando la fórmula Alpaca. Stability AI utilizó un total de 120.000 pares de instrucciones y sus soluciones.
El anuncio de Stability AI no incluye una evaluación del rendimiento del modelo frente a modelos existentes como Starcoder o Github Copilot.
StableCode 16K: modelo de código con ventana de contexto grande
Además del modelo estándar con una ventana de contexto de 4K, StableCode también está disponible en una variante de 16K. La ventana de contexto más grande permite al modelo ver más código a la vez para resolver una tarea, generando potencialmente mejor código.
Según Stability AI, el modelo de 16K puede ver o editar el equivalente de hasta cinco archivos Python de tamaño medio a la vez, lo que debería ser especialmente útil para los principiantes. Ambos modelos pueden generar y completar una o varias líneas de código.
«Personas de todos los orígenes pronto serán capaces de crear código para resolver sus problemas cotidianos y mejorar sus vidas utilizando la IA, y nos gustaría ayudar a que esto suceda», escribe la compañía. El CEO de Stability AI, Emad Mostaque, también se burla de «variaciones muy interesantes» de StableCode en proyecto, afirmando que «la programación se transformará para que haya 1b codificadores».
Además de la versión 1.0 de su modelo de imagen SD XL, Stability AI lanzó en abril su primer modelo lingüístico de código abierto, StableLM, así como «Free Willy», un modelo lingüístico basado en Llama v2 de Meta y perfeccionado con un conjunto de datos sintéticos. Iguala o supera el rendimiento del modelo original y, en cierta medida, el de GPT-3.5 (ChatGPT).
