2023-12-10 20:30:11
Con Gemini, Google también presentó AlphaCode 2. El modelo de código superó al 85 % de los programadores humanos en una competición.
En febrero de 2022, Deepmind presentó AlphaCode, una IA que escribe código a un nivel competitivo. A diferencia del Codex de OpenAI, AlphaCode se basaba en un modelo codificador-decodificador basado en Transformer. El modelo más grande de AlphaCode tenía 41.400 millones de parámetros y se entrenó utilizando 715 gigabytes de muestras de código de GitHub. Tras el entrenamiento, AlphaCode resolvió el 34,2 % de todos los problemas del conjunto de datos CodeContests y obtuvo una puntuación media entre el 54,3 % superior en diez competiciones Codeforce. Esto significa que AlphaCode superó a casi el 46 % de los participantes humanos.
En comparación con su predecesor, AlphaCode 2 muestra un salto significativo en el rendimiento, superando al 85 % de la competencia humana. Google Deepmind atribuye este aumento del rendimiento al uso del modelo basado en el descodificador Gemini Pro como base para todos los componentes de AlphaCode 2.
AlphaCode 2 utiliza modelos Gemini Pro y muestreo masivo
AlphaCode 2 consta de varios componentes, incluida una familia de modelos de políticas para generar muestras de código, un mecanismo de muestreo para generar un gran número de muestras de código, un mecanismo de filtrado para eliminar las muestras de código no conformes, un algoritmo de agrupación para agrupar muestras de código similares y un modelo de puntuación para seleccionar los mejores candidatos a partir de las agrupaciones más grandes de muestras de código.
A continuación, el sistema utiliza un muestreo masivo, generando hasta un millón de ejemplos de código por problema. El muestreo se realiza de manera uniforme en toda la familia de modelos personalizados, y en AlphaCode 2 sólo se utilizan ejemplos de C++.
El equipo volvió a probar AlphaCode 2 en la plataforma Codeforces. Se evaluó un total de 77 problemas de 12 competiciones recientes con más de 8.000 participantes. AlphaCode 2 resolvió el 43 % de los problemas de estas competiciones, casi el doble que el AlphaCode original. En las dos competiciones con mayor puntuación, AlphaCode 2 superó al 99,5 % de los participantes. El equipo cree que el rendimiento puede mejorar aún más con Gemini Ultra.
Google Deepmind ve el futuro en la colaboración hombre-máquina
A pesar de los impresionantes resultados de AlphaCode 2, aún queda mucho trabajo por hacer para desarrollar sistemas que puedan igualar con fiabilidad el rendimiento de los mejores programadores humanos. Además, el sistema requiere mucho ensayo y error y es demasiado caro para ser utilizado a gran escala.
Sin embargo, AlphaCode 2 abre la posibilidad de una interacción positiva entre el sistema y los programadores humanos, que pueden especificar propiedades de filtro adicionales. En esta combinación de AlphaCode 2 y programadores humanos, el sistema alcanza incluso niveles superiores al 90%. Los desarrolladores de Google DeepMind esperan que este tipo de programación interactiva sea el futuro de la programación, en el que los programadores utilicen modelos de IA como herramientas de colaboración para analizar problemas, sugerir diseños de código y ayudar en la implementación.
