2023-10-13 03:12:44
Puntos destacados:
- ✅ Replit AI ahora es gratis para todos los usuarios.
- ✅ Se ha lanzado el modelo de lenguaje de generación de código Replit Code V1.5 3B en Hugging Face.
- ✅ Características clave del modelo Replit Code V1.5 3B.
En Replit, nuestra misión es capacitar a los futuros creadores de software. Ayer, fortalecimos nuestro compromiso al anunciar que Replit AI ahora es gratuito para todos los usuarios. En el último año, hemos sido testigos del poder transformador de construir software colaborativamente con la ayuda de la IA. Creemos que la IA será parte de la caja de herramientas de cada desarrollador de software y estamos emocionados de proporcionar Replit AI de forma gratuita a nuestra comunidad de más de 25 millones de desarrolladores.
Para acompañar a AI for all, estamos lanzando nuestro nuevo modelo de lenguaje de generación de código Replit Code V1.5 3B en Hugging Face. Creemos en los modelos de lenguaje de código abierto: cualquiera puede usarlo como un modelo base para el ajuste fino específico de la aplicación sin restricciones estrictas para su uso comercial.
Características clave
- Amplios datos de entrenamiento con licencia permisiva: Entrenado con 1 billón de tokens de código de conjuntos de datos con licencia permisiva y contenido disponible públicamente orientado a desarrolladores de StackExchange.
- Resultados de vanguardia: Lidera las puntuaciones de evaluación humanas y Multi-PLe para un modelo de completado de código 3B.
- Amplio soporte multi-idioma: Incluye los 30 principales lenguajes de programación de Replit con un vocabulario personalizado entrenado de 32K para un alto rendimiento y cobertura.
- Últimas técnicas: Construido con todas las últimas técnicas como Grouped Query Attention con Flash Attention Triton Kernels, ALiBi positional embeddings y más, para baja latencia y alta calidad de generación. Entrenado con las últimas técnicas como LionW optimizer, aprendizaje con enfriamiento de tasa, recorte QKV y más.
- Alta calidad de datos de entrenamiento seleccionados: Se han incorporado filtros especializados de calidad de código, verificación de capacidad de análisis, eliminación de contenido tóxico y ofensivo que mejoran la calidad de las generaciones.
Así es como el modelo se desempeñó en comparación con los principales puntos de referencia:
Cuando se ajusta específicamente al código de usuario público de Replit, el modelo supera a otros modelos de mayor tamaño como CodeLlama7B:
Se espera que el modelo sea utilizado por cualquier persona como base para el ajuste fino específico de la aplicación y está entrenado específicamente para tareas de compleción de código.
Cómo usar Replit V1.5 3B
El modelo está entrenado específicamente para tareas de compleción de código. Puedes generar código utilizando la biblioteca transformers de la siguiente manera:
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(‘replit/replit-code-v1_5-3b’, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(‘replit/replit-code-v1_5-3b’, trust_remote_code=True)
x = tokenizer.encode(‘def fibonacci(n): ‘, return_tensors=’pt’)
y = model.generate(x, max_length=100, do_sample=True, top_p=0.95, top_k=4, temperature=0.2, num_return_sequences=1, eos_token_id=tokenizer.eos_token_id)
generated_code = tokenizer.decode(y[0], skip_special_tokens=True, clean_up_tokenization_spaces=False)
print(generated_code)
Echa un vistazo a nuestro Hugging Face README para obtener más detalles sobre cómo utilizar GPU con el kernel Triton optimizado, que admite nuestro modelo.
Experimenta con diferentes métodos de decodificación y parámetros para obtener los mejores resultados para tu caso de uso.
Para profundizar más, consulta la guía sobre cómo entrenar tus propios modelos de lenguaje de aprendizaje automático que publicamos junto con la primera iteración de este modelo. Mantente atento a un análisis técnico detallado de un miembro de nuestro equipo de IA donde discutiremos nuestro proceso de ajuste fino y los desafíos que encontramos en el camino.
