2023-09-05 14:16:08
Prompt2Model automatiza la generación de modelos PNL de propósito especial que, en algunos casos, pueden superar a GPT-3.5 Turbo siendo hasta 700 veces más pequeños.
Investigadores de la Universidad Carnegie Mellon y la Universidad Tsinghua han desarrollado un nuevo sistema llamado Prompt2Model que puede generar modelos lingüísticos personalizados a partir de prompts. El objetivo del sistema es poner al alcance de los no expertos el desarrollo de modelos de inteligencia artificial especializados. Prompt2Model no pretende ser una alternativa a GPT-4, sino más bien un proceso automatizado para modelos de PLN especiales que realizan muy bien una tarea concreta, son mucho más pequeños que los modelos grandes y, por tanto, pueden ejecutarse localmente en un hardware más débil.
En primer lugar, el sistema descompone la petición en una declaración estructurada. A continuación, busca conjuntos de datos que puedan ser útiles para la tarea en cuestión y utiliza el GPT-3.5 Turbo de OpenAI para generar datos de entrenamiento sintéticos adicionales adaptados a la tarea. A continuación, identifica un modelo preentrenado adecuado para ajustar la cara del abrazo y lo entrena con los datos recopilados.
Después del entrenamiento, Prompt2Model puede crear una interfaz web para interactuar con el modelo. El diseño modular permite la personalización de cada componente de la tubería.
El equipo evaluó los resultados de Prompt2Model en tres pruebas de referencia. En dos tareas (SQuAD, Temporal), los modelos Flan-T5 resultantes superaron incluso a GPT-3.5 Turbo, a pesar de que el modelo de Google tiene casi 700 veces menos parámetros. En la tercera prueba (MCoNaLa), Prompt2Model quedó claramente por detrás del modelo de OpenAI.
Prompt2Model tiene dificultades para soportar tareas que requieren idiomas distintos del inglés, según el equipo. El equipo citó el soporte limitado de idiomas de GPT-3.5-Turbo como la razón.
El hecho de que el equipo utilice el modelo OpenAI para generar datos es también probablemente la mayor limitación de Prompt2Model, ya que OpenAI prohíbe el uso de sus propios modelos para entrenar modelos que podrían competir con él, lo que hace que Prompt2Model sea inutilizable para aplicaciones comerciales. Sin embargo, el equipo está estudiando la integración de grandes modelos lingüísticos de código abierto para evitar la dependencia de API propietarias.
Más información y el código en GitHub.
