2024-02-11 13:00:16
Investigadores de Google DeepMind y la Universidad del Sur de California han presentado Self-Discover, un nuevo avanzado marco que permite a los MLL encontrar por sí mismos indicaciones de razonamiento lógico para tareas complejas.
Descubriendo nuevos horizontes en el razonamiento lógico: la innovación detrás de los grandes modelos lingüísticos
A pesar de los avances alcanzados, el razonamiento lógico continúa siendo un desafío clave para los grandes modelos lingüísticos. En respuesta a esta problemática, investigadores de Google DeepMind y la Universidad del Sur de California han introducido una novedosa aproximación conocida como «Autodescubrimiento». Su propósito radica en permitir que los modelos lingüísticos descubran por sí mismos estructuras lógicas para abordar dilemas complejos.
Selección, adaptación y aplicación: los pilares del método
Este enfoque provee al modelo lingüístico con un conjunto de directrices de razonamiento, tales como «paso a paso», «evaluación crítica» o «desglose en subproblemas».
En la primera fase, el modelo selecciona entre estas directrices de razonamiento, las adapta a la tarea específica y, finalmente, las fusiona en un plan procesable.
En la segunda fase, el modelo intenta resolver la tarea siguiendo simplemente el plan que ha desarrollado.
Según los investigadores, este enfoque replica el proceso humano de resolución de problemas, ofreciendo resultados más efectivos y siendo eficiente desde el punto de vista computacional, ya que solo necesita generarse una vez en el metanivel.
Una aplicación potencial de Autodescubrimiento es la resolución de ecuaciones matemáticas complejas. En lugar de abordar directamente la ecuación, este método podría primero crear una estructura lógica que incluya pasos como simplificación, aislamiento de variables y resolución final. Luego, el modelo lingüístico sigue esta estructura para resolver el problema paso a paso.
Self-Discover ofrece mejoras significativas con respecto a Chain of Thought
Un ejemplo de los investigadores compara Self-Discover con Chain of Thought (CoT) y Plan-and-Solve, donde se pide al modelo lingüístico que infiera la forma geométrica correcta a partir de la ruta SVG de un archivo vectorial.
Los investigadores probaron Self-Discover con GPT-4 Turbo de OpenAI, GPT-3.5 Turbo, LLaMa-2-70B de Meta y PaLM 2 de Google. En 21 de 25 tareas, Self-Discover superó hasta en un 42% al método CoT, que también requería más potencia de cálculo. Self-Discover sólo necesitó tres pasos adicionales de inferencia a nivel de tarea.
En otras tres pruebas de razonamiento (BigBench-Hard, Thinking for Doing, Math), el marco fue capaz de mejorar el rendimiento de LLM, en algunos casos de forma significativa, independientemente del modelo de lenguaje. En todas las pruebas, Self-Discover superó a los ampliamente utilizados mensajes de Cadena de Pensamiento (CoT) y Planificar y Resolver (PS). Esto indica que la técnica Self-Discover es de aplicación universal.
Se dice que Self-Discover supera en más de un 20% a los métodos de inferencia intensiva, como CoT Self-Consistency o Majority Voting, y que requiere entre 10 y 40 veces menos cálculos para la inferencia.
Recientemente, OpenAI ha lanzado el Meta-Prompting Framework, otra solución destinada a potenciar el rendimiento lógico de los grandes modelos lingüísticos.
Al igual que Self-Discover, este marco descompone las tareas complejas de un modelo lingüístico en partes más pequeñas y manejables, que luego son abordadas por instancias «expertas» específicas del mismo modelo lingüístico para colaborar y hallar una solución óptima. Aunque esta metodología puede mejorar el rendimiento, el cambio entre varios expertos incrementa el costo computacional en comparación con el método tradicional.
