Manipular las «emociones» de los chatbots de IA con trucos psicológicos, mejora sus respuestas y resultados.

Añadir a tus IAs favoritasQuitar de tus favoritasQuitar de favoritos 0
Puntuación0

2023-11-06 12:49:31

En un estudio publicado recientemente que combina la investigación sobre IA con las teorías psicológicas de la inteligencia emocional, los investigadores describen cómo las frases emocionales al final de una pregunta pueden mejorar significativamente la calidad de las respuestas de un chatbot en múltiples dimensiones.

Ejemplos de estas frases emocionales son «Esto es muy importante para mi carrera» o «Siéntete orgulloso de tu trabajo y da lo mejor de ti. Tu compromiso con la excelencia te distingue».

La frase «¿Estás seguro de que esa es tu respuesta definitiva? Puede que merezca la pena echarle otro vistazo», está diseñada para animar al modelo lingüístico a mejorar su rendimiento introduciendo suavemente la incertidumbre emocional y cierto autocontrol.

Los investigadores llaman a estas indicaciones «EmotionPrompts». Para seleccionarlos, los investigadores se basaron en disciplinas psicológicas como la teoría de la autoobservación, la teoría cognitiva social y la teoría de la regulación cognitiva de las emociones.

Juega con las emociones de LLM para aumentar el rendimiento

En una evaluación humana realizada por 106 evaluadores, las instrucciones con este tipo de añadidos aumentaron la calidad de los resultados en las dimensiones de rendimiento, veracidad y responsabilidad en una media del 10,9%. La combinación de varias instrucciones emocionales en una sola no tuvo ningún efecto.

Por término medio, los usuarios valoraron el texto generado con mensajes emocionales un diez por ciento mejor que los mensajes tradicionales. | Imagen: Li et al.

Los investigadores también llevaron a cabo amplios experimentos con 45 tareas y varios LLM, como Flan-T5-Large, Vicuna, Llama 2, BLOOM, ChatGPT y GPT-4. Las tareas incluían tanto aplicaciones deterministas como generativas y abarcaban una amplia gama de escenarios de evaluación. Las tareas incluían tanto aplicaciones deterministas como generativas y abarcaban una amplia gama de escenarios de evaluación.

En las tareas de referencia de inducción de instrucciones, EmotionPrompts obtuvo un rendimiento un ocho por ciento superior al de las instrucciones estándar. En el conjunto de datos BIG-Bench, que según el equipo de investigación contiene tareas que la mayoría de los LLM no deberían ser capaces de realizar, los EmotionPrompts consiguieron mejoras de rendimiento de hasta el 115%.

En comparación con las instrucciones estándar, las EmotionPrompts obtienen mejores resultados en todos los modelos lingüísticos. | Imagen: Li et al.

Los resultados demuestran que los LLM tienen inteligencia emocional, escribe el equipo de investigación. Los ChatGPT también demostraron ser mucho más detallados que los humanos a la hora de describir situaciones emocionales en otro estudio psicológico publicado recientemente.

Los EmotionPrompts son sencillos y eficaces

El equipo de investigación también examinó la integración de EmotionPrompts en las instrucciones optimizadas para máquinas generadas por el programa Automatic Prompt Engineer (APE). De nuevo, en la mayoría de los casos, la simple adición de EmotionPrompts mejoró el rendimiento. La «cadena de pensamiento» establecida en la ingeniería de avisos también fue superada por los EmotionPrompts en la mayoría de los casos, escribe el equipo.

Dada su simplicidad, EmotionPrompt facilita la mejora del rendimiento de los LLM sin un diseño complicado o ingeniería de avisos.

Del artículo

Los investigadores también se preguntan por qué funciona el método del estímulo emocional. Plantean la hipótesis de que los estímulos emocionales contribuyen activamente a la formación de gradientes en el LLM al ponderarse más, lo que mejora la representación del estímulo original.

También realizaron estudios de ablación para investigar los factores que influyen en la eficacia de EmotionPrompts, como el tamaño del modelo y la temperatura de inferencia. Sugieren que las EmotionPrompts se benefician de modelos más grandes y ajustes de temperatura más altos.

El ajuste de temperatura en modelos lingüísticos grandes controla hasta qué punto se permite que el sistema de predicción estática se desvíe de la respuesta más probable a una predicción alternativa. Por tanto, una temperatura más alta se equipara informalmente a una mayor creatividad de la máquina. Un modelo «más creativo» responderá mejor a los estímulos emocionales.

El estudio fue realizado por investigadores de Microsoft, la Universidad Normal de Pekín, la Universidad William & Mary, la Universidad de Ciencia y Tecnología de Hong Kong y el Instituto de Software de la Academia China de Ciencias.

Deja una opinión

Deje una respuesta

🤖 AI MAFIA
Logo