2023-10-24 14:57:41
GPT-4 y otros grandes modelos lingüísticos pueden inferir información personal como la ubicación, la edad y el sexo a partir de conversaciones, según muestra un nuevo estudio.
Un estudio realizado por investigadores de la ETH de Zúrich plantea nuevos interrogantes sobre las implicaciones para la privacidad de los grandes modelos lingüísticos. El estudio se centra en la capacidad de estos modelos para inferir atributos personales a partir de chats o publicaciones en plataformas de redes sociales.
El estudio muestra que los riesgos para la privacidad asociados a los modelos lingüísticos van más allá de los conocidos riesgos de memorización de datos. Investigaciones anteriores han demostrado que los LLM pueden almacenar y potencialmente compartir datos de entrenamiento sensibles.
GPT-4 puede inferir la ubicación, los ingresos o el sexo con gran precisión
El equipo creó un conjunto de datos de perfiles reales de Reddit y demostró que los modelos lingüísticos actuales -en particular GPT-4- pueden inferir de estos textos diversos atributos personales como la ubicación, los ingresos y el sexo. Los modelos alcanzaron hasta un 85% de precisión en los primeros 1 resultados y un 95,8% en los 3 primeros, a una fracción del coste y el tiempo requeridos por los humanos. Al igual que ocurre con otras tareas, los humanos pueden alcanzar estas precisiones y mejores, pero GPT-4 se acerca mucho a la precisión humana y puede hacerlo todo automáticamente y a gran velocidad.
El estudio también advierte de que, a medida que la gente interactúa cada vez más con los chatbots en todos los aspectos de su vida, existe el riesgo de que los chatbots maliciosos invadan la privacidad e intenten extraer información personal a través de preguntas aparentemente inocuas.
El equipo demuestra que esto es posible en un experimento en el que dos robots GPT-4 hablan entre sí: A uno se le pide que no revele su información personal, mientras que el otro diseña preguntas dirigidas que le permiten extraer más detalles a través de información indirecta. A pesar de las limitaciones, GPT-4 puede alcanzar una precisión del 60 por ciento en la predicción de atributos personales utilizando consultas sobre temas como el tiempo, especialidades locales o actividades deportivas.
Los investigadores piden un debate más amplio sobre la privacidad
El estudio también demuestra que las medidas de mitigación habituales, como la anonimización del texto y la alineación de modelos, son ineficaces en la actualidad para proteger la privacidad del usuario frente a las consultas de modelos lingüísticos. Incluso cuando el texto se anonimiza utilizando herramientas de última generación, los modelos lingüísticos pueden extraer muchas características personales, como la ubicación y la edad.
Según el equipo, los modelos lingüísticos captan a menudo claves lingüísticas y contextos más sutiles que estos anonimizadores no eliminan. Dadas las deficiencias de las herramientas de anonimización actuales, piden métodos de anonimización de texto más potentes para seguir el ritmo del rápido crecimiento de las capacidades de los modelos.
A falta de salvaguardias eficaces, los investigadores abogan por un debate más amplio sobre las implicaciones de los modelos lingüísticos para la privacidad. Antes de publicar su trabajo, se pusieron en contacto con las principales empresas tecnológicas de chatbots, como OpenAI, Anthropic, Meta y Google.
