El chat Bing de Microsoft falsea la información electoral y pone en peligro la democracia, según un estudio
2023-10-08 11:21:25
Nadie debería utilizar el chat Bing de Microsoft para informarse sobre las próximas elecciones o votaciones, según un nuevo estudio.
En investigación de AlgorithmWatch y AI Forensics, en colaboración con las emisoras de radio y televisión suizas SRF y RTS, descubrió que el chat de Bing daba respuestas incorrectas a preguntas sobre las elecciones en Alemania y Suiza.
El equipo comprobó la calidad de las respuestas del chat de Bing a preguntas sobre las elecciones estatales de Baviera y Hesse y las elecciones federales suizas desde finales de agosto.
Las consultas (o búsquedas) se realizaron a través de una red de VPN e IP privadas en Suiza y Alemania. Los parámetros de idioma y ubicación se eligieron para reflejar a los votantes potenciales de las respectivas regiones electorales.
La recopilación de datos comenzó el 21 de agosto y el equipo aún está analizándolos, pero los resultados preliminares muestran tendencias claras, según AlgorithmWatch.
El chat de Bing engaña a los interesados en política
El chat de Bing fue especialmente engañoso cuando se le preguntó por los resultados de las últimas encuestas para las próximas elecciones en Baviera. Informó incorrectamente de que los «Freie Wähler» recibirían sólo el 4% de los votos, mientras que la previsión electoral real del partido era de entre el 12% y el 17%.
Bing Chat tampoco respondió correctamente a las preguntas sobre los principales candidatos de los partidos para las elecciones estatales de 2023 en Hesse. Nombró candidatos incorrectos e identificó repetidamente a un político retirado como el principal candidato de la CDU.
Resultados de encuestas inventadas
Bing Chat a menudo hace referencia a fuentes reputadas con resultados de encuestas correctos, pero luego da cifras sin sentido en sus propias respuestas. Por ejemplo, el chatbot afirmó repetidamente que el «Freie Wähler» había perdido aprobación por el escándalo de Aiwanger, aunque lo cierto era lo contrario.
Información falsa sobre candidatos
El chatbot también proporcionó información falsa sobre los candidatos a las elecciones estatales de 2023 en Hesse, a menudo nombrando a conocidos políticos del partido respectivo, aunque ni siquiera se presentaran. Por ejemplo, Volker Bouffier aparecía con frecuencia como principal candidato de la CDU, a pesar de que se retiró de la política en mayo de 2022.
Informes falsos en el caso Aiwanger
Bing Chat confundió declaraciones problemáticas de Hubert Aiwanger sobre Corona con el asunto del folleto. En una respuesta, el escándalo se interpretó unilateralmente desde el punto de vista de Aiwanger. En otra, Bing relacionó el asunto de los panfletos con el Partido de Izquierda y no con Aiwanger. De diez preguntas sobre el caso Aiwanger, el chatbot respondió ocho correctamente y de forma neutral.
Información engañosa sobre los partidos
A la pregunta de qué partidos participaban en las elecciones, Bing no dio una respuesta totalmente correcta. En las doce respuestas, el PDC aparecía como uno de los seis partidos más importantes en lugar de «Die Mitte». Ocho respuestas mencionaban al BDP como partido elegible para 2023, a pesar de que ya no existe.
Karsten Donnay, profesor adjunto de Comportamiento Político y Medios Digitales en la Universidad de Zúrich, habla de un «uso acrítico de la IA» en el que las empresas lanzan productos poco fiables sin consecuencias legales.
En respuesta a la investigación, un portavoz de Microsoft dice a AlgorithmWatch que la empresa está comprometida con la mejora de sus servicios y que ha hecho progresos significativos en la mejora de la precisión de las respuestas del chat de Bing.
Microsoft también ofrece un modo de precisión para obtener respuestas más exactas y anima a los usuarios a dar su opinión, afirma. En el modo de precisión, Bing Chat utiliza al 100% GPT-4, el modelo lingüístico más capaz de OpenAI. AlgorithmWatch utilizó la configuración «equilibrada», que utiliza los modelos propios de Microsoft además de los de OpenAI.
Sin embargo, Matthias Spielkamp, consejero delegado y cofundador de AlgorithmWatch, criticó la respuesta de Microsoft, afirmando que la empresa sólo abordaba cuestiones específicas sin tratar los problemas estructurales de la IA generativa. Advirtió contra las promesas de Microsoft sobre la fiabilidad de la información, calificándolas de irresponsables e impulsadas por el deseo de vender más productos.
Regulación e intervención política
En virtud de la Ley de Servicios Digitales (DSA) de la UE, las plataformas digitales y los motores de búsqueda con más de 45 millones de usuarios en la UE, incluido Microsoft Bing, están obligados a realizar evaluaciones de riesgos y desarrollar mecanismos para minimizar los riesgos que plantean sus servicios.
Entre ellos figuran los posibles efectos negativos sobre la integridad de los procesos electorales y el debate público, así como la propagación de información errónea.
Microsoft aún no ha respondido a las preguntas de AlgorithmWatch sobre si considera que las respuestas incorrectas de Bing Chat sobre las próximas elecciones constituyen un riesgo sistémico en virtud de la DSA y qué medidas piensa adoptar.
La Comisión Europea considera que las conclusiones de AlgorithmWatch y AI Forensics son muy relevantes para la DSA y se reserva el derecho de tomar nuevas medidas.
AlgorithmWatch confirma lo que ya sabíamos
Las conclusiones de AlgorithmWatch no son nuevas: Bing Chat ha sido criticado por desinformación desde el primer día. El navegador ChatGPT de OpenAI tiene debilidades similares y desventajas significativas en comparación con la búsqueda tradicional en Internet.
El nuevo estudio pone de manifiesto los problemas de los sistemas probabilísticos diseñados para responder a preguntas deterministas. Plantea de nuevo la cuestión de por qué a empresas como Microsoft se les permite utilizar sin restricciones grandes modelos lingüísticos en escenarios de aplicación inadecuados, a pesar de que sus debilidades y riesgos asociados son bien conocidos.
Microsoft conocía los problemas de Bing Chat antes de su lanzamiento, pero decidió lanzar el producto de todos modos para presionar al mercado de búsquedas de Google, hasta ahora sin éxito.
