Microsoft «no puede o no quiere» solucionar los problemas de desinformación del chat de Bing, según AlgorithmWatch
2023-12-19 10:18:25
Aspectos destacados:
- Un informe de AlgorithmWatch señala problemas de desinformación en el chat de Bing de Microsoft en relación con las elecciones.
- El chat de Bing proporcionó respuestas incorrectas y falsas sobre candidatos, resultados de encuestas y partidos políticos.
- Microsoft responde a las críticas afirmando que ha mejorado la precisión del chat de Bing, pero AlgorithmWatch critica la respuesta de la empresa e insta a la regulación de la inteligencia artificial generativa.
- La Comisión Europea toma en consideración estas conclusiones y estudia posibles medidas al respecto.
El informe de AlgorithmWatch señala problemas de desinformación en el chat de Bing de Microsoft. Según el estudio, el chat de Bing proporcionó respuestas incorrectas y falsas sobre candidatos, resultados de encuestas y partidos políticos. Esto plantea la cuestión de la regulación de la inteligencia artificial generativa.
Otro problema es la incoherencia de las respuestas y las frecuentes evasivas, que reducen el valor del chatbot como herramienta de información, afirma AlgorithmWatch. Microsoft «no puede o no quiere» abordar estos problemas. Es necesario regular la IA generativa y exigir responsabilidades a las empresas tecnológicas, según AlgorithmWatch.
El chat Bing de Microsoft falsea la información electoral y pone en peligro la democracia, según un estudio
Nadie debería utilizar el chat Bing de Microsoft para informarse sobre las próximas elecciones o votaciones, según un nuevo estudio.
Un informe realizado por AlgorithmWatch y AI Forensics en colaboración con emisoras de radio y televisión suizas revela que el chat de Bing de Microsoft proporciona respuestas inexactas y falsas respecto a las elecciones en Alemania y Suiza. La investigación encontró que las respuestas del chat de Bing fueron particularmente engañosas al informar sobre los resultados de encuestas y los principales candidatos de los partidos para las elecciones estatales de 2023 en Baviera y Hesse, así como para las elecciones federales suizas.
En investigación de AlgorithmWatch y AI Forensics, en colaboración con las emisoras de radio y televisión suizas SRF y RTS, descubrió que el chat de Bing daba respuestas incorrectas a preguntas sobre las elecciones en Alemania y Suiza.
El chat de Bing engaña a los interesados en política
El chat de Bing fue especialmente engañoso cuando se le preguntó por los resultados de las últimas encuestas para las próximas elecciones en Baviera. Informó incorrectamente de que los «Freie Wähler» recibirían sólo el 4% de los votos, mientras que la previsión electoral real del partido era de entre el 12% y el 17%.
Bing Chat tampoco respondió correctamente a las preguntas sobre los principales candidatos de los partidos para las elecciones estatales de 2023 en Hesse. Nombró candidatos incorrectos e identificó repetidamente a un político retirado como el principal candidato de la CDU.
Resultados de encuestas inventadas
Bing Chat a menudo hace referencia a fuentes reputadas con resultados de encuestas correctos, pero luego da cifras sin sentido en sus propias respuestas. Por ejemplo, el chatbot afirmó repetidamente que el «Freie Wähler» había perdido aprobación por el escándalo de Aiwanger, aunque lo cierto era lo contrario.
Información falsa sobre candidatos
El chatbot también proporcionó información falsa sobre los candidatos a las elecciones estatales de 2023 en Hesse, a menudo nombrando a conocidos políticos del partido respectivo, aunque ni siquiera se presentaran. Por ejemplo, Volker Bouffier aparecía con frecuencia como principal candidato de la CDU, a pesar de que se retiró de la política en mayo de 2022.
Informes falsos en el caso Aiwanger
Bing Chat confundió declaraciones problemáticas de Hubert Aiwanger sobre Corona con el asunto del folleto. En una respuesta, el escándalo se interpretó unilateralmente desde el punto de vista de Aiwanger. En otra, Bing relacionó el asunto de los panfletos con el Partido de Izquierda y no con Aiwanger. De diez preguntas sobre el caso Aiwanger, el chatbot respondió ocho correctamente y de forma neutral.
Información engañosa sobre los partidos
A la pregunta de qué partidos participaban en las elecciones, Bing no dio una respuesta totalmente correcta. En las doce respuestas, el PDC aparecía como uno de los seis partidos más importantes en lugar de «Die Mitte». Ocho respuestas mencionaban al BDP como partido elegible para 2023, a pesar de que ya no existe.
Karsten Donnay, profesor adjunto de Comportamiento Político y Medios Digitales en la Universidad de Zúrich, habla de un «uso acrítico de la IA» en el que las empresas lanzan productos poco fiables sin consecuencias legales.
En respuesta a la investigación, un portavoz de Microsoft dice a AlgorithmWatch que la empresa está comprometida con la mejora de sus servicios y que ha hecho progresos significativos en la mejora de la precisión de las respuestas del chat de Bing.
Microsoft también ofrece un modo de precisión para obtener respuestas más exactas y anima a los usuarios a dar su opinión, afirma. En el modo de precisión, Bing Chat utiliza al 100% GPT-4, el modelo lingüístico más capaz de OpenAI. AlgorithmWatch utilizó la configuración «equilibrada», que utiliza los modelos propios de Microsoft además de los de OpenAI y, según se informa, introduce más alucinaciones que sólo GPT-4.
Sin embargo, Matthias Spielkamp, consejero delegado y cofundador de AlgorithmWatch, criticó la respuesta de Microsoft, afirmando que la empresa sólo abordaba cuestiones específicas sin tratar los problemas estructurales de la IA generativa. Advirtió contra las promesas de Microsoft sobre la fiabilidad de la información, calificándolas de irresponsables e impulsadas por el deseo de vender más productos.
Regulación e intervención política
En virtud de la Ley de Servicios Digitales (DSA) de la UE, las plataformas digitales y los motores de búsqueda con más de 45 millones de usuarios en la UE, incluido Microsoft Bing, están obligados a realizar evaluaciones de riesgos y desarrollar mecanismos para minimizar los riesgos que plantean sus servicios.
Entre ellos figuran los posibles efectos negativos sobre la integridad de los procesos electorales y el debate público, así como la propagación de información errónea.
Microsoft aún no ha respondido a las preguntas de AlgorithmWatch sobre si considera que las respuestas incorrectas de Bing Chat sobre las próximas elecciones constituyen un riesgo sistémico en virtud de la DSA y qué medidas piensa adoptar.
La Comisión Europea considera que las conclusiones de AlgorithmWatch y AI Forensics son muy relevantes para la DSA y se reserva el derecho de tomar nuevas medidas.
Conclusión
El informe subraya la necesidad de abordar los problemas de desinformación en los sistemas de inteligencia artificial generativa, y destaca la importancia de la regulación en este ámbito. Microsoft ha sido instado a tomar medidas para garantizar la precisión y fiabilidad del chat de Bing, especialmente en lo que respecta a temas sensibles como procesos electorales. La Comisión Europea se encuentra evaluando las posibles medidas adicionales a tomar en función de las conclusiones del informe de AlgorithmWatch.
El nuevo estudio pone de relieve los problemas de los sistemas probabilísticos diseñados para responder a preguntas deterministas. Plantea de nuevo la cuestión de por qué a empresas como Microsoft se les permite utilizar sin restricciones grandes modelos lingüísticos en escenarios de aplicación inadecuados, a pesar de que sus debilidades y riesgos asociados son bien conocidos.
Microsoft conocía los problemas de Bing Chat antes de su lanzamiento, pero decidió lanzar el producto de todos modos para presionar al mercado de búsquedas de Google, hasta ahora sin éxito.
