Microsoft revela que los hackers pueden eludir 100 herramientas de IA sin necesidad de matemáticas complejas

Añadir a tus IAs favoritasQuitar de tus favoritasQuitar de favoritos 0
Puntuación+1

2025-01-23

El equipo de seguridad de Microsoft ha examinado más de 100 productos de IA generativa desde 2021, revelando importantes hallazgos sobre la seguridad y la ética de estas tecnologías. Este artículo analiza sus descubrimientos y resalta la relevancia de la intervención humana en la gestión de riesgos de IA.

La seguridad de la inteligencia artificial: Hallazgos de Microsoft

Desde el año 2021, el equipo de seguridad de IA de Microsoft ha examinado más de 100 productos de inteligencia artificial generativa en busca de vulnerabilidades y cuestiones éticas relacionadas. Los resultados obtenidos desafían algunas de las suposiciones comunes sobre la seguridad en IA y subrayan la vital importancia de la experiencia humana en este ámbito.

La simplicidad de los ataques

Un descubrimiento notable en el informe de Microsoft es que los ataques más efectivos no siempre son los más complejos. Como se señala en una de las investigaciones citadas, «los verdaderos hackers no calculan gradientes, utilizan la ingeniería de prompts». Durante una serie de pruebas, el equipo logró eludir las características de seguridad de un generador de imágenes simplemente ocultando instrucciones dañinas dentro del texto de las imágenes, sin necesidad de cálculos matemáticos complicados.

La intervención humana sigue siendo fundamental

A pesar de que Microsoft ha desarrollado PyRIT, una herramienta de código abierto para automatizar pruebas de seguridad, el equipo enfatiza que el juicio humano no puede ser reemplazado. Este aspecto se hizo evidente al probar cómo los chatbots manejan situaciones delicadas, como las interacciones con personas en estado de angustia emocional. Evaluar estos escenarios exige tanto experiencia psicológica como una comprensión profunda de los posibles impactos en la salud mental.

Además, la investigación de sesgos en la IA también se benefició de la perspectiva humana. En un caso particular, se analizó el sesgo de género en un generador de imágenes creando imágenes de diferentes ocupaciones sin especificar el género, lo que revela la necesidad de una evaluación crítica en el diseño de sistemas de IA.

Nuevos retos de seguridad

La integración de la IA en aplicaciones cotidianas ha creado nuevas vulnerabilidades. En una de las pruebas realizadas, el equipo logró manipular un modelo de lenguaje para generar escenarios de fraude muy convincentes. Cuando se combina con la tecnología de texto a voz, se crea una sistema que puede interactuar con las personas de forma increíblemente realista.

Microsoft revela que los hackers pueden eludir 100 herramientas de 2025-01-23
Imagen: Microsoft

No se deben limitar los riesgos solamente a problemáticas específicas de IA. En un análisis más exhaustivo, el equipo descubrió un defecto de seguridad tradicional (SSRF) en una herramienta de procesamiento de video por IA, lo que demuestra que estos sistemas enfrentan desafíos tanto antiguos como nuevos.

Necesidades de seguridad continuas

La investigación llevó especial atención a los riesgos asociados con una «IA Responsable», en los que se podrían generar contenidos dañinos o éticamente cuestionables. Estos problemas son particularmente complicados de abordar, ya que dependen en gran medida del contexto y la interpretación individual.

El equipo de Microsoft observó que la exposición no intencionada a contenido problemático por parte de usuarios comunes puede ser más preocupante que los ataques deliberados, ya que sugiere que las medidas de seguridad no están funcionando como se esperaba en el uso cotidiano.

Los hallazgos sugieren que la seguridad en IA no es una solución de una sola vez. Microsoft recomienda establecer un ciclo continuo de identificación y corrección de vulnerabilidades, seguido de pruebas adicionales. Además, enfatizan que es necesario respaldar esto con regulaciones y incentivos financieros que hagan que los ataques exitosos sean más costosos.

Reflexiones finales y preguntas clave

El equipo dejó abiertas varias preguntas cruciales para el futuro de la seguridad en IA:

  • ¿Cómo podemos identificar y controlar capacidades potencialmente peligrosas de la IA, como la persuasión y el engaño?
  • ¿Cómo adaptamos las pruebas de seguridad para diferentes idiomas y culturas?
  • ¿De qué forma pueden las empresas compartir sus métodos y resultados de manera estandarizada?

Estos interrogantes son fundamentales para avanzar en el desarrollo responsable de tecnologías de IA y enfrentar los retos que surgen con su adopción generalizada.

  • Microsoft AI Security Team
  • PyRIT Open Source Tool
  • Image credit: Microsoft

Deja una opinión

      Deje una respuesta

      🤖 AI MAFIA
      Logo