El uso de IA por parte de la policía para redactar informes de delitos: ¿cuáles son los riesgos?
2024-10-10 – La implementación de chatbots de inteligencia artificial para la redacción de informes policiales plantea riesgos y desafíos importantes. Este artículo analiza las implicaciones de esta tecnología en el ámbito de la seguridad pública y las preocupaciones que surgen en torno a su uso. Douglas Sacha/Getty Images
En la actualidad, algunos departamentos de policía en Estados Unidos están experimentando con chatbots de inteligencia artificial (IA) que generan informes de delitos como una solución para ahorrar tiempo. Sin embargo, la pregunta que surge es: ¿Qué podría salir mal?
Según un informe del Associated Press, los agentes de policía de Oklahoma City han comenzado a utilizar chatbots de IA para redactar «primeras versiones» de informes de delitos e incidentes a partir del audio capturado por las cámaras corporales. El sargento de policía Matt Gilmore ha usado una herramienta llamada Draft One para ayudar a redactar un informe sobre una búsqueda de un sospechoso que resultó infructuosa, utilizando un audio que registró «cada palabra y ladrido del perro». Este audio se introdujo en la herramienta de IA, permitiendo que la herramienta «generara un informe en ocho segundos».
Una Solución Eficiente
Draft One se basa en el modelo GPT-4 de OpenAI, que también impulsa a ChatGPT, para analizar y resumir el audio de las cámaras corporales. La empresa Axon, desarrolladora de tecnologías para el sector militar y la policía, presentó este producto como un «multiplicador de fuerza inmediato» y un ahorro de tiempo para los departamentos policiales. Sin embargo, existe un reconocimiento de que ChatGPT puede generar información incorrecta, lo que llevó a Axon a ajustar la configuración de la herramienta para reducir su «dial de creatividad», garantizando que no embellezca ni hallucine la información de la misma manera que podría ocurrir con ChatGPT por sí solo.
Actualmente, el departamento de policía de Oklahoma City utiliza Draft One exclusivamente para incidentes «menores» y evita su uso para delitos graves o violentos. Los informes generados por esta tecnología no conducen a arrestos inmediatos, pero han sido adoptados por otros departamentos en Fort Collins, Colorado, y Lafayette, Indiana, como un recurso principal para todos los tipos de informes. De hecho, un jefe de policía mencionó que «ha sido increíblemente popular» entre los funcionarios.
Preocupaciones de los Expertos
No obstante, expertos en el campo enfrentan preocupaciones significativas. El académico legal Andrew Ferguson ha expresado su temor a que la automatización y la facilidad de uso de esta tecnología puedan hacer que los policías sean menos cuidadosos al redactar sus informes. Este es un tema de gran relevancia sobre la confianza en la tecnología de IA para automatizar procesos de trabajo críticos. Los casos documentados de discriminación sistémica perpetuada por herramientas automatizadas destacan la necesidad de un enfoque cuidadoso.
Investigaciones también han demostrado que las herramientas impulsadas por IA pueden intensificar las desigualdades raciales y económicas. Por ejemplo, se ha encontrado que los empleadores que utilizan herramientas de contratación automatizadas sin medidas para mitigar sesgos pueden inadvertidamente contribuir a un aumento de la discriminación.
Salvaguardias y Sesgos Humanos
En un comunicado, Axon afirmó que Draft One incluye salvaguardias críticas que obligan a una revisión humana de cada informe generado, asegurando la precisión y responsabilidad de la información antes de que se presenten formalmente. Sin embargo, esto deja espacio para el error humano y el sesgo, problemas que ya son bien conocidos en el ámbito de la aplicación de la ley.
La investigación también ha señalizado que los modelos de lenguaje como GPT-4 pueden reflejar prejuicios ocultos y perpetuar estereotipos de lenguaje racial, lo que puede afectar negativamente a comunidades marginadas. Esto plantea preocupaciones sobre el uso de IA en situaciones que involucran temas complejos como la raza y la identidad.
Editores y académicos han debatido públicamente las implicaciones de los informes criminales automatizados. Jathan Sadowski y otros críticos han resaltado que los sesgos raciales derivados de datos de entrenamiento pueden resultar perjudiciales para las poblaciones vulnerables. En respuesta a estas inquietudes, Axon ha realizado estudios internos para evaluar el sesgo racial utilizando 382 muestras de informes. Según sus hallazgos, no se encontraron diferencias estadísticamente significativas entre los informes de Draft One y las transcripciones originales, lo que sugiere una efectividad en la síntesis de información.
La Adaptación ante Desafíos Complejos
Aunque Draft One solo interpretará audio por el momento, Axon también ha iniciado pruebas con visión por computadora para resumir grabaciones de video. No obstante, el CEO de Axon, Rick Smith, ha señalado que debido a las sensibilidades en torno a la aplicación de la ley y las identidades de las personas involucradas, se requiere un trabajo adicional antes de que esta herramienta se introduzca en el entorno policial.
Con la meta de reducir drásticamente las muertes relacionadas con armas entre la policía y los civiles, Axon también fabrica cámaras corporales para mejorar la evidencia objetiva en el proceso de enjuiciamiento. Sin embargo, alarmantemente, las estadísticas indican que desde 2020, los agentes de policía han causado más muertes cada año, a pesar de la adopción generalizada de cámaras corporales.
Reflexiones Finales
Por lo tanto, la adopción de herramientas como Draft One en más departamentos policiales es un aspecto que se debe observar de cerca, especialmente en términos de su impacto en la seguridad pública. Continúa siendo un tema polémico que merece atención cuidadosa, dado su potencial para transformar los procedimientos policiales, así como para presentar riesgos considerables.
