La IA utiliza las vibraciones del estabilizador de imagen de la cámara del smartphone para espiar
2023-10-29 12:56:15
Un estudio muestra cómo las cámaras de los smartphones muestran información acústica del entorno en píxeles, incluso cuando el micrófono está apagado.
En un nuevo artículo, investigadores de EE.UU. muestran cómo los smartphones con CMOS, OIS y enfoque automático añaden información acústica a los vídeos a través de sutiles artefactos. Según el equipo, estos artefactos están causados por vibraciones de la lente inducidas por el ruido ambiente.
En concreto, el ruido ambiental hace vibrar las carcasas de los smartphones y las lentes de las cámaras en movimiento. Las diminutas vibraciones de la lente se amplifican y codifican como artefactos de rolling shutter en el vídeo, creando distorsiones de imagen imperceptibles que contienen información acústica.
El estudio muestra la ruta de la señal y el proceso de modulación de este «canal secundario óptico-acústico» y demuestra cómo pueden utilizarse métodos de IA para extraer señales acústicas rastreando el movimiento entre fotogramas de vídeo.
Side Eyes es «básicamente un micrófono muy rudimentario».
«La mayoría de las cámaras actuales tienen lo que se llama hardware de estabilización de imagen», explica Kevin Fu, profesor de ingeniería eléctrica e informática de la Northeastern University. «Resulta que cuando hablas cerca del objetivo de una cámara que tiene alguna de estas funciones, el objetivo de la cámara se mueve ligeramente, lo que se llama modulación de la voz, sobre la imagen y cambia los píxeles». Se podrían grabar miles de movimientos de este tipo por segundo. «Significa que básicamente se obtiene un micrófono muy rudimentario», afirma Fu.
En sus experimentos con diez smartphones, el equipo logró precisiones de casi el 81%, el 91% y el 99,5% en la clasificación de diez números hablados, 20 oradores diferentes y el género, respectivamente, cuando los smartphones se colocaron cerca de unos altavoces sobre una mesa. En este caso, el micrófono está apagado, el equipo sólo tiene acceso a una secuencia de vídeo y la cámara apunta a la mesa o al techo.
El equipo sugiere medidas de seguridad
Este método puede utilizarse, por ejemplo, para determinar con una precisión de casi el 100% el sexo de una persona que está en la habitación pero no es visible en el vídeo. Además del evidente potencial para el espionaje u otros ataques, Fu también ve aplicaciones en las fuerzas de seguridad.
«Por ejemplo, en casos legales o en investigaciones para probar o refutar la presencia de alguien, proporciona pruebas respaldadas por la ciencia de si es probable que alguien estuviera en la sala hablando o no», afirma Fu. «Es una herramienta más que podemos utilizar para aportar autenticidad a las pruebas».
El equipo también propone mejoras en el hardware para abordar las causas de los obturadores rodantes y las lentes móviles. Sugieren cambios específicos para reducir la amenaza, como aumentar la velocidad de obturación, aleatorizar los patrones de obturación y bloquear mecánicamente el movimiento de las lentes. Una combinación de defensas podría reducir la precisión del método a un nivel aleatorio.
