2023-10-30 09:41:35
La Ley de Inteligencia Artificial de la UE pretende regular la inteligencia artificial en Europa y también podría influir en la legislación fuera de la UE. He aquí los puntos clave.
La Comisión Europea publicó en abril de 2021[1] publicó un primer proyecto de reglamento por el que se establecen normas armonizadas sobre inteligencia artificial (en lo sucesivo: AI-Reg-E)[2]. El objetivo de este reglamento es crear un marco jurídico coherente para la IA fiable, incentivando al mismo tiempo la investigación y el desarrollo en Europa.
La propuesta sigue un planteamiento basado en el riesgo y está pensada para aplicarse a todos los agentes que desarrollen o exploten un sistema de IA en la UE. Mientras que los sistemas de IA con riesgos inaceptables estarán prohibidos desde el principio, los sistemas de IA de alto riesgo tendrán que cumplir requisitos obligatorios antes de poder entrar en el mercado. Los sistemas de IA de bajo riesgo sólo estarán sujetos a requisitos específicos de transparencia, mientras que se considerará que todos los demás sistemas de IA plantean un riesgo mínimo y no estarán sujetos a ninguna normativa específica.
Objeto de regulación: Sistemas de IA
Lo que se entiende por sistemas de IA se regula en el Art. 3 nº 1 AI-Reg-E. Según éste, un sistema de IA es » un software desarrollado con una o más de las técnicas y enfoques enumerados en el anexo I y que puede, para un conjunto dado de objetivos definidos por el ser humano, generar resultados tales como contenidos, predicciones, recomendaciones o decisiones que influyan en los entornos con los que interactúan.»
Los conceptos y técnicas cubiertos por el anexo I incluyen actualmente: el aprendizaje automático (lit. a); los enfoques basados en la lógica y el conocimiento, incluida la representación del conocimiento, la programación inductiva (lógica), los motores de inferencia y deducción, el razonamiento y los sistemas expertos (lit. b); y los enfoques estadísticos, la estimación bayesiana y los métodos de búsqueda y optimización (lit. c).
Destinatarios del Reglamento
El reglamento se dirige en términos personales a todos los actores que sean proveedores o usuarios en el sentido de este reglamento.
Proveedor es, según el Art. 3 nº 2 AI-Reg-E, cualquier persona física o jurídica, autoridad pública, agencia u otro organismo que desarrolle un sistema de IA o que haga desarrollar un sistema de IA con vistas a su comercialización o puesta en servicio bajo su propio nombre o marca, ya sea a título oneroso o gratuito.
Usuario es, según el Art. 3 nº 4 AI-Reg-E, cualquier persona física o jurídica, autoridad pública, agencia u otro organismo que utilice un sistema de IA bajo su autoridad, excepto cuando el sistema de IA se utilice en el curso de una actividad personal no profesional.
Desde un punto de vista geográfico, el Reglamento sigue el denominado «principio del mercado». Según el Art. 2 I, el Reglamento se aplica a los proveedores que comercializan o ponen en funcionamiento sistemas de IA en la Unión, con independencia de que dichos proveedores estén establecidos en la Unión o en un tercer país (lit. a), así como a los usuarios establecidos en la Unión (lit. b). También se ven afectados los proveedores y usuarios de sistemas de IA establecidos o situados en un tercer país, siempre que el resultado («output») producido por el sistema se utilice en la Unión.
Con el creciente uso de la nube, cada vez es más fácil trasladar un sistema de IA a un tercer país, por lo que es probable que la lit. c sea de especial relevancia práctica. Actualmente no está claro qué se entiende por «producción».
Enfoque basado en el riesgo
El proyecto de Reglamento adopta el enfoque basado en el riesgo del Libro Blanco sobre Inteligencia Artificial[3] y divide los sistemas de IA en cuatro categorías. Además de la función de la IA, la clasificación del riesgo también se basa en su finalidad y las circunstancias de su uso.
Riesgo inaceptable: prohibición de determinadas aplicaciones de IA
Determinadas aplicaciones están prohibidas de entrada en virtud del artículo 5 del Reglamento AI porque, a juicio de la Comisión, suponen un riesgo inaceptable para los derechos y valores fundamentales de la Unión. Básicamente pueden dividirse en tres grupos:
Sistemas de IA de manipulación del comportamiento, Art. 5 I a), b) AI-Reg-E:
El primer grupo incluye los sistemas de IA que utilizan técnicas subliminales ajenas a la conciencia de una persona, o explotan las vulnerabilidades de una persona debidas a la edad o a una discapacidad física o mental, para influir significativamente en el comportamiento de esa persona de forma que sea probable que causen daños físicos o psicológicos a esa persona o a otros.
La presunta intención («con el fin de distorsionar materialmente el comportamiento de una persona») es una matización notable. Queda por ver cómo se desarrollará esto en la práctica; basándose en la redacción actual, la norma parece algo estrecha a la luz del propósito previsto de proteger la autonomía de los usuarios.
Sistemas de IA de la denominada «puntuación social», Art. 5 I c) AI-Reg-E:
Otro grupo se refiere a los sistemas de IA utilizados por las autoridades públicas o en su nombre para evaluar y clasificar el comportamiento social de un individuo (el denominado «scoring social»), cuando ello conlleve una peor posición o desventaja en contextos sociales no relacionados con las circunstancias en las que se generaron o recopilaron los datos, o de forma injustificada o desproporcionada en relación con su comportamiento social o su alcance.
Cabe señalar que, por el momento, la prohibición sólo se aplica a las entidades públicas o gubernamentales y no a los operadores privados.
Identificación biométrica a distancia en tiempo real, Art. 5 I d) AI-Reg-E:
Una de las principales preocupaciones de la Comisión era también la regulación de los sistemas de IA para la identificación biométrica a distancia en tiempo real con fines policiales en espacios públicos. Sin embargo, no se prevé aquí una prohibición general, ya que se prevén excepciones para determinados usos, en particular para la búsqueda de víctimas de delitos o niños desaparecidos, para prevenir amenazas contra la vida y la integridad física y para prevenir atentados terroristas. En segundo lugar, el apartado 4 contiene una cláusula de apertura que permite a los Estados miembros decidir sobre la permisibilidad de estos sistemas en determinadas condiciones.
Alto riesgo: sistemas de IA de alto riesgo
En el núcleo del Reglamento se encuentran los requisitos para los sistemas de IA de alto riesgo del Art. 8-51 AI-VO-E. Lo que califica a un sistema de IA como de alto riesgo se establece en el Art. 6, que básicamente exige que se cumplan dos condiciones:
- El sistema de IA está destinado a utilizarse como componente de seguridad en un producto sujeto a las disposiciones del anexo II o es en sí mismo un producto de este tipo. Se trata principalmente de normativas sobre seguridad de productos, como la Directiva sobre máquinas, la Directiva sobre seguridad de los juguetes o la Directiva sobre productos sanitarios.
- Además, el propio sistema de IA, o el producto del que el sistema de IA sea un componente de seguridad, estará sujeto a la evaluación de la conformidad por terceros con arreglo a lo dispuesto en el anexo II.
No obstante lo anterior, los sistemas de IA destinados a utilizarse en un ámbito enumerado en el anexo III se clasificarán generalmente como sistemas de IA de alto riesgo. Esencialmente, esto se refiere al uso en áreas relevantes para la seguridad o áreas de aplicación similares sensibles a los derechos fundamentales. Entre ellos se incluyen, por ejemplo, el uso para la identificación biométrica y la categorización de personas físicas (n.º 1), el uso en educación y formación (n.º 3), el acceso a servicios privados y públicos (n.º 5) y los fines policiales (n.º 6) y judiciales (n.º 8).
Además, la Comisión está facultada para modificar la lista del anexo III de conformidad con el art. 7 AI-Reg-E.
Requisitos para los sistemas de IA de alto riesgo
Los requisitos para los sistemas de IA de alto riesgo se han desarrollado en gran medida a partir de las recomendaciones del Grupo de Expertos de Alto Nivel sobre IA y su Lista de Evaluación para la Inteligencia Artificial de Confianza.[4], donde principios como la gestión del riesgo y la calidad o las obligaciones de transparencia ya se conocen de otras normativas sobre seguridad de los productos.
Sistemas de gestión de riesgos, Art. 9 AI-Reg-E:
El primer requisito básico es un sistema de gestión de riesgos documentado con medidas de gestión de riesgos concretas y de vanguardia diseñadas para mantener el riesgo residual y global del sistema de IA lo más bajo posible.
Gobernanza de datos, Art. 10 AI-Reg-E:
Los sistemas de alto riesgo sólo pueden formarse y funcionar con datos que cumplan requisitos específicos de calidad de datos. Esto podría denominarse conformidad de datos ascendente, que debe mantenerse durante toda la fase de desarrollo. Los conjuntos de datos de entrenamiento, validación y prueba subyacentes a la IA deben ser representativos, estar libres de errores y ser completos, lo que puede resultar difícil, especialmente con grandes conjuntos de datos.
Documentación técnica, Art. 11KI-VO-E:
Incluso antes de que un sistema de IA de alto riesgo se comercialice o se ponga en funcionamiento, la documentación técnica del sistema debe prepararse de conformidad con el Art. 11. La documentación debe estar diseñada para demostrar que el sistema de IA cumple los requisitos pertinentes. Esto incluye, en particular, los requisitos mínimos establecidos en el anexo IV.
La documentación técnica se utiliza principalmente para los procedimientos de certificación y las posibles inspecciones de las autoridades de vigilancia del mercado.
Obligación de llevar registros, Art. 12 AI-Reg-E:
Según el Art. 12, los sistemas de IA de alto riesgo deben desarrollarse y diseñarse de forma que sea posible documentar y registrar las operaciones del sistema de IA durante su funcionamiento (los denominados «registros»). Al mismo tiempo, el almacenamiento de las operaciones de tratamiento debe cumplir los requisitos del GDPR.
Requisito de transparencia, Art. 13 AI-Reg-E:
El diseño y desarrollo de un sistema de alto riesgo debe ser tal que el funcionamiento del sistema sea lo suficientemente transparente como para que el usuario pueda hacer un uso adecuado del sistema e interpretar los resultados. Actualmente no está claro qué se entiende exactamente por «suficientemente transparente». En el caso de algunos sistemas de IA, este requisito podría resultar problemático, ya que actualmente muchos sistemas de IA son incapaces de justificar sus decisiones de forma comprensible.
Supervisión humana, Art. 14 AI-Reg-E:
Según el Art. 14 I, los sistemas de IA de alto riesgo deben diseñarse de forma que puedan ser supervisados por humanos mientras la IA esté en uso.
Esto se concreta en el apartado 4, que establece que deben comprenderse plenamente las capacidades y limitaciones del sistema de IA de alto riesgo y supervisarse debidamente su funcionamiento (lit. a). Además, debe ser posible intervenir en el funcionamiento de un sistema de IA de alto riesgo o «poder intervenir en el funcionamiento del sistema de IA de alto riesgo o interrumpir el sistema mediante un botón de «parada» o un procedimiento similar». (lit. e).
Precisión, robustez y ciberseguridad, art. 15 AI-Reg-E:
Por último, establece requisitos mínimos de precisión, robustez y ciberseguridad. Los sistemas de IA deben estar protegidos contra errores, accesos no autorizados de terceros y manipulación de datos, y deben estar respaldados por soluciones como planes a prueba de fallos o copias de seguridad.
Obligaciones para proveedores y usuarios
El seguimiento de estos requisitos es básicamente responsabilidad de los proveedores del sistema (Art. 16 a) AI-Reg-E).
En particular, según el Art. 19 I 1 AI-Reg-E, deben someter el sistema de IA al procedimiento de evaluación de la conformidad con arreglo al Art. 43 AI-Reg-E. El Reglamento prevé distintos procedimientos de evaluación de la conformidad en función del tipo de sistema de IA: Un control interno por el propio proveedor según el Anexo VI o el control por organismos notificados según el Anexo VII – Para la mayoría de los sistemas de IA de alto riesgo, el KI-VO-E prevé el procedimiento de control interno.
Externamente, esta evaluación de conformidad debe indicarse mediante un marcado CE y una declaración de conformidad (art. 19 I, 48, 49 KI-VO-E). Los proveedores también están obligados a establecer un sistema de gestión de la calidad de acuerdo con el Art. 17 AI-Reg-E y a adoptar medidas correctoras si el sistema AI deja de cumplir los requisitos (Art. 21 AI-Reg-E).
Los usuarios están obligados a utilizar el sistema de acuerdo con las instrucciones que les proporcionen los proveedores (Art. 29 I AI-Reg-E) y, en la medida en que tengan control sobre los valores de entrada, a garantizar que los datos utilizados se ajustan al uso previsto (Art. 29 III AI-Reg-E). Además, deben supervisar el funcionamiento del sistema de IA (Art. 29 VI AI-Reg-E).
Los proveedores y usuarios están sujetos a obligaciones mutuas de información y notificación. Si el sistema de IA plantea un riesgo en el sentido del Art. 65 I AI-Reg-E, los proveedores deben informar de ello a las autoridades competentes (art. 22 AI-Reg-E). Además, los incidentes graves y los fallos de funcionamiento deben notificarse si dan lugar a una violación de los derechos fundamentales protegidos por la legislación de la UE (art. 62 I 1 AI-Reg-E). En estos casos, también se aplican las obligaciones del usuario para con el proveedor.
Según el Art. 3 Nr. 44 CISO-E, se consideran incidentes graves los sucesos que puedan provocar, directa o indirectamente, la muerte o daños graves para la salud, los bienes, el medio ambiente o la interrupción del funcionamiento de infraestructuras críticas.
Riesgo bajo: Requisitos especiales de etiquetado
Los requisitos especiales de etiquetado se aplican a determinados sistemas de IA que interactúan con humanos o parecen generar contenidos auténticos. Se aplican independientemente de si un sistema de IA ha sido identificado como sistema de alto riesgo – las únicas excepciones son para las fuerzas del orden.
Según el Art. 52 I AI-Reg-E, los usuarios deben ser informados cuando interactúen con un sistema de IA, a menos que esto ya resulte obvio por las circunstancias de uso.
Lo que se entiende por «interacción» no se describe en detalle; basándonos en una comprensión media del lenguaje, incluye acciones recíprocas e interrelacionadas.[5]. En muchos casos, sin embargo, también se cumplirá la excepción de reconocibilidad externa. Por lo tanto, el requisito de etiquetado se aplicará principalmente a las comunicaciones en las que no esté claro si la otra parte es una persona o una máquina (teléfono o texto).
Según el Art. 52 II AI-Reg-E, lo mismo se aplica al uso de sistemas de reconocimiento de emociones o de un sistema de categorización biométrica.
Si se generan o manipulan contenidos de imagen, audio o vídeo con un sistema de IA que se asemejan a personas, objetos, lugares u otras entidades y acontecimientos reales y que parecerían auténticos a otra persona (medios sintéticos o deep fakes), debe revelarse que el contenido se ha generado o manipulado artificialmente, Art. 52 III AI-Reg-E. Deben aplicarse ciertas excepciones para la libertad de expresión y la libertad artística.
Riesgo mínimo: Código de conducta
Todos los demás sistemas de IA se clasifican como de riesgo bajo. No están sujetos a una normativa específica. Los proveedores, por su parte, tienen la posibilidad de establecer códigos de conducta voluntarios (Art. 69 AI-Reg-E). Éstos pueden basarse en los requisitos de los sistemas de alto riesgo, pero también pueden perseguir objetivos como la accesibilidad o la sostenibilidad.
Según la Comisión, la gran mayoría de los sistemas de IA que se utilizan actualmente en la UE son de bajo riesgo[6]por lo que el Reglamento establece que debe «fomentarse» el establecimiento de tales códigos de conducta. En qué consiste este «fomento» no queda claro en el proyecto (en esta fase).
Fomento de la innovación a través de los «cajones de arena» reglamentarios
Para salvar la distancia entre la seguridad de los productos y la investigación, los arts. 53, 54 AI-Reg-E prevén la creación de los denominados «cajones de arena reglamentarios», es decir, entornos controlados para el desarrollo y ensayo de sistemas de IA – la Comisión tiene previsto definir las modalidades detalladas mediante un acto de ejecución. Las autoridades de los Estados miembros y el Supervisor Europeo de Protección de Datos serán responsables de la creación y organización de los espacios aislados.
En cuanto a los requisitos de acceso, se establece una distinción según el tipo de participante, con un acceso facilitado para los pequeños proveedores y los pequeños usuarios (artículo 55 AI-Reg-E). Es importante para el uso de estos laboratorios de formación que los participantes sigan siendo responsables de cualquier daño causado a terceros como consecuencia de su uso dentro del ámbito experimental (Art. 53 IV AI-Reg-E).
El art. 54 AI-Reg-E regula a continuación el tratamiento posterior de los datos personales recogidos originalmente de forma lícita con el fin de desarrollar y probar sistemas de IA. Los requisitos son presumiblemente elevados; entre otras cosas, debe existir un interés público significativo en la aplicación específica, los datos deben ser necesarios para el cumplimiento de la normativa y no sustituibles por datos sintéticos, y todos los datos personales deben eliminarse una vez finalizado el procedimiento.
Es cuestionable hasta qué punto pueden borrarse completamente los datos cuando, en principio, es posible recuperarlos de sistemas capacitados.
Instituciones de gobernanza y control
A nivel nacional, los Estados miembros deben organizar sus propias autoridades de supervisión de conformidad con el Art. 59 I AI-Reg-E. Además, se creará un Comité Europeo de Protección de Datos e Inteligencia (ECIA), compuesto por las autoridades de control de los Estados miembros y el Supervisor Europeo de Protección de Datos (Art. 56 f. AI-Reg-E), que realizará principalmente actividades de asesoramiento y publicará recomendaciones y dictámenes al respecto.
En cuanto a la vigilancia del mercado, el Art. 63 I del Proyecto de Reglamento remite al Reglamento Europeo de Vigilancia del Mercado[7].. La autoridad de vigilancia del mercado, que probablemente será idéntica a la autoridad de supervisión, tiene derecho, entre otras cosas, a tener acceso a todos los datos de formación, validación y prueba y, en caso necesario, al código fuente del sistema de IA y a realizar pruebas (art. 64 V KI-VOE). En el caso de un sistema de IA arriesgado, la autoridad de vigilancia del mercado podrá verificar el cumplimiento de los requisitos del KI-VO-E. Además, la autoridad está autorizada a obligar al operador a tomar medidas para restablecer el cumplimiento de los requisitos del reglamento o a retirar el sistema del mercado (Art. 65 II UAbs.2 KI-VO-E).
En caso de infracción, la ordenanza prevé multas llamativamente elevadas. Una infracción de las disposiciones del reglamento puede castigarse con una multa de hasta 20.000.000 EUR o el 4% de la facturación anual mundial de la empresa, Art. 71 IV KI-VO-E. En caso de infracción de las aplicaciones prohibidas del Art. 5 KI-VO-E o de las disposiciones sobre calidad de datos del Art. 10 KI-VO-E, la multa es de hasta 30.000.000 euros o el 6% del volumen de negocios anual mundial, Art. 71 III KI-VO-E.
Observaciones finales
El 14 de junio de 2018, el Parlamento Europeo publicó su posición final sobre la «AI Act»[8], y con el proyecto de la Comisión y la posición del Consejo de la Unión Europea.[9] ya están disponibles todos los borradores, se inicia ahora la fase final de las negociaciones.
Sin embargo, no se esperan cambios fundamentales, por lo que las modificaciones propuestas prevén en general ajustes del ámbito de aplicación del reglamento, una lista ampliada de aplicaciones de IA prohibidas y cambios menores en el ámbito de los sistemas de IA de alto riesgo. Además, la «IA generativa» se incluirá explícitamente en el reglamento y la lista de multas se ajustará a la baja.
En vista de las próximas elecciones parlamentarias de la UE en 2024, cabe suponer que se tomará una decisión rápidamente: se espera un acuerdo para finales de año.
[1] Una Europa para la era digital: Inteligencia artificial
[2] EUR-Lex – 52021PC0206 – ES – EUR-Lex (europa.eu)
[3] eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:52020DC0065
[4] AI HLEG – Assessment List for Trustworthy Artificial Intelligence (ALTAI) | Futurium (europa.eu)
[5] Interacción ᐅ ortografía, significado, definición, origen | Duden
[7] EUR-Lex – 32019R1020 – ES – EUR-Lex (europa.eu)
[9] eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CONSIL:ST_15698_2022_INIT
