Lo que la ley primera de la IA considera ‘riesgo inadmisible’

Por Javier Valls Prieto (*)

Por eso está en el punto de mira. El proyecto de ley se ha desarrollado en torno a los riesgos que puede generar. En el nivel más alto están los considerados “riesgos inadmisibles”.

Aunque habrá que esperar al texto final, de momento el acuerdo diferencia tres tipos de riesgo: riesgo inadmisible, cuando considera que su uso compromete seriamente los derechos de la persona; riesgo alto, si afecta a los derechos fundamentales pero se puede entender su uso en ciertos contextos; y riesgo leve.

Prohibido clasificar por creencias, raza o identidad sexual

¿Qué le parecería que, en el proceso de selección para un puesto de trabajo, le descartaran como candidato porque un sistema de IA ha identificado su tendencia sexual y a su potencial jefe eso le disgusta? Podrían hacerlo sin ni siquiera convocarle para la entrevista, sin conocerle.

Se trata de uno de los llamados “riesgos inadmisibles” derivados del uso de la inteligencia artificial. Se basa en la categorización biométrica, que tiene el potencial de detectar la ideología política, creencias religiosas o filosóficas y también la raza y la orientación sexual.

El reconocimiento facial, utilizado en sistemas de seguridad, tanto pública como privada, se alimenta con gran cantidad de imágenes. Éstas se pueden recolectar de internet o de la ingente cantidad de cámaras de videovigilancia que existen en lugares públicos. Es el caso de la aplicación ClearviewAI, un software de reconocimiento facial que suministra su producto a gobiernos y agencias policiales para la detección de personas. Pues bien, esta forma de recolección de imágenes automatizada va a quedar prohibida.

¿Por qué? Principalmente por la intromisión en la privacidad, pero también porque tienen un gran margen de error al identificar a la persona. Si se admite en juicios, por ejemplo, no tendría sentido usar un sistema que falla para identificar a sujetos en procesos que pueden derivar en sanciones penales. Adicionalmente, este sistema permite controlar a las personas en los espacios públicos.

También se prohíben los sistemas de reconocimiento de emociones que controlan a los individuos todo el tiempo en el ámbito educativo o laboral para evitar, entre otras cosas, que se duerman, pierdan la concentración o muestren apatía. También aquí la ley habla de “riesgo inadmisible”.

Vigilancia en el trabajo

Cuando se han implantado en entornos laborales, los trabajadores han descrito experimentar una incomodidad extrema al sentirse vigilados todo el tiempo. Pero el problema va más allá de la incomodidad: las empresas podrían imponer medidas cuando detectan estas emociones para aumentar la productividad del trabajador si no rinde como se espera. Es más, una mala noche puede ser suficiente para que un sistema de estas características alerte de nuestra “baja productividad”.

Sin duda, puede tener sentido usar el reconocimiento facial y el control de las emociones con un fin claramente positivo para la sociedad, como evitar que una persona se quede dormida conduciendo un coche y provoque un accidente. Lo polémico es que se permita utilizar estas tecnologías con fines como el control de la inmigración o como justificación de la actuación policial.

Comportamiento controlado

No hace mucho, el gobierno neerlandés decidió echar mano de un sistema de inteligencia artificial para organizar un reparto de ayudas sociales entre los más desfavorecidos. ¿Cuál era el problema? Que discriminaba a inmigrantes y personas negras, dos grupos vulnerables que se vieron excluidos en la obtención de esas ayudas. Tan graves fueron las consecuencias que el ministro que implementó el sistema tuvo que dimitir al poco tiempo.

En China han ido aún más lejos. El gobierno ha establecido un sistema de puntos para evaluar a sus ciudadanos. Obtener una baja evaluación puede acarrear restricciones para viajar, o impedir el acceso a un crédito bancario o a un empleo.

Para evitar este tipo de situaciones, la nueva regulación propone abolir los usos dedicados a explotar vulnerabilidades de las personas como la edad, la discapacidad o la situación social y económica.

Otro modelo no permitido son los sistemas de inteligencia que manipulan el comportamiento humano para constreñir su libre albedrío. Son sistemas que se emplean, por ejemplo, para hacer que los usuarios se enganchen más tiempo a las redes sociales, para fomentar que se compren determinados productos o para evitar que las personas tomen ciertas decisiones libremente.

Los usos policiales no se prohíben, pero se consideran de alto riesgo

Sin embargo, la ley no prohíbe que las fuerzas y cuerpos de seguridad recurran a sistemas de identificación biométrica en espacios abiertos al público con fines policiales. En estos casos, se requiere autorización judicial para poder usarlos. Y sólo se pueden utilizar por un tiempo y espacio limitado.

Estos supuestos son los siguientes:

1. Búsqueda de víctimas concretas, por ejemplo, en secuestros, tráfico y explotación sexual.
2. Prevención de amenazas específicas y actuales de terrorismo.
3. Localización o identificación de una persona que haya cometido un delito grave de terrorismo, tráfico y explotación sexual, asesinato, secuestro, violación, robo con armas, participación en un grupo organizado y delitos medioambientales.

El escepticismo de determinados grupos ante estas aplicaciones es comprensible teniendo en cuenta el gran número de falsos positivos que se dan en identificación facial en vivo. Si a eso le añadimos la cantidad de delitos recogidos en el tercer punto, casi parece que se da luz verde en general a cualquier uso en investigaciones policiales.

El esfuerzo que han hecho los Estados para evitar que se prohíba la IA en investigaciones policiales ha sido más que notable. Quizás para estos usos en materia penal se debería articular una legislación concreta, como ocurre con el uso de datos personales.

Sea como fuere, podemos considerar el acuerdo como un gran éxito, dado que los derechos fundamentales siguen siendo de obligado cumplimiento. Y los ciudadanos, independientemente de que su uso esté prohibido o no, podrán recurrir a los tribunales cuando se sientan desprotegidos.

(*) Profesor en Derecho Penal especializado en regulación ética y jurídica de la inteligencia artificial y la robótica, Universidad de Granada