Resista

Los sistemas de IA y, en particular, los sistemas de aprendizaje profundo han demostrado recientemente ser vulnerables a un tipo de ataque conocido como "Example Adverses". Estos ataques pueden implementarse a través de un "parche" impreso y transportado por el atacante que resulta en una alteración total del sistema inteligente objetivo, comprometiendo su integridad y eficiencia. En el caso de los sistemas de vigilancia automática, las cámaras inteligentes son especialmente vulnerables a estos ataques. Dado el carácter crítico de estos sistemas, garantizar su robustez es un reto tecnológico de primer orden. Las defensas existentes siguen siendo insuficientes, sobre todo en un contexto real, y ninguna técnica de robustez tiene en cuenta el componente multivista.

Cámaras inteligentes.

El despliegue de sistemas basados en la IA para proteger los espacios públicos puede plantear un dilema ético que exige soluciones jurídicas. En efecto, estos sistemas pueden reconocer personas, reconocer acciones, realizar seguimientos selectivos, etc. El reto consiste en idear formas de combinar los avances en materia de seguridad que permite esta tecnología con la garantía de las libertades fundamentales, empezando por el respeto de los datos personales de cada individuo y el principio de no discriminación y el derecho de todo ciudadano a participar libremente en la vida democrática que tiene lugar en la vía pública (libertad de manifestación)

.

Orientado por el reto de lograr una IA responsable y de confianza, el proyecto RESIST se propone investigar la solidez y la ética de los sistemas de videovigilancia basados en la IA haciendo que investigadores de las ciencias duras y sociales trabajen juntos, desde una perspectiva politécnica.

La introducción de una nueva tecnología nunca es neutral. Se llevará a cabo una investigación sobre los riesgos de parcialidad que pueden inducir los sistemas inteligentes, así como los riesgos de estos sistemas para la privacidad de las personas, su derecho a no ser discriminadas y su impacto en la autodeterminación informativa de los individuos. Este estudio, que combina cuestiones tecnológicas, jurídicas y éticas, dará lugar a recomendaciones metodológicas, reglamentarias y técnicas para el desarrollo de una IA responsable. Habrá que plantearse varias cuestiones en términos éticos y jurídicos: ¿qué abusos sociales puede generar este tipo de vigilancia biométrica? ¿No entraña la videovigilancia inteligente riesgos jurídicos importantes? ¿Qué garantía hay, por ejemplo, de que los sistemas inteligentes no sean tendenciosos y discriminatorios (especialmente contra las minorías visibles)? Además, ¿en qué sentido son compatibles con la privacidad? ¿No debería ser obligatorio obtener el consentimiento de las personas antes de filmarlas y utilizar sus datos? ¿Deberíamos aceptar el uso generalizado de esta tecnología y/o autorizarla sólo en circunstancias excepcionales, si no prohibirla? Si se autoriza, ¿cómo proteger jurídicamente a las empresas que la utilizan? Del mismo modo, ¿qué vías de recurso deben ofrecerse a las personas "videovigiladas"?

En la actualidad, ¿qué disposiciones jurídicas nacionales, europeas e internacionales regulan la vídeovigilancia inteligente? ¿Son eficaces y suficientes para garantizar tanto el respeto de los derechos fundamentales como el orden público? El objetivo es identificar tanto las normas jurídicas que regulan la vídeovigilancia inteligente como sus carencias. Una vez identificados estos ámbitos, será posible prever las mejoras necesarias.

¿Qué recomendaciones legales podrían hacerse para que la videovigilancia inteligente se enmarque más en la filosofía de la IA responsable? No deberían los ciudadanos pronunciarse sistemáticamente antes de la autorización de comercialización de esta innovación tecnológica? En una palabra, ¿qué valores, qué normas, qué instituciones, qué procedimientos y qué mecanismos de control deberían inventarse para articular el rendimiento tecnológico-económico de la videovigilancia inteligente con la ética empresarial y la democracia?

Se trataría, sobre todo, de identificar los ámbitos precisos de estas tecnologías en los que la intervención del derecho debería ser la de la coacción y aquellos en los que, por el contrario, el encuadramiento de los actores por el compromiso ético podría ser suficiente. El proyecto puede servir así de base para reflexionar sobre la cuestión más global de los límites de la ética como medio de supervisión de las nuevas tecnologías. No para excluirla, sino para darle el lugar que le corresponde.

Esta parte "Ética" del programa estará dirigida por Matthieu Caron, profesor titular de Derecho público en la Universidad Politécnica de Hauts-de-France y director general de L'Observatoire de l'éthique publique. El resultado será la elaboración de dos libros y la publicación de un libro blanco con propuestas para perfeccionar la ética digital en Francia.