Systèmes Intelligents de Surveillance

Resista

Responde : Resistencia; Ejemplos Adversos "

En tiempos de crisis social (salud, seguridad, etc.), la necesidad de seguridad de los individuos y las sociedades tiende a crecer. Una de las tecnologías emergentes que puede contribuir a un alto nivel de agilidad de los territorios ante acontecimientos anómalos es la videovigilancia inteligente. Esta tecnología despliega algoritmos de machine-learning y deep-learning para automatizar tareas complejas como la detección de personas, el reconocimiento de acciones, el seguimiento de individuos, etc. Aunque estos sistemas han demostrado altas capacidades para resolver problemas a gran escala, su democratización es aún limitada.

La cuestión tecnológica de la "robustez

Los sistemas de IA y, en particular, los de aprendizaje profundo, han demostrado recientemente ser vulnerables a un tipo de ataque llamado " Ejemplos Adversos". Estos ataques pueden ser implementados a través de un " parche " impreso y llevado por el atacante que resulta en una alteración total del sistema inteligente objetivo, comprometiendo así su integridad y eficiencia. En el caso de los sistemas de vigilancia automática, las cámaras inteligentes son especialmente vulnerables a estos ataques. Dada la criticidad que pueden tener estos sistemas, garantizar su robustez es un reto tecnológico importante. Las defensas existentes siguen siendo insuficientes, sobre todo en un contexto real, y ninguna técnica de robustez considera el componente multivista.

La problemática filosófico-jurídica de la "Ética

El despliegue de sistemas basados en la IA para la seguridad de los espacios públicos puede crear un dilema ético que exige soluciones legales. De hecho, estos sistemas pueden reconocer a las personas, reconocer las acciones, hacer un seguimiento específico, etc. El reto consiste en imaginar formas de combinar los avances que permite esta tecnología en materia de seguridad con la garantía de las libertades fundamentales, empezando por el respeto a los datos personales de cada individuo y el principio de no discriminación y el derecho de todo ciudadano a participar libremente en la vida democrática que se desarrolla en la vía pública (libertad de manifestación).

IA responsable y de confianza

Orientado por el reto de conseguir una IA responsable y de confianza, el proyecto RESIST propone investigar la solidez y la ética de los sistemas de videovigilancia basados en la IA reuniendo a investigadores de ciencias duras y sociales, en una perspectiva politécnica.

El componente de ciencias sociales: el programa "Ética" para reflexionar sobre la videovigilancia inteligente en particular y la ética digital en general

La introducción de una nueva tecnología nunca es neutral. Se llevará a cabo una investigación sobre los riesgos de parcialidad que pueden inducir los sistemas inteligentes, así como los riesgos de estos sistemas sobre la privacidad de los individuos, sobre su derecho a no ser discriminado y sobre su impacto en la autodeterminación informativa de los individuos. Este estudio que mezcla cuestiones tecnológicas, legales y éticas dará lugar a recomendaciones metodológicas, así como normativas y técnicas para desarrollar una IA responsable. Habrá que plantear varias cuestiones en términos éticos y jurídicos: ¿qué abusos sociales puede generar este tipo de vigilancia biométrica? ¿La videovigilancia inteligente no conlleva grandes riesgos legales? ¿Qué garantiza, por ejemplo, que los sistemas inteligentes no sean parciales y no generen discriminación (especialmente contra las minorías visibles)? Además, ¿en qué sentido son compatibles con la privacidad? ¿No debería exigirse el consentimiento de las personas para filmarlas y utilizar sus datos? ¿Debemos aceptar la banalización de esta tecnología y/o autorizarla sólo en casos excepcionales, si no prohibirla? Si se autoriza, ¿cómo podemos proteger legalmente a las empresas que lo utilizan? Del mismo modo, ¿qué medios de recurso deben darse a los "video-surtidos " ? 

?

¿Cuáles son las disposiciones legales para la videovigilancia inteligente?

De momento, ¿qué disposiciones legales nacionales, europeas e internacionales enmarcan la videovigilancia inteligente? ¿Son eficaces y suficientes para garantizar tanto el respeto de los derechos fundamentales como el orden público? El objetivo será enumerar tanto las normas jurídicas que enmarcan la videovigilancia inteligente como sus defectos. Son estas áreas las que, una vez identificadas, permitirán prever las mejoras necesarias.

¿Qué recomendaciones legales se podrían hacer para que la videovigilancia inteligente se ajuste más a la filosofía de la IA responsable? ¿No deberían los ciudadanos expresarse sistemáticamente antes de la autorización de la comercialización de esta innovación tecnológica? En una palabra, ¿qué valores, qué normas, qué instituciones, qué procedimientos y qué mecanismos de control deben inventarse para articular el rendimiento tecnológico-económico de la videovigilancia inteligente con la ética empresarial y la democracia ?

Sobre todo, se trataría de identificar los lugares precisos de estas tecnologías en los que la intervención del derecho debería ser la de coacción y aquellos en los que, por el contrario, el encuadramiento de los actores por el compromiso ético podría ser suficiente. El proyecto puede servir así de base para considerar la cuestión más global de los límites de la ética como medio de supervisión de las nuevas tecnologías. No para excluirla sino para darle el lugar que le corresponde.

Esta parte del programa "Ética" será dirigida por Matthieu Caron, profesor de derecho público en la Universidad Politécnica de Hauts-de-France y director del Observatorio de Ética Pública. Se traducirá en la elaboración de dos libros  así como en la publicación de un libro blanco de propuestas para perfeccionar la ética digital en Francia.