Defensa de la tesis de Hadjer BENMEZIANE: Optimización automática de aplicaciones de aprendizaje profundo en plataformas de material de bordes.

Composición del jurado propuesto

Sr. SMAIL NIAR, Université Polytechnique Hauts de France, Director de tesis
. Sr. Muhammad SHAFIQUE, Universidad de Nueva York, Abu-Dhabi, Ponente
. Sr. Gilles SASSATELI, Universidad de Montpellier, Francia, ponente
. Sra. Liliana CUCU-GROSJEAN, INRIA; Rocquencourt, Francia, Examinadora
Sra. Kaoutar EL MAGHRA, Universidad de Montpellier, Francia, Ponente
Sra. Kaoutar EL MAGHRA, Universidad de Montpellier, Francia, Ponente
Sra. Kaoutar EL MAGHRA, Universidad de Montpellier, Francia, Ponente Sra. Kaoutar EL MAGHRAOUI, IBM Research AI, NY EE.UU. y Profesora Adjunta, Universidad de Columbia, EE.UU., Co-supervisora de tesis
. Sr. Hamza OUARNOUGHI, LAMIH, UPHF/INSA, codirector de tesis
. Sr. Brett MEYER, Universidad Mc Gill, Invitado

Palabras clave

Optimización,Aprendizaje profundo,Restricciones materiales,Sistemas de borde,

Resumen

Los modelos de inferencia basados en redes neuronales profundas (eng, DNNs) son ampliamente utilizados en muchas plataformas de borde por varias razones. En primer lugar, las DNNs han demostrado un rendimiento excepcional en una variedad de tareas complejas como el reconocimiento de imágenes, el procesamiento del lenguaje natural y la síntesis del habla. Su capacidad para extraer características significativas de grandes conjuntos de datos les permite alcanzar altos niveles de precisión y poder predictivo, lo que las hace indispensables para una amplia gama de aplicaciones. En segundo lugar, desplegar estos modelos directamente en plataformas periféricas ofrece varias ventajas. Ejecutar el proceso de inferencia localmente en los dispositivos periféricos reduce la dependencia de la computación basada en la nube, disminuye la latencia de la red y garantiza la capacidad de respuesta en tiempo real. Sin embargo, las plataformas periféricas suelen operar en entornos con recursos limitados, caracterizados por una potencia de cálculo limitada, restricciones energéticas y una conectividad intermitente. Los modelos DNN no se adaptan bien a este tipo de plataformas. Esto ha impulsado la investigación sobre el diseño automático de arquitecturas neuronales adaptadas a estos dispositivos. Este método se denomina búsqueda de arquitecturas neuronales adaptadas al hardware (HW-NAS). HW-NAS es la piedra angular de esta tesis. HW-NAS puede proporcionar modelos eficientes y precisos. Esta tesis pretende acelerar y generalizar la aplicabilidad de HW-NAS a múltiples plataformas y múltiples tareas. En particular, esta tesis propone soluciones novedosas para estimar rápidamente la eficiencia de una DNN desplegada en una plataforma hardware objetivo. Nuestro enfoque HW-NAS propuesto engloba técnicas de optimización multiobjetivo, lo que acelera significativamente el proceso de búsqueda tanto en espacios de búsqueda basados en superredes como en celdas. En el contexto multiobjetivo de HW-NAS, es necesario optimizar simultáneamente objetivos contrapuestos, como el rendimiento específico de la tarea (por ejemplo, la precisión) y la eficiencia del hardware (por ejemplo, la latencia y el consumo de energía). Para hacer frente a este reto, definimos un nuevo objetivo de rango Pareto. Al incorporar múltiples objetivos y los principios de optimización de Pareto, nuestro planteamiento permite explorar las compensaciones entre el rendimiento específico de la tarea y la eficiencia del hardware. También examinamos el sesgo humano inducido por los espacios de búsqueda actuales y proponemos un espacio de búsqueda no restrictivo para encontrar nuevos operadores adaptados a una plataforma de hardware objetivo. Estos métodos se han validado en repositorios de clasificación de imágenes. En la segunda parte de la tesis, demostramos la utilidad de nuestros métodos en escenarios reales. En primer lugar, cómo aplicar HW-NAS a nuevas arquitecturas de hardware, en particular dispositivos informáticos analógicos en memoria. Para ello, proponemos un HW-NAS dedicado a estas plataformas, y deducimos las características que diferencian una red neuronal desplegada en estas plataformas de una desplegada en plataformas convencionales. Por último, construimos una referencia de investigación de arquitecturas neuronales para imágenes médicas que incluye arquitecturas para 11 tareas, entre ellas la detección de tumores, la segmentación del hígado y la estimación del volumen del hipocampo. Utilizando este punto de referencia, proponemos un nuevo HW-NAS que no sólo incluye la precisión y la latencia como objetivos, sino que también busca una arquitectura generalizable que pueda ser refinada para tareas médicas desconocidas.

Diseño de arquitecturas neuronales para imágenes médicas.