Soutenance de thèse de Hadjer BENMEZIANE : Optimisation Automatique des Applications d'Apprentissage Profond sur Plateformes Matérielles Edges

Composition du jury proposé

M. SMAIL NIAR, Université Polytechnique Hauts de France, Directeur de thèse
M. Muhammad SHAFIQUE, New-York Univ, Abu-Dhabi, Rapporteur
M. Gilles SASSATELI, Université Montpellier, France, Rapporteur
Mme Liliana  CUCU-GROSJEAN, INRIA ; Rocquencourt, France, Examinatrice
M. Brett MEYER, Mc Gill University, Examinateur
Mme Kaoutar EL MAGHRAOUI, IBM Research AI, NY USA and Adjunct Professor, Columbia University, USA, Co-directrice de thèse
M. Hamza OUARNOUGHI, LAMIH, UPHF/INSA, Co-encadrant de thèse

Mots-clés

Optimisation,Deep Learning,Contraintes materielles,Systèmes Edge,

Résumé

Les modèles d'inférence basés sur les réseaux neuronaux profonds (eng, Deep Neural Networks (DNN)) sont largement utilisés dans de nombreuses platesformes de périphérie pour plusieurs raisons. Premièrement, les DNN ont démontré des performances exceptionnelles dans diverses tâches complexes telles que la reconnaissance d'images, le traitement du langage naturel et la synthèse vocale. Leur capacité à extraire des caractéristiques significatives à partir de grands ensembles de données leur permet d'atteindre des niveaux élevés de précision et de puissance prédictive, ce qui les rend indispensables pour une large gamme d'applications. Deuxièmement, le déploiement de ces modèles directement sur les plateformes de périphérie offre plusieurs avantages. L'exécution du processus d'inférence localement sur les dispositifs de périphérie réduit la dépendance à l'égard du calcul basé sur le cloud, réduisant ainsi la latence du réseau et garantissant une réactivité en temps réel. Cependant, les plateformes de périphérie fonctionnent souvent dans des environnements contraints en ressources, caractérisés par une puissance de calcul limitée, des contraintes énergétiques et une connectivité intermittente. Les modèles DNN sont inadaptés à de telles plateformes. Cela a encouragé la recherche sur la conception automatique d'architectures neuronales adaptées à ces dispositifs. Cette méthode est appelée recherche d'architecture neuronale à contraintes matérielles (Hardware-aware Neural Architecture Search, HW-NAS). HW-NAS est la pierre angulaire de cette thèse. HW-NAS peut fournir des modèles à la fois efficaces et précis. Cette thèse vise à accélérer et à généraliser l'applicabilité de HW-NAS à de nombreuses plateformes et à plusieurs tâches. En particulier, cette thèse propose des solutions novatrices pour estimer rapidement l'efficacité d'un DNN déployé sur une plateforme matérielle cible. Notre approche HW-NAS proposée englobe des techniques d'optimisation multi-objectifs, ce qui accélère considérablement le processus de recherche à la fois dans les espaces de recherche basés sur les supernetworks et les cellules. Dans le contexte multi-objectif de HW-NAS, des objectifs conflictuels, tels que les performances spécifiques à la tâche (par exemple, la précision) et l'efficacité matérielle (par exemple, la latence et la consommation d'énergie), doivent être optimisés simultanément. Pour relever ce défi, nous définissons un nouvel objectif de rang de Pareto. En incorporant des objectifs multiples et des principes d'optimisation de Pareto, notre approche permet l'exploration des compromis entre les performances spécifiques à la tâche et l'efficacité matérielle. Nous examinons également le biais humain induit par les espaces de recherche actuels et proposons un espace de recherche non restrictif pour trouver de nouveaux opérateurs adaptés à une plate-forme matérielle cible. Ces méthodes ont été validées sur des référentiels de classification d'images. Dans la seconde partie de la thèse, nous montrons l'utilité de nos méthodes dans des scénarios réels. Premièrement, comment appliquer HW-NAS à de nouvelles architectures matérielles, notamment les matériels de calcul analogiques en mémoire, ou in-memory analog devices. Nous proposons donc un HW-NAS dédié à ces plateformes, et nous déduisons les charactérstiques qui différent un réseaux de neuronnes déployé sur ces plateformes, d'un autre déployé sur des plateformes classiques. Enfin, nous construisons une référence de recherche d'architectures neuronales pour l'imagerie médicale qui inclut des architectures pour 11 tâches, notamment la detection de tumeurs, la segmentation du foie et l'estimation du volume de l'hippocampe. En utilisant ce référence, nous proposons un nouveau HW-NAS qui inclut non seulement l'exactitude et la latence en tant qu'objectifs, mais cherche également une architecture généralisable qui peut être affinée pour des tâches médicales inconnues.