Tesis de Houssem Ouertatani
Me complace invitarle a la defensa de mi tesis doctoral titulada "Búsqueda eficiente de arquitecturas neuronales profundas mediante optimización bayesiana: aplicación a la visión por ordenador", realizada en IRT SystemX, INRIA Lille/CRIStAL y LAMIH/Université Polytechnique Hauts-de-France (UPHF) como parte del programa Confiance.ai.
-
Le 06/12/2024
-
10:00 - 11:30
-
Inria Lille - Euratechnologies
Confiance.AI forma parte del programa France2030.
La defensa tendrá lugar el viernes 6 de diciembre a las 10h en Inria Lille - Euratechnologies (170 Av. de Bretagne, 59000 Lille), salle des réunions au Rez-de-Chaussée. La presentación será en inglés.
Resumen
Las arquitecturas de redes neuronales son fundamentales para el inmenso éxito del aprendizaje profundo en muchas tareas. La búsqueda de arquitecturas de redes neuronales (NNAs) es una tarea crítica en el desarrollo de modelos eficientes de aprendizaje profundo, permitiendo el descubrimiento de nuevos componentes o configuraciones eficientes, o adaptando de forma óptima las arquitecturas existentes a las restricciones de hardware de despliegue, por ejemplo a través de NNA adaptativas al hardware.
Las arquitecturas de redes neuronales son fundamentales para el inmenso éxito del aprendizaje profundo en muchas tareas.
Aunque los algoritmos de optimización de caja negra son muy adecuados para estos problemas, el alto coste de evaluar soluciones individuales pone el énfasis en métodos de alta eficiencia de muestreo como la optimización bayesiana (BO).
En este trabajo, partimos de los principios fundamentales que subyacen a la eficiencia de muestreo de la Optimización Bayesiana, y aprovechamos ciertos atributos de la NAS y la flexibilidad inherente y el rendimiento predictivo de los Deep Ensembles para reducir significativamente el tiempo de búsqueda y los recursos necesarios para explorar eficientemente los espacios de búsqueda.
Optimización Bayesiana.
En los benchmarks NAS, esta estrategia de búsqueda alcanza una velocidad 100 veces superior a la búsqueda aleatoria, y una reducción de hasta el 50% en el tiempo de búsqueda en comparación con los métodos basados en la optimización bayesiana o la búsqueda local.
La estrategia de búsqueda se basa en la optimización bayesiana y la búsqueda local.
El diseño de arquitecturas de redes neuronales es un problema complejo que puede conducir rápidamente a una explosión combinatoria. Un diseño juicioso del espacio de búsqueda es una condición importante para encontrar rápidamente modelos eficientes.
Demostramos la versatilidad y eficacia de este enfoque de búsqueda en varios espacios de búsqueda de diferentes tipos y grados de complejidad. Nos centramos en encontrar y mejorar arquitecturas de modelos de visión eficientes. Demostramos que es posible encontrar nuevos modelos de alto rendimiento limitando los costes computacionales necesarios.
Composición del jurado
- Amir Nakib LISSI, Université Paris-Est Créteil Ponente
- Saïd Mahmoudi ILIA, Universidad de Mons Ponente
- Carola Doerr LIP6, CNRS, Universidad de la Sorbona Examinador
- Mohamed Daoudi CRIStAL, ULille & IMT Nord Europe Examinador
- El-Ghazali Talbi CRIStAL, Universidad de Lille Co-supervisor de tesis
- Smail Niar LAMIH, UPHF Co-supervisor de tesis
- Cristian Maxim IRT SystemX Supervisor y referente en IRT SystemX