Séminaire "Accélérer l'apprentissage profond avec le calcul approximatif"

Résumé

Les investissements rapides dans l'IA ont entraîné une augmentation remarquable des données, des modèles et de la capacité de l'infrastructure. Simultanément, nous nous trouvons à l'aube d'un changement de paradigme marqué par des modèles de base généralisables et adaptables à grande échelle. Cependant, cette expansion auto-propulsée de l'IA a engendré des modèles d'IA plus complexes et plus grands, des demandes de calcul exascales et une empreinte carbone accrue.
Pour relever ces défis, la spécialisation et l'accélération du matériel sont cruciales pour satisfaire les demandes de calcul des DNN, qui nécessitent une conception synergique entre les différentes couches de la pile de calcul. Dans cet exposé, nous décrivons une approche holistique de la conception de systèmes d'IA spécialisés, dont IBM Research a été le pionnier. Elle met en évidence une série de techniques pour la conception et la construction de systèmes d'apprentissage profond efficaces. Cela implique des principes de calcul approximatifs et des approches Analog In-memory non-Von-Neumann pour débloquer des gains exponentiels de calculs d'IA rendant l'IA plus rapide, plus efficace et plus durable.

Biographie

Kaoutar El Maghraoui est chercheur principal au centre de recherche IBM T.J Watson et professeur adjoint d'informatique à l'université de Columbia. Les travaux de Kaoutar se situent à l'intersection des systèmes et de l'intelligence artificielle (IA). Elle dirige le banc d'essai d'IA de l'IBM Research AI Hardware Center, un centre de recherche mondial qui permet d'obtenir des accélérateurs et des systèmes de nouvelle génération efficaces pour les charges de travail d'IA. Elle est responsable du développement open-source et de la mise en place d'un système de gestion de l'intelligence artificielle.