Mettre au régime l'IA, trop gourmande en énergie

Malgré les prouesses réalisées ces dernières années, l'intelligence artificielle (IA) n'est pas exempte de défauts : les modèles deviennent de plus en plus volumineux, ce qui nécessite une quantité croissante d'énergie pour les faire fonctionner. À l'heure du changement climatique et de la crise énergétique, cet engouement pour l'IA a attiré l'attention de spécialistes comme Enzo Tartaglione, professeur associé à Télécom Paris et membre de l'équipe Multimédia du département Image, Données, Signal (IDS) du LTCI, qui a entrepris de mettre les modèles d'IA au régime.
« Certains de ces modèles sont si volumineux qu'ils ne peuvent pas être utilisés localement et doivent l'être à distance, ce qui pose un problème à de multiples égards : protection de la vie privée, consommation d'énergie au niveau du serveur, consommation d'énergie dans la transmission, etc », explique le scientifique, qui fait également partie du European Lighthouse of AI for Sustainability (ELIAS), un réseau qui réunit des universitaires et des partenaires de l'industrie « pour cultiver des solutions d'IA originales qui contribuent à un avenir durable pour notre planète, favorisent la cohésion sociale et défendent les droits individuels ».
L'IA gourmande
Parmi les plus gourmands figure le Deep Learning, ou apprentissage profond, qui s'est imposé il y a une dizaine d'années comme l'un des champions de l'IA. Dans l’apprentissage profond, les algorithmes sont constitués de ce que les spécialistes appellent des « réseaux de neurones artificiels », qui sont un sous-ensemble de modèles d'apprentissage automatique inspirés de façon lointaine de la structure et du fonctionnement du cerveau. « Les structures des algorithmes sont composées de couches de ces neurones. Plus il y a de couches que le signal doit traverser, plus le réseau neuronal est profond. C'est pourquoi on parle d’apprentissage profond », explique Enzo Tartaglione. Un peu à la manière du cerveau humaine, les réseaux neuronaux peuvent apprendre à accomplir des tâches telles que la reconnaissance d'images, le traitement du langage naturel et la reconnaissance vocale à partir de grandes quantités de données.
« Aujourd'hui, la course aux réseaux neuronaux artificiels consiste à leur intégrer de plus en plus d'informations, ce qui implique souvent d'avoir des modèles plus grands », explique le chercheur. « Si vous voulez que l'apprentissage profond apprenne davantage, vous pouvez faire deux choses : améliorer la conception de l'algorithme d'apprentissage pour le rendre plus efficace ou optimiser ses propriétés ; ou simplement agrandir les modèles. »
Avec des smartphones plus puissants que les ordinateurs portables il y a dix ans, l'inflation des modèles d’apprentissage profond n'est pas tout à fait surprenante. Tenant compte des progrès technologiques, Enzo Tartaglione et ses collègues s'attachent à concevoir des modèles moins énergivores ou moins compacts. Ce qui peut être réalisé de multiples façons.
Généraliser des modèles plus petits et plus efficaces
L'un des défis consiste à développer des modèles efficaces capables d'apprendre, de s'adapter et d'obtenir des performances similaires avec de nouveaux ensembles de données. Cette généralisation du réseau neuronal est confrontée à ce que l'on appelle les corrélations fallacieuses : le réseau neuronal s'appuie sur des modèles non pertinents dans les données d'entrée, ce qui entraîne des résultats incorrects. Une autre partie de la recherche d'Enzo Tartaglione consiste à identifier ces corrélations fallacieuses et à corriger ces comportements à l'intérieur des réseaux neuronaux afin que les biais inductifs du modèle ne s'alignent pas sur des modèles fallacieux et n'exacerbent pas le problème de la corrélation fallacieuse.
« Un système qui s'adapte à l'utilisateur est extrêmement intéressant, mais l'entraînement continu des réseaux neuronaux consomme deux à trois fois plus d'énergie que leur simple utilisation », note l'informaticien. Retour à la case départ : Les modèles d'IA sont trop gourmands.
À l'instar de l'ampoule électrique remplacée par des diodes électroluminescentes (LED), l'intelligence artificielle doit connaître sa propre révolution. « Nous devons prendre des mesures fortes avant de trop compter sur une IA qui demande tellement d'énergie que nous atteindrons un point de non-retour et que tout s’arrêtera. Je pense que la recherche devrait se concentrer sur le maintien des algorithmes à l'échelle et sur l'amélioration de leur conception et de leurs capacités de fonctionnement ».

À propos :
Enzo Tartaglione est maître de conférences à Télécom Paris et titulaire d'une chaire Hi! Paris. Il est également membre de la société ELIAS et rédacteur en chef adjoint des IEEE Transactions on Neural Networks and Learning Systems. Il a obtenu le diplôme de MS en ingénierie électronique au Politecnico di Torino en 2015, cum laude. La même année, il a également obtenu une maîtrise en génie électrique et informatique à l'université de l'Illinois à Chicago. En 2016, il a également obtenu une maîtrise en électronique au Politecnico di Milano, avec mention. En 2019, il a obtenu un doctorat en physique au Politecnico di Torino, avec mention, avec une thèse intitulée « De la physique statistique aux algorithmes dans les systèmes neuronaux profonds ». Il s'intéresse principalement à la compression, à la sparsification, à l'élagage et au filigrane des réseaux neuronaux profonds, à l'apprentissage profond pour l'imagerie médicale, à l'apprentissage respectueux de la vie privée, au débiaisage des données, à la régularisation pour l'apprentissage profond et à la croissance des réseaux neuronaux. Son expertise se concentre principalement sur les thèmes de l'apprentissage profond efficace, avec des articles publiés dans les meilleures conférences et revues dans le domaine.
*LTCI : un laboratoire de recherche Télécom Paris, Institut Polytechnique de Paris, 91120 Palaiseau, France