Quand l’intelligence artificielle aide à raconter l’histoire de vieux manuscrits

Qu’il s’agisse de peintures, de vieux manuscrits de pharmacologie ou des diagrammes astronomiques datant du moyen-âge, les images racontent des histoires que Mathieu Aubry aime mettre au jour. Chercheur au Laboratoire d’informatique Gaspard Monge (LIGM*) de l’École nationale des ponts et chaussées (ENPC), le scientifique met l’intelligence artificielle (IA) au service de la traque des « structures visuelles », de leurs répétitions et de leurs altérations qui racontent au creux des pages « l’histoire de la diffusion des connaissances ».
Dans le cadre du projet ERC DISCOVER (Discovering and Analyzing Visual Structures), entre autres projets, Mathieu Aubry et son équipe développent ainsi des réseaux de neurones capables d’extraire des informations d’une image en épargnant à un expert la tâche fastidieuse et chronophage d’annotation préalable des documents. Ces réseaux de neurones, autrement dit « des fonctions appliquées à des données », repèrent des correspondances entre des structures visuelles et mettent en évidence une cohérence entre elles. « L’apprentissage non supervisé est un procédé d'apprentissage automatique dans lequel on demande à l'algorithme d’utiliser des données brutes, y compris dans des images, pour obtenir un résultat, par exemple en se fondant sur la détection de similarités entre certaines de ces données. Le but n’est pas forcément de reconnaître la même structure visuelle ailleurs, mais d’identifier dans un ensemble une ou des structures identiques, ainsi que leurs variations », poursuit le mathématicien.
Déceler des cohérences entre les « structures visuelles »
Pour les historiens, l’intelligence artificielle s’avère ainsi être un outil précieux. Dans le cas de peintures issues d’un même atelier, par exemple, il devient possible d’identifier les parties copiées les unes à partir des autres et ainsi de retracer la généalogie des tableaux. Ou encore de comprendre comment d’anciens diagrammes astronomiques produits par des générations d’astronomes ont interagi au fil du temps et se sont diffusés.
« Notre innovation permet d’objectiver des informations et de passer à l’échelle supérieure », explique Mathieu Aubry, qui travaille avec des historiens de diverses institutions comme Sorbonne université, le Collège de France, l’Observatoire de Paris et l’Institut de Recherche et d'Histoire des Textes. « Un historien peut avoir accès à un document, quelques dizaines ou une centaine, mais cela reste limité. On ne peut pas avoir étudié tous les documents liés à un sujet. Si on veut regarder ce qu’il en est à plus grande échelle ou si l’on veut faire des analyses fines de variations, cela devient possible avec des outils numériques. »
La puissance de calcul des réseaux de neurones est utile pour des illustrations de toutes sortes et de toutes les époques. Le chercheur de l’ENPC, qui concilie ainsi son amour des mathématiques avec un tropisme pour l’art et l’histoire, collabore en ce moment avec des historiens des sciences sur le rôle de l’illustration dans les publications scientifiques au Moyen-Âge et à l’époque moderne.
L’IA à portée de main des historiens
« En pharmacologie, il existe des manuscrits avec des centaines d’illustrations de plantes différentes », détaille Mathieu Aubry. « Souvent, la personne qui a copié le dessin de la plante n’a jamais cette dernière en vrai. Et le manuscrit sur lequel il travaille a aussi été fait par quelqu’un qui n’a jamais eu la plante entre les mains. Le dessin se déforme avec le temps. Et puis à un moment, quelqu’un refait l’illustration à partir de la plante, ou alors on combine les deux illustrations dans un même manuscrit. Pour comprendre ces documents et ce que leur fabrication raconte, on doit être capable d’analyser ces images, trouver lesquelles sont similaires, d’éventuelles ruptures dans la représentation, et de tracer l’histoire des différentes images. »
Reste à rendre l’outil utilisable par des non-spécialistes de l’intelligence artificielle. C’est pourquoi le mathématicien travaille en ce moment à la création de plateformes web capables de fournir aux historiens les informations dont ils ont besoin pour lire entre les lignes de leurs manuscrits.
À propos :
Mathieu Aubry est chercheur au sein du groupe IMAGINE du Laboratoire d’informatique Gaspard Monge et à l’École nationale des ponts et chaussées (ENPC). Il est aussi scholar à ELLIS (European Laboratory for Learning and Intelligent Systems) au sein de l’unité de Paris.
Mathieu Aubry s’intéresse à la vision par ordinateur, plus particulièrement à l'analyse non supervisée de la collecte d'images et aux applications aux données historiques et à l'analyse de l'imagerie de la Terre.
*LIGM : une unité mixte de recherche CNRS, Université Gustave Eiffel, École nationale des ponts et chaussées, Institut Polytechnique de Paris, 91120 Palaiseau France