L'informatique graphique au service de la créativité

Imaginez-vous en train de dessiner un arbre. Un trait pour le tronc, une silhouette pour le feuillage, une pincée de détails sur la forme des feuilles. Sans même aller plus loin, apparaît à l’écran un arbre en trois dimension, proche de celui de votre imagination. Poursuivez par exemple avec un zigzag représentant un ruisseau, puis une chute d’eau symbolisée par un trait, un lac par un cercle. Voici votre arbre dans un paysage de cascade au rendu visuel remarquable. Il ne s’agit pas là simplement de graphisme ou d’art, ce sont des exemples des travaux scientifiques dirigés par Marie-Paule Cani, qui a rejoint le Laboratoire d’Informatique de l’École polytechnique (LIX*) en 2017. Cette chercheuse renommée du domaine de l’informatique graphique 3D, qui a déjà reçu plusieurs distinctions comme la médaille d’argent du CNRS en 2012 et a été élue à l’académie des sciences fin 2019, vient d’être nommée fellow du centre interdisciplinaire Hi! PARIS pour son projet de recherche « Creative AI » et promue au grade de commandeur de l’ordre national du Mérite.

Créer des images de synthèse requiert trois étapes : la modélisation géométrique (telle celle de l’arbre), l’animation de cette géométrie (les mouvements de l’eau par exemple) et le rendu, c’est-à-dire le calcul de l’image finale. Les deux premières étapes sont au cœur des recherches de Marie-Paule Cani qui compare les créateurs 3D à « des petits dieux qui créent leurs mondes virtuels et en choisissent les lois ». Il ne s’agit pas en effet toujours d’appliquer des simulations précises des lois de la physique, même si le curseur en est parfois très proche, par exemple pour l’animation des liquides. D’un autre côté, les calculs doivent pouvoir être effectués en un temps raisonnable. « Récemment, notre simulation visuelle du mouvement de nuages dans le ciel ne reprenait pas les modèles des climatologues ou des physiciens des fluides. Nous sommes partis de notre propre approximation » explique la chercheuse. L’informatique graphique ne cherche donc pas à coller point par point, ou particules par particules, à la physique, mais à respecter une plausibilité visuelle, qui permette à un spectateur de ce monde virtuel de s’y immerger sans accroc.

Pour concilier cette liberté de création et ces contraintes de plausibilité et de temps de calcul, Marie-Paule Cani a contribué au développement de méthodologies propres à l’informatique graphique, en particulier lorsqu’elle était professeure à Grenoble-INP. Parmi ces outils, les surfaces implicites, une manière de modéliser géométriquement des surfaces très déformables, sont actuellement le modèle utilisé pour représenter la surface de l’eau dans les effets spéciaux au cinéma par exemple. Récemment, son équipe de l’Ecole Polytechnique a étendu les représentations implicites pour permettre aux personnages virtuels de porter plusieurs couches de vêtements sans que ces dernières  ne s’entremêlent.

Cette panoplie d’outils de l’informatique graphique 3D sert à construire ces mondes virtuels grâce à des modèles « multicouches » : il s’agit d’abord d’identifier quels sont les sous-phénomènes qui apparaissent, c’est-à-dire les différentes couches, puis de chercher pour chacune quel modèle est le plus adapté, comme des surfaces implicites. Toute l’astuce consiste ensuite à coupler ces différents modèles au cours du temps, afin d’assurer la plausibilité du résultat. « Ainsi, dans notre travail sur le mouvement des nuages, une couche constituée de plusieurs grilles de calcul horizontales simule à grande échelle la mécanique des fluides, avec les mouvements de convection et l’interaction avec le terrain, alors qu’une couche à une échelle plus fine génère les détails de manière procédurale, à partir de connaissance a priori sur les différents types de nuage » poursuit l’informaticienne.

L’intelligence artificielle (IA) a aussi commencé à intégrer la boîte à outil de l’informatique graphique.  « Mais surtout pas pour créer à notre place ! prévient la chercheuse. L’IA doit venir comme un assistant qui nous fournit en temps réel l’outil le mieux adapté, qui permet aux modèles de mieux réagir à nos gestes créatifs ». Par exemple, on peut vouloir faire des copier-coller intelligent, tel prendre les vêtements d’un personnage pour les mettre sur un autre en faisant en sorte qu’ils s’adaptent automatiquement à la nouvelle morphologie. L’IA peut également apprendre à placer des éléments de décors dans un monde virtuel, et nous fournir, par exemple, un pinceau « buisson » qui permet de peupler des paysages de façon plausible, en tenant compte du climat et de la nature du sol, de la pente locale, et des interactions entre espèces végétales.

Avec de telles réalisations, on comprend facilement que les industries créatives, du jeu vidéo au cinéma, soient les premières utilisatrices de l’informatique graphique 3D. Marie-Paule Cani participe à la chaire de l’Ecole polytechnique financée par la société Ubisoft, qui a récemment recruté deux étudiants du master de sciences et technologies (MScT) « Artificial Intelligence and advanced Visual Computing » qu’elle a mis en place. Au cinéma, le studio Weta digital a utilisé les résultats de certains de ses articles de recherche, par exemple pour créer certaines chevelures de personnages du film Avatar. « Parler à ces industries créatives nous aide à trouver des problèmes scientifiques intéressant. Réciproquement, ils s’inspirent de nos méthodes, en les adaptant à leurs besoins. Souvent, on ne le découvre qu’après. Mais nous restons dans notre rôle de chercheurs en produisant des logiciels prototypes pour tester nos idées, et en laissant l’industrialisation à leur charge. »

Marie-Paule Cani collabore aussi beaucoup avec des scientifiques d’autres disciplines : des biologistes pour la modélisation des arbres, des géomorphologues pour la formation de chaînes de montagnes, des vulcanologues pour simuler visuellement les panaches volcaniques, ou encore des préhistoriens pour la reconstruction de l’écosystème de la vallée de Tautavel il y a 450 000 ans… et la liste ne s’arrête pas là.« Mon projet « Creative AI » avec Hi! PARIS s’adresse justement à ces interactions avec d’autres chercheurs ». L’idée du projet est de leur fournir un environnement virtuel afin qu’ils puissent tester leurs idées : dessiner un croquis 2D de leur modèle mental, un croquis de cellule pour un biologiste, et de voir tout de suite un monde 3D qui correspond, puis d’injecter leurs connaissances à la volée, par exemple, que tel objet se déforme à volume constant. L’IA sera utilisée pour que les modèles réagissent de manière attendue à leurs gestes créatifs. « Cela pourrait aider à la réflexion en science, et aussi à la communication » espère-t-elle.

*LIX : une unité mixte de recherche CNRS, École polytechnique – Institut Polytechnique de Paris