L’art rencontre la science

La rencontre entre l’art et la science : les effets scéniques et l’intelligence artificielle

 

Thomas Josso-Laurain, Maître de conférences à l’ENSISA

Comment intégrer des développements scientifiques récents dans des performances artistiques ? Le sujet et vaste ! Dans le cadre de ce projet, il s’agit d’utiliser les dernières avancées dans le domaine de l’intelligence artificielle (IA) afin d’améliorer un système de mapping vidéo lors d’une performance théâtrale. Pour répondre à la problématique, un stagiaire chercheur  Laurent Baltenweck, étudiant en master 2 Électronique, Énergie électrique, Automatique (EEA) a été recruté. Thomas Josso-Laurain, maître de conférence à l’ENSISA, encadre son travail. Interview.

 

Quels sont les différents protagonistes du projet ?

Ce projet inclut dans son consortium la compagnie de théâtre Des Châteaux en l’Air dirigée par Gäel Chaillat, qui est au cœur de la problématique car ayant un besoin en IA. Sont également associés au projet : l’Université de Haute-Alsace (UHA), principalement le Service Universitaire d’Action Culturelle (SUAC) dirigé par Laurent Vonna et Isabelle Lefèvre, l’Institut de Recherche en Informatique Mathématiques Automatique Signal (IRIMAS) dirigé par Lhassane Idoumghar, et notamment le Département Automatique Signal Image représenté par Christophe Cudel pour la partie « imagerie ». Michel Basset et moi-même sommes impliqués pour la partie « automatique et traitement du signal ». Enfin, Laurent Baltenweck se charge des recherches et des actions terrain en tant que stagiaire sur le projet.

 

Laurent Baltenweck, stagiaire encadré par Thomas J-L.

Pour quelles raisons la compagnie a fait appel à vous ?

La compagnie Des Châteaux en l’Air souhaite pour son prochain spectacle « Danubia » faire un mapping vidéo sur des tissus en mouvement sur la scène. S’il existe actuellement des solutions basées sur la géométrie pour détecter des objets sur une image, avoir un système capable de distinguer les humains des tissus, et de pouvoir les identifier individuellement nécessite la conception de systèmes d’intelligence artificielle avancés.

 

Quel est le rôle de Laurent Baltenweck ?

Le SUAC et l’institut de recherche IRIMAS ont répondu à cette problématique en recrutant Laurent Baltenweck comme stagiaire, afin de développer et d’entraîner une intelligence artificielle capable de reconnaître les formes et de les suivre tout au long du spectacle, en se basant notamment sur la technologie des réseaux de neurones convolutifs et le principe du tracking.

 

Où en êtes-vous dans le projet ?

Les résultats attendus consistent essentiellement en la conception de l’algorithme d’IA permettant d’extraire à partir des images issues d’une caméra infrarouge les zones contenant des corps humains, des disques de tissu ou des draps, ce afin de permettre à la compagnie de théâtre de réaliser le mapping vidéo en ciblant chaque individu et chaque objet de manière différenciée et spécifique pour créer une expérience visuelle unique destinée aux spectateurs de la performance. Laurent a fait des tests en situation réelle :  la troupe a décidé d’utiliser des tissus blancs rectangulaires de 150x50cm (draps) ainsi que des tissus blancs circulaires (nénuphars) de 20cm de rayon afin de projeter des images dessus. Les formes à détecter seront donc ces draps et nénuphars ainsi que les personnes sur la scène. L’avant-dernier jour de la résidence, nous avons organisé une séance photo pour capturer des exemples de cas possibles mêlant les draps, les nénuphars et les personnes.

 

Voici quelques situations possibles :

 

 

Il s’agit de développer l’algorithme en l’entrainant à l’aide des nombreuses images capturées. Cette recherche change des commandes habituelles qui émanent d’entreprises industrielles pour le contrôle qualité (détecter les défauts d’une piè­ce … ) ou la présence de piétons sur une route (développement de véhicules autonomes), par exem­ple.