La captation du geste au service du spectacle

Modélisation et analyse de sons et de gestes, développement de systèmes de captation de mouvements et instruments augmentés, … l’équipe du département Interaction, Son, Musique, Mouvement de l’Ircam (Institut de recherche et coordination acoustique/musique) pilote de nombreuses recherches et développements autour des nouvelles interfaces pour la musique électronique, mais s’intéresse également aux techniques de synthèse sonore, comme le logiciel libre CataRT basé sur l’utilisation de vastes bases de données. “Toutes ces technologies sont régulièrement utilisées lors de concerts et d’installations dans des productions de l’Ircam ou ailleurs, avec des esthétiques complètement différentes”, explique Frédéric Bevilacqua, responsable du département.

Instruments augmentés, interfaces utilisant des capteurs de mouvement comme les Modular Musical Objects ou encore utilisation de technologies mobiles sur smartphones ou tablettes, … Pour le concert participatif Chloé x Ircam à la Gaîté Lyrique (Paris) en 2015, le public était invité à utiliser les dernières technologies web audio développées par l’Institut. Lors de ce live interactif entre artiste et public, les spectateurs, connectés à un réseau Wi-Fi local indiquant leur position dans la salle, recevaient des sons envoyés par l’artiste en live sur leur smartphone afin de lancer des séquences musicales collectives.

Les applications et prototypes développés par l’Ircam foisonnent. “Nous pouvons augmenter un instrument existant acoustique ou électrique par un ajout de capteur, comme par exemple, l’archet augmenté avec un capteur de mouvement”, ajoute F. Bevilacqua, citant également l’exemple de la jonglerie musicale de Jérôme Thomas et de ses capteurs intégrés aux balles de jonglage. Pour La Princesse légère, un opéra aux échos de conte musical présenté en création mondiale en décembre 2017 à l’Opéra de Lille et programmé à l’Opéra Comique en mars 2018, la compositrice colombienne Violeta Cruz a choisi les capteurs R-IoT de l’Ircam qui transforment les mouvements en signaux musicaux. Dans son spectacle, les mouvements des agrès manipulés sur scène par les danseurs sont traduits en données numériques et intégrés au discours musical, ainsi enrichi par les improvisations des interprètes.

Dernièrement, leur prototype Coloop, sorte de “ghetto blaster du XXIe siècle”, a même remporté une étoile de l’Observeur du Design 2018, un prix organisé par l’APCI (Agence pour la promotion de la création industrielle). Réalisé en collaboration avec Nodesign, cet objet hybride et nomade piloté par smartphone rassemble les fonctionnalités d’une enceinte, d’un instrument de musique et d’une table de mixage permettant de jouer, mémoriser et exécuter des samples.

Expérimentés sur scène, les prototypes et applications développés par l’Ircam sortent aussi de leur labo pour être testés directement auprès des communautés d’utilisateurs. Lors d’un hackathon au Music Tech Fest de Berlin en 2016 —un festival itinérant dédié aux technologies musicales—, l’Ircam présentait son capteur R-IoT. D’ailleurs, l’Institut a intégré le programme européen #Musicbricks qui propose à des centres de recherche en technologie musicale de développer des prototypes de manière collaborative avec des utilisateurs, optimisant ainsi les phases de développement et le design d’usage. Plus récemment, à Nantes, le Laboratoire Arts & Technologies de Stereolux organisait un atelier-conférence sur le thème “Interaction gestuelle et collective de médias numériques : nouvelles perspectives pour le spectacle vivant” avec F. Bevilacqua et la chorégraphe Anne Dubos. L’occasion pour l’Ircam de présenter ses technologies d’interaction gestuelle avec des médias numériques comme, par exemple, des capteurs de mouvement sans fil permettant à des performeurs (musiciens, danseurs, acteurs) de manipuler avec leur corps des sons et des environnements visuels.

Au cours de la game jam “smartphones et mouvements” organisée au fablab de la Cité des sciences avec le Gamelab du CRI (Centre de recherches interdisciplinaires) en octobre 2016, des équipes constituées de chercheurs, d’artistes de scène, de designers sonores et de développeurs ont imaginé par équipe des “jeux collectifs poétiques alliant mouvement, son et musique” grâce à toute une palette de logiciels, bibliothèques d’interfaces et applications Soundworks dédiées aux expériences musicales avec smartphones associées aux capteurs de mouvement R-IoT de l’Ircam, à des kits de bio-capteurs ou au contrôleur Movuino développé par le CRI. Parmi les idées ayant émergé de ce weevk-end de prototypage créatif et fun figurait un orchestre basé sur les rythmes du cœur ou encore un système de réalité virtuelle pour se voir à la troisième personne.

Dans le même esprit bon enfant, les Culture Experience Days de l’Adami —sortes de hackathons organisés par la Société civile pour l’administration des droits des artistes et musiciens interprètes— invitent chaque année artistes de scène et techno-créatifs à produire en équipe des prototypes pour la scène, à customiser des instruments ou à imaginer des accessoires qui sont présentés en démo à l’issue de la session devant des professionnels du spectacle vivant. Lors de la dernière édition, organisée à la Gaîté Lyrique en novembre 2017, s’est retrouvée pêle-mêle une quarantaine de musiciens, comédiens, danseurs, circassien, vidéastes, metteurs en scène, makers, développeurs, techniciens du spectacle, designers visuels, designers d’interface, et autres sound designers.

La technologie est un lieu de pouvoir

Mais cette mixité des publics ne va pas forcément de soi. Et la relation entre l’artiste de scène et la technologie n’est pas systématiquement vécue comme une idylle. “Psychologiquement, intellectuellement et émotionnellement, c’est difficile, car lorsqu’on est sur scène, on est dans son corps et on communique avec tout un tas de niveaux infra que l’ingénieur doit décoder en n’ayant pas forcément la culture du milieu du spectacle”, explique la chorégraphe Anne Dubos, qui cumule par ailleurs les casquettes d’anthropologue et d’artiste transmédia. Il y a quatre ans, elle a commencé à s’intéresser à la technologie et aux capteurs pour modéliser le geste de l’acteur dans le cadre de ses recherches doctorales sur les performing arts en Inde. “En travaillant avec des ingénieurs, j’ai appris un mode de pensée très différent, très organisé par catégorie”, ajoute cette familière de l’Ircam, de l’INRéV (l’équipe de recherche Image numérique et réalité virtuelle de l’université Paris 8) et du LUTIN (Laboratoire des usages en technologies d'information numériques, le living lab de Paris 8). “Or, en tant qu’anthropologue, j’ai justement tendance à démonter les catégories ou les boîtes. On génère des catégories pour se donner du pouvoir sur les choses et la technologie est bien un lieu à la fois de création et de pouvoir.”

Anne Dubos - Photos © Little Heart Movement
Antoine Capet, BrutPop - Photo © Carine Claude // Boîtiers BrutBox - Photo © Carine Claude

Passionnée par la philosophie de Bergson ou de Merleau-Ponty, A. Dubos s’intéresse tout particulièrement à la phénoménologie de la perception, mixant dans son travail approche expérimentale de la technologie et recherche fondamentale sur le corps, le geste et la mémoire. “C’est à nous, artistes de scène, d’être conscients de nos usages corporels et de nos intentions pour être en mesure de les communiquer au bon moment. Le temps de la machine est beaucoup plus lent que le temps physique. Ce ne sont pas les mêmes temps de travail, ni les mêmes temps de création, les prises de décision ne se passent pas au même moment, entre l’artiste sur scène face à son public et la régie. Il faut donc s’aménager des espaces de création parallèles et décalés, et là, il y a forcément des crashs. Sauf que les ingénieurs détestent que le crash fasse partie du jeu ! Ils le prennent pour un échec alors que sur scène, on trouve d’autres solutions et on fait appel au système D grâce à nos capacités d’improvisation ou d’autonomie.”

Pour elle, la contrainte technologique a modifié en profondeur son approche de l’écriture chorégraphique : “C’est comme devenir compositeur. Tout à coup, il faut tout écrire, tout maîtriser, tout comprendre, tout savoir de tout le monde et être la seule à la savoir, car le reste du groupe ignore toujours une partie de la composition ou du jeu des autres.”​

Avec la danseuse Hortense Kack et F. Bevilacqua de l’Ircam, A. Dubos se consacre actuellement à l’écriture d’une nouvelle pièce vidéo. L’interprète collectera des gestes dans la rue, puis les dansera dans un espace neutre de type galerie, restituant l’ambiance et l’univers sonore de l’environnement urbain à partir de ses gestes. “Cette pièce deviendra sans doute une œuvre performative”, précise A. Dubos. “C’est assez compliqué à réaliser, car on aimerait faire un enregistrement en binaural pour pouvoir mettre la vidéo sur YouTube, par exemple, afin de proposer une écoute immersive quand on déplace le téléphone. Mais c’est un gros challenge technique !”

L’esprit lab

Néanmoins, la création de dispositifs d’interaction gestuelle et sonore se prête volontiers à l’expérimentation par le Faire et à l’esprit collaboratif prônés par les makers. D’où l’ouverture progressive des laboratoires institutionnels aux pratiques issues des fablabs, y compris sur l’épineuse question des logiciels et applications passant progressivement de la logique propriétaire vers l’open source et l’open access. “Nous développons avec plusieurs types de licences, mais cela dépend du contexte”, explique F. Bevilacqua. “Cela peut être en open source, comme les développements web pour les dispositifs mobiles ou encore le logiciel pour la reconnaissance de geste XMM par Jules Françoise, disponibles sur des Github (une plate-forme de partage de code informatique). Ensuite, certains logiciels sont ‘fermés’, mais gratuits comme, par exemple, MuBu pour l’environnement Max. Enfin, certains logiciels sont fermés et non gratuits, s’ils sont transférés vers des industriels qui incluent ces développements dans leurs produits, comme MOTU.”

Côté université, l’idée de l’ouverture à l’open source et au DIY (Do it yourself) fait également son chemin, souvent portée par des labs associés. C’est le cas de l’openlab du CRI, qui a développé sous licence ouverte le module Movuino. Aussi bien utilisée par les sportifs que par les artistes de scène, cette carte électronique, accessible et low cost basée sur Arduino, permet de détecter du mouvement par l'acquisition de données d’accélération et de gyroscope. Permettant de modifier facilement des sons ou même de la lumière via l'utilisation simple des mouvements du corps, ce capteur multifonctions a été conçu pour “rendre accessible la création musicale à tous, y compris aux handicapés”. Plébiscité par la communauté des musiciens-makers, cet outil fait régulièrement l’objet de présentations ou de workshops, à l’instar de celui organisé par Stereolux sur la captation du mouvement en partenariat avec le CRI en mai 2017.

Autre exemple de projet libre et réplicable en atelier : la BrutBox développée par BrutPop. Fondé par David Lemoine, chanteur du groupe Cheveu, et le musicothérapeute Antoine Capet, le collectif BrutPop s’intéresse lui aussi aux publics en situation de handicap par le biais du DIY. En association avec plusieurs fablabs, dont le LFO de Marseille et le 8 fablab de Crest dans la Drôme, ils ont créé la BrutBox, un outil de création musicale sur mesure permettant aux personnes souffrant d’un handicap physique ou mental de créer de la musique par la lumière, le toucher, le mouvement et même via leurs ondes cérébrales. Assorti de pédales d’effets, de micros voix et d’instruments de musique bidouillés, le dispositif des boîtiers ne nécessite pas de compétences particulières en électronique ou en musique pour être installé. Pour pousser plus loin l’expérience, ils ont lancé le Sonic Lab, l’un des rares fablabs français consacré au son. Installé depuis novembre 2017 à la Station de la gare des Mines aux portes de Paris, le projet a été réfléchi avec d’autres collectifs notamment le collectif MU et les membres de Trublion, qui aiment à se définir comme des “facteurs d’instrument de musique d’aujourd’hui”. Ces derniers sont des makers, des ingénieurs, des chercheurs, des luthiers, des musiciens et des artistes numériques travaillant sur de nouvelles formes de facture instrumentale. Leur terrain de jeu ? Mixer des techniques électronique et informatique à des matériaux de lutherie acoustique pour repenser le jeu musical.

“Je suis très attaché à l’expérience et à la pratique instrumentale”, explique le chercheur Emilien Ghomi. Passé par l’Ircam, mais aussi par les hackerspaces Le Loop et la Blackboxe, ce spécialiste des interactions homme-machine en musique a cofondé le collectif Trublion en 2007. “Mon premier sujet de recherche portait sur l’instrumentalité des systèmes numériques, c’est-à-dire comment catégoriser l’expérience instrumentale au-delà de la question du son en prenant en compte l’expression, le geste, la pratique, le lien avec l’objet pour concevoir un système numérique capable d’atteindre les même niveaux d’exigence sur les plans cognitifs, psychologiques ou sociologiques que les instruments acoustiques.” Il poursuit : “Les musiciens et les luthiers avec qui nous travaillons nous font remonter leurs problématiques. Du coup, notre manière d’aborder l’instrument concret ou le petit objet instrumental que l’on va créer avec eux sera forcément marqué par une pratique de jeu live. Comment agrémenter un instrument de moyens numériques sans le pervertir et surtout, sans en faire un robot. Car le robot est vraiment l’écueil à éviter, c’est-à-dire le dispositif que tu contrôles, que tu programmes et qui ferait des actions mécaniques tout seul pour produire du son”. Pour l’inauguration du nouveau Tate Modern à Londres, le performer Tarek Atoui a d’ailleurs joué sur les instruments hybrides créés par le luthier Léo Maurel et le collectif, notamment le violon à roue.

Selon Emilien Ghomi, la recherche sur la captation des mouvements reste surtout une démarche de designer : “Il est très difficile d’avoir une approche académique et méthodique, sauf pour les questions de catégorisation des sons et des gestes qui sont quand même assez poussées dans le domaine de la recherche”. Récemment, le collectif a travaillé avec la designer Alexandra Radulescu de l’Ensci. À partir d’un objet inerte, ils ont mimé pendant plusieurs mois des gestes en chantant par-dessus afin de déterminer des actions pour produire ou altérer le son.

“Ce qu’il faut éviter, c’est de faire de la captation de mouvement pour faire de la captation de mouvement. Mon crédo est de dire : ‘si tu peux le faire avec un bouton, un potard ou un clavier, ne le fais pas avec du geste’, comme déclencher des samples par un mouvement alors qu’on pourrait tout simplement les contrôler avec un bouton. Si tu fais exactement la même chose, quel intérêt ? C’est pareil pour la performance scénique. Si tu n’as pas besoin d’être sur scène pour exprimer ce que tu es en train de faire, tu vas à la régie. De nombreux dispositifs rendent l’existant ludique et esthétique mais ne racontent rien de poétique. Et je n’ai pas envie de perdre la poésie dans la création artistique.”

Carine Claude
Article rédigé en partenariat avec le Laboratoire Arts & Technologies de Stereolux