L’usage des applications mobiles

Maxence Grugier
Article rédigé en partenariat avec le Laboratoire Arts & Technologies de Stereolux

Avec l’essor de l’industrie créative (voir AS 224) et l’implication des différents domaines de développement informatique actuels – qui vont de l’ingénierie et des start-up à l’écosystème de la production numérique en général – dans la création de spectacles et l’élaboration d’œuvres d’art (installations, présentations muséales, performances, ...), il semble de plus en plus évident que ce que nous appelons de manière générique “applications mobiles”, ou plus communément “applis”, ou “app” (comprendre : un programme ou un ensemble logiciel développé dans un but donné) sont en passe de devenir des éléments incontournables, ou tout du moins omniprésents, dans la production culturelle contemporaine. Ces programmes que sont-ils ? Ils couvrent un large éventail d’usages et de fonctions. Plus généralement, un traitement de texte, celui sur lequel j’écris cet article, est une application. Les programmes d'édition d'images ou de retouches photos sont des applications, tout comme les jeux vidéo, les progiciels (ensemble de programmes destinés à un des secteurs bien précis d’une entreprise, ...) Pour s'exécuter, ces applications utilisent les services d’un système d'exploitation (MacOS, Linux, Windows, iOS ou Android sur certains téléphones et tablettes) et en utilisent les ressources matérielles comme support.

Le développement exponentiel actuel d’applications de toutes sortes et fonctions (en 2017 : 178,1 milliards d'applications mobiles ont été téléchargées et en 2018 le chiffre se monte à 205,4 milliards⁽¹⁾) ; il ne se résume pourtant pas à la création de jeux vidéo ludiques destinés à occuper nos déplacements en transport en commun, ni aux logiciels de retouches d’images automatisées, si populaires sur les différentes plates-formes de réseaux sociaux. Des artistes, nombreux, développent, ou font développer, des programmes souvent simples d’utilisation, qui permettent d’“augmenter” leur création. Pour certains, une application vient seconder la mise en scène et fait ainsi partie de l’ensemble de la scénographie d’un spectacle. Pour d’autres, l’application est elle-même une part intégrante de l’œuvre, proposant ainsi au public de découvrir une forme artistique sous un angle inédit et innovant.

Art participatif et expérientiel

Si l’on doit se pencher sur la façon dont le développement d’applications mobiles sert activement dans le cadre de spectacles, de performances ou d’expositions, en augmentant leurs propositions originales, il faut bien sûr évoquer l’intérêt de ce champ d’activités pour le participatif, l’interactivité et ce que l’on appelle en général l’expérientiel. Dans les arts dits “numériques”, l’usage de formes augmentées, dites participatives, expérientielles ou immersives, permettent de faire entrer le public dans une autre dimension : celle du spectateur/créateur/acteur. En s’appuyant sur les capacités de certaines créations numériques actuelles à questionner le réel et à le transporter vers de nouveaux univers oniriques, virtuels, mixtes, le spectateur, tantôt acteur, tantôt observateur, est de plus en plus souvent invité à s’immerger et à participer. En usant des technologies numériques contemporaines et en intégrant smartphones, tablettes et applications au cœur de la création, les artistes contemporains, numériques ou non, qu’ils soient plasticiens, metteurs en scène, chorégraphes (voire scénographes), danseurs, musiciens ou comédiens, peuvent désormais agir activement sur les dimensions spatiales et parfois sensorielles expérimentées par le spectateur tout en sollicitant la force de son imaginaire grâce à ces nouveaux dispositifs. Ce n’est donc plus uniquement l’artiste qui agit ici mais bel et bien le public, participant et expérimentant activement une œuvre. Ce principe participatif et expérientiel est au cœur de nombreuses créations actuelles.

Jeux d’interfaces

Les interfaces sont le lien indispensable qui unit spectateur et œuvre par le biais d’une couche d’abstraction numérique : l’interface permet de “vivre” l’œuvre, d’en faire l’expérience. Dans ce domaine, les technologies de réalités augmentées et mixtes sont reines (pour une définition, voir AS 210, 211, 212). On le voit avec des travaux comme Blind Sculpture de Marie Lelouche. Il s’agit d’une œuvre composite qui a pour élément central une sculpture physique tangible, présentée dans un espace d’exposition classique, à laquelle viennent s’agréger d’autres formes, virtuelles elles, rendues visibles uniquement grâce à une application mobile comprenant un dispositif audiovisuel et un système de localisation dans l’espace. Le spectateur, muni d’une tablette, se déplace dans un environnement de réalité mixte où virtuel et réel sont imbriqués. Avec cette sculpture, l’artiste Marie Lelouche invite le spectateur à naviguer entre différentes strates de réalités superposées dans un même espace. Blind Sculpture fait se croiser numérique et (im)matérialité. Ici ce n’est pas tant la sculpture qui est “aveugle” mais le public qui raterait l’œuvre s’il n’utilisait pas l’interface proposée à l’entrée de l’exposition, puisque c’est uniquement grâce à elle que l’œuvre apparaît dans son entièreté.

Idéalement, ce jeu avec les interfaces est aussi le propos du duo d’artistes lyonnais Adrien M & Claire B, bien connu pour leur spectacle Pixel (développé avec Mourad Merzouki). Initialement issus du spectacle vivant et du graphisme, Adrien Mondot et Claire Bardainne offraient à voir en 2018 une exposition qui a beaucoup tourné : Mirages & Miracles. Conjuguant réalité augmentée et réalité mixte, l’exposition offre à voir une autre dimension du réel. L’usage de la réalité augmentée, grâce à la simplicité de son mode de diffusion (smartphones et tablettes suffisent pour en faire l’expérience) permet de bouleverser la notion de réel en y invitant des hallucinations numériques qui viennent augmenter une série de sculptures organiques, bois flotté et galets polis par les éléments. L’application, téléchargeable sur Google Play ou Apple Store, permet au spectateur/visiteur de faire apparaître des danseurs invisibles sans interface, pratiquant de légères chorégraphies magiques sur des éléments réels et bien tangibles. En incarnant une nouvelle forme de réalisme magique, les technologies numériques consentent à la matérialisation des mirages évanescents et célèbrent leur capacité à transformer notre perception du monde tout en suscitant une mutation de l’expérience artistique.

Damasio pour smartphone

Inspiré d’un chapitre du nouveau roman de l’écrivain de science-fiction français Alain Damasio, Les Furtifs⁽²⁾, M.O.A. (My Own Assistant) est un parcours en réalité augmentée pour smartphone, développé par Charles Ayats et Marie Blondiaux pour la société de production de jeux vidéo Red Corner. Le scénario est basé sur une libre adaptation d’un moment de ce nouveau roman et l’application est un des modules d’un ensemble plus vaste d’œuvres réalisées autour du livre (dont une partie est adaptée en parallèle pour la scène par Frédéric Deslias/LeClairObscur – voir Soft Love dans AS 212). Voici comment les auteurs présentent l’application : “Bienvenue dans M.O.A., votre assistant personnel. À travers lui, la ville de 2040 s’ouvre à vous. Publicités et surveillance s’entremêlent pour mieux vous servir et vous asservir. Y échapperez-vous ? Concentré sur l’imaginaire de la ville déployé par le roman Les Furtifs, ce projet de jeu en réalité augmentée est de rendre palpable ce futur qui nous guette déjà. Les outils de réalité augmentée aident à incarner le techno-cocon dans lequel nous somnolons, ainsi qu’à mesurer et critiquer nos réactions et nos addictions”. Par le biais d’une déambulation dans un espace public accompagné de cette application, le joueur/acteur apprend en répondant à des questions et en réalisant des actions qui questionnent l’omniprésence de la publicité numérique et des technologies de contrôle dans notre environnement. Encore en développement, la finalisation de cette application est prévue à la fin de l’année, tandis que de la version bêta test du prototype a déjà été proposée au public à Paris (à La Gaîté Lyrique), à Strasbourg (au Shadok, fabrique du numérique) et à Lyon (au Festival de science-fiction des Intergalactiques) en présence de l’auteur Alain Damasio et de son éditeur Mathias Echenay (La Volte) en avril.

Smart music

Objet emblématique (et polémique) du divertissement contemporain omniprésent dans notre société wireless et connectée, le smartphone, dans sa dimension créative, est donc aujourd’hui largement utilisé au cours de spectacles, de performances et d’interventions. Dans le domaine du jeu bien sûr, mais aussi de l’art (plastique, contemporain) ainsi qu’en musique et en format spectacle. À vrai dire, la musique est même l’une des disciplines reine qui participe au développement d’applications ludiques et artistiques. On se penchera par exemple sur le travail de Xavier Garcia et ses différents outils créés par la suite de logiciels Smartfaust, sous forme de concerts participatifs et d’une application éponyme développée par le Grame pour chœur et soliste. Le Grame de Lyon, à l’origine du Festival Musique en Scène, fut également à l’origine d’un Flash-mob pour concert de Smartphones (2016) présenté comme un concert improvisé interprété à l’aide de vos appareils sans toucher l’écran puisque le mouvement seul du téléphone générait le son. D’autres événements, comme des Battle de Smartphones pour orchestre de téléphones ont lieu à l’initiative du Festival, permettant l’implication du public dans un axe transgénérationnel.

“App” pour musique visuelle

Autre réalisation faisant appel à la facilité d’acquisition (un simple téléchargement sur les plates-formes de distribution en ligne, Google Play ou App Store) et d’utilisation des applications smartphones couplées à de la réalité augmentée : le projet de Brian Eno et Karl Hyde d’Underworld visant à “augmenter” l’écoute d’un album de musique via une “app”. Cette application de RA (réalité augmentée), disponible uniquement pour Iphone et Ipad, est particulièrement poétique. Avec cette “app”, les acheteurs de Someday World, l’album à quatre mains d’Eno & Hyde paru en 2014, peuvent voir fleurir une étonnante cité virtuelle ondulant au rythme de la musique s’ils dirigent leur smartphone sur la pochette, ou même le disque du duo. L’expérience se vit encore plus pleinement avec la version vinyle grâce à la rondelle centrale du disque sur laquelle une architecture digitale virtuelle se met à bouger, éclore, grandir et pulser en suivant les harmonies et les rythmes de la musique électronique composée par ces deux maîtres du genre. Grâce à cette application de réalité augmentée, le son devient un objet tangible, devient visible. C’est aussi ce à quoi s’attache Augmented Groove, une application distribuée gratuitement et développée par une équipe américano-japonaise qui permettra sous peu de générer des objets 3D réagissant aux sons et aux rythmes des différentes musiques proposées dans des clubs ou des concerts. Cette technologie, appliquée aux smartphones classiques, sera beaucoup plus immersive encore quand elle sera compatible avec l’utilisation de casques RV (comme Oculus Rift ou Samsung Gear).

Musique contrôlée par smartphone

Tant qu’à parler d’applications smartphones dédiées à la musique, impossible de passer à côté de l’aspect participatif également présent dans les musiques actuelles. Une tendance qui tend à se confirmer tous les jours. Un exemple récent a vu le jour avec la collaboration de DJ Chloé, l’un des fleurons des musiques électroniques françaises et de l’Ircam, le fameux Institut de recherche et coordination acoustique/musique qui se consacre à la création musicale et à la recherche scientifique depuis plus de 40 ans. Chloé X Ircam (c’est le nom de l’outil) fut proposé pour l’ouverture de la Fête de la musique 2015 et voyait l’artiste française utiliser les nouvelles technologies web audio de l’Ircam pour concevoir une expérience sonore interactive dans laquelle les sons circulaient de ses machines aux smartphones du public. Les danseurs, bénéficiant d’un aperçu de la playlist de la DJ via le web, pouvaient lancer certaines séquences via leurs téléphones, influençant ainsi la tonalité de la soirée en choisissant les morceaux sur lesquels elle rebondissait, prouvant sa vivacité et son talent.

Smartland Music

Du côté des installations qui conjuguent smartphones et musique, on trouve Smartland Divertimento, une œuvre créée par Stéphane Borrel (compositeur), Christophe Lebreton (concept et développement applications Faust) et le Random (Lab) de l’ESADSE (École supérieure d'art et design Saint-Étienne – Design écrans et structure), qui utilise cet outil de communication désormais usuel dans la création d’un écosystème de smartphones. Une jungle électronique, qui s’anime et communique chacun des appareils – présentés au bout d’une tige comme dans une forêt numérique – s’écoute, se répond et étincelle de façon autonome à la façon des lucioles dès que le visiteur muni de son propre appareil et de l’application proposée sur le cartel du lieu d’exposition entre dans la pièce où ils sont présentés. Le matériau sonore utilisé est le rire enregistré. L’installation articule des rythmes et joue pleinement de cette matière vivante, heureuse, humaine, émouvante – ou étrange – auquel le public est invité à participer.

Leur large diffusion, leur simplicité d’utilisation et leur coût modique (quand elles sont payantes), mais également le bénéfice d’un panel d’utilisateurs croissants, font des applications mobiles un passionnant laboratoire de création. L’ouverture au public et l’aspect participatif/expérientiel de ces technologies incitent à s’engager et attisent les curiosités. Face aux grands bouleversements techniques de notre siècle – et à un public de plus en plus captivé par les gadgets – les artistes, créatifs, acteurs et auteurs doivent cependant rivaliser d’imagination pour continuer à fasciner les foules. C’est donc à la fois avec intérêt que nous devons continuer à nous pencher sur ses développements, mais aussi avec méfiance, car l’art est une question de fond et pas uniquement de présentation.

⁽¹⁾   https://www.statista.com/statistics/271644/worldwide-free-and-paid-mobile-app-store-downloads

⁽²⁾   Éditions La Volte, 2019

Situé à la jonction des arts numériques, de la recherche et de l’industrie, le Laboratoire Arts & Technologies de Stereolux contribue activement aux réflexions autour des technologies numériques et de leur devenir en termes de potentiel et d’enjeux, d’usages et d’impacts sociétaux. www.stereolux.org