Retour sur Ars Electronica 2020
L'Ircam a participé à la deuxième édition du festival international AIxMusic consacré aux liens entre intelligence artificielle et musique à Ars Electronica. Retour sur cette collaboration.
Des agents artificiels, créatifs et autonomes
L’équipe Représentations musicales du laboratoire STMS à l’Ircam (UMR 9912 Sciences et technologies de la musique et du son, Ircam, CNRS, Sorbonne Université), sous la direction de Gérard Assayag, travaille sur les systèmes « cyber-humains ». De même que les systèmes cyber-physiques créent une continuité entre la logique numérique des ordinateurs et le monde physique en le captant, en le modélisant et en le modifiant, ces derniers établissent une continuité créative entre machines et musiciens à l’aide de la modélisation mathématique et de l’intelligence artificielle.
Le projet REACH (G. Assayag, J. Nika) met en avant un nouveau concept de co-créativité dans les systèmes cyber-humains, comme phénomène émergeant dans un cadre d’interaction symboliques entre humains et dispositifs artificiels. Cette approche phénoménologique neutralise les contenus métaphysiques de termes comme la créativité, l’intentionnalité, l’esthétique, l’émotion en créant des conditions objectives d’apparition de comportements complexes, distribués et adaptatifs, dans une double rétroaction d’apprentissage formée des réponses croisées des humains et des machines. Les effets produits sont alors non totalement réductibles à la production isolée de chacun des agents en cause, caractéristique des systèmes complexes.
Cette démarche originale a conduit à l’invention de plusieurs générations de technologies basées sur l’écoute artificielle, l’apprentissage et la modélisation créative, comme le logiciel d’improvisation Omax, développé dans l’équipe, avec ses descendants, et se perpétue sous la direction de Gérard Assayag dans les projets DYCI2 (Dynamiques créatives de l’interaction improvisée), MERCI (Réalité Musicale Mixte avec Instruments Créatifs) soutenus par l’Agence Nationale de la Recherche, ainsi que le projet européen ERC Advanced REACH (Raising co-crEAtivity in Cyber-Human musicianship) soutenu par le European research Council.
Les exemples qui ont été choisis pour cette vidéo ont été réalisés avec ImproteK (M.Chemillier, J. Nika), une variante d’Omax, qui rajoute l’idée de scénario à l’« improvisation » machinique.
Le dispositif de Three Ladies (Tre donne en italien) conçu par Georges Bloch avec le pianiste Hervé Sellin permet de rattacher diverses musiques grâce à un scénario, ici la grille harmonique du standard de Jazz The man I love. Les diverses musiques utilisées – des extraits chantés par Piaf, Schwarzkopf et Billie Holiday – sont « apprises » par la machine, et constituent la « connaissance » du processus qui, par la suite, « improvise » en recombinant en temps-réel cette connaissance de façon à maintenir la cohérence avec le scénario. Ainsi, les présences vocales virtuelles des grandes chanteuses se mêlent-elles au piano d’Hervé Sellin dans une interprétation inédite, et toujours nouvelle, de The man I love.
La mémoire constituée par les agents créatifs peut aussi être audiovisuelle, rajoutant à la fantasmagorie sonore l’image d’une performance qui n’aura jamais lieu comme dans l’exemple Tre donne video…
Enfin, la mémoire peut se constituer dans le temps même de l’interaction par une écoute artificielle du musicien, activant un « double » instantané de ce dernier et laissant cet avatar prendre son autonomie pour entrer dans un dialogue créatif totalement inédit. C’est ce qu’illustre la création de Rémi Fox et Jérôme Nika sur la base du morceau Rent Party de Booker T.
Cette même technologie est employée, dans une version moderne intégrée dans l’environnement libDYCI2 (J. Nika), pour le concert de Georges Bloch Three Ladies Project du 5 septembre qui sera présenté durant le festival ManiFeste, au Centre Pompidou. Dans ce dernier, la performance historique de la grande chanteuse Diane Reeves à Montreux est reconstruite en temps réel par le logiciel en fonction de l’harmonie du piano sur scène joué par Hervé Sellin ! On atteint alors pleinement à l’idéal de co-créativité humain-machine initié par le projet Omax.
Pour en savoir plus