Appel en Danilin ontwikkelden voor internationale muziekwedstrijd AI Songcontest de installatie ‘the Conductor’. Appel: ‘We gebruikten een camera om mensen waar te nemen. In eerste instantie begon dat met handposes, later volgden key points op het hele lichaam. Door bewegingen te maken kun je vervolgens de muziek beïnvloeden. Met het softwareprogramma Ableton hebben we een muziekstuk gemaakt en daarin kunnen we vervolgens allerlei parameters aanpassen. In verschillende demo’s bekeken we vervolgens welk muziekstuk anders moest en welke bewegingen mensen maakten. Beweeg je je hand omhoog, dan gaat de toonhoogte ook omhoog. Beweeg je sneller? Dan versnelt het tempo. En wapper je met je handen? Dan genereer je het geluid van wind. Zomaar een paar voorbeelden van hoe de muziek zich aan je beweging aanpast.’ Om de muziek te beïnvloeden kunnen gebruikers uiteindelijk hun hele lichaam gebruiken.
Betekenis dankzij AI
Als deelnemer of gebruiker van de installatie ‘werk’ je in de basis binnen de voorgeprogrammeerde parameters van Appel en Danilin. Daarnaast zitten er ook wat algoritmes in, waarmee je nieuwe noten genereert op een willekeurige manier. Dat doe je dus met je handen of lichaam. Maar wat is er dan precies AI aan de installatie? ‘De kunstmatige intelligentie zit hem in het detecteren en interpreteren van lichaamsbewegingen, niet zozeer in het maken van de muziek zelf,’ vertelt Appel. ‘Als je een video meet waarin iemand blij of boos is, dan krijg je puur pixelwaardes. Daar kun je verder niet zo veel mee. AI geeft juist betekenis door een beeld uit de video niet alleen te zien maar ook te interpreteren en daar een waarde aan te koppelen. AI ziet bijvoorbeeld een lichaamshouding of een blij of boos gezicht en geeft er vervolgens betekenis aan door het om te zetten in muziek die daarop aansluit.’
Iedereen kan musiceren
Het idee ontstond – zoals zoveel goede ideeën – onder de douche. De achterliggende gedachte? Om mensen die geen instrument bespelen, toch een mogelijkheid te geven zich uit te drukken in muziek. En dat is goed geslaagd. Appel: ‘Tijdens Radboud Sounds kwam een bezoeker tot vier keer terug, heel geëmotioneerd en dankbaar dat hij dankzij deze installatie toch in staat was zijn gevoel uit te dragen in de muziek. Dat is het mooiste compliment dat je als maker kunt krijgen.’
Muziek uit het hoofd
Appel droomt groot: ‘Ik zou graag een manier vinden om met mijn brein muziek te maken. Dat een muziekstuk in mijn hoofd eruit krijg met AI. Een voorbeeld van hoe dat kan werken is als volgt. Collega PhD’ers werken aan een manier om afbeeldingen te decoderen via AI. Proefpersonen kijken naar gezichten terwijl hun breindata worden opgenomen. AI weet vervolgens waarnaar ze kijken. Zoiets voor muziek, dat zie ik wel zitten!’
Voorlopig zit de volgende stap voor Appel en Danilin nog in muziek en beweging. In een nieuwe bewerking op hun interactieve installatie beïnvloeden twee dansers de muziek. Deze performance is te zien tijdens de Kunstnacht op 16 september 2023.
Dit artikel is geïnspireerd door het lustrumfestival Radboud Sounds.
Tekst: Pleuni van Keulen voor Radboud Recharge. Foto: James Coleman via Unsplash
Radboud Recharge: the Sound of Summer, playlist
Deze zomer op Radboud Recharge: the Sound of Summer. Met artikelen over muziek, wetenschappelijk benaderd. En een playlist op Spotify: Radboud Recharge: the Sound of Summer. Michelle Appel en Daniel Danilin noemden daarvoor deze nummers:
* Spacetime traveller, Astrotone (een nummer van Daniel zelf)* Oxygène, C418* Atlantis (I Need you), LTJ Bukem