KI, maskinen og menneskestemmen:
— Flere steder og måter å «være» i musikken på
Av Karoline Ruderaas Jerve
|Hvordan kan man jobbe med teknologi som en forlengelse av instrumentet – særlig når instrumentet er det menneskeligste av dem alle?
Foreløpig er det få musikkutøvere som har utstrakt erfaring med å jobbe med KI som verktøy. Derimot har fagfeltet live electronics eksistert lenge.
Improvisasjonsvokalist Tone Åse tok i bruk live electronics tidlig på 1990-tallet, og forsker stadig på krysningspunktet mellom stemme og teknologi.
Det er en sterk forbindelse mellom improvisasjonsmusikk, eksperimentell komposisjon og bruk av ny teknologi, men arbeidsformen har i løpet av de siste tiårene blitt stueren i så vel smale som brede lag av musikkbransjen.
Et uttrykk for det overnevnte er de stadig fremvoksende studieprogrammene som befatter seg med musikkteknologi og skapende virksomhet. Eksempelvis årsstudier i live electronics ved NMH og UiA, samt bachelor - og masterprogram i musikkteknologi ved NTNU.
I tillegg er det i dag mulig å søke seg inn med laptop som hovedinstrument ved flere konservatorieutdanninger.
Sentral figur
Blant dem som forsker og underviser på en av disse institusjonene er Tone Åse, vokalist, komponist, og professor ved Institutt for musikk på NTNU.
Hun har vært en sentral figur i improvisasjonsmusikken siden tidlig på 90- tallet, og begynte allerede da å ta i bruk elektronikk i sin skapende praksis. Først med frittstående maskiner, deretter gradvis et mer computerbasert oppsett.
Som utøver har hun vært essensiell i utviklingen av eksperimentell stemmemusikk, blant annet gjennom vokalgruppene Kvitretten og Trondheim Voices, men også gjennom arbeid med andre typer improvisasjonsmusikere, og ikke minst: som pedagog.
Nevneverdige samarbeid er duoen med den svenske lydkunstneren Sten Sandell, samt samarbeidet med tangentmester Ståle Storløkken — hennes nærmeste partner, i kunsten og livet.
Menneskelig sårbarhet og maskiner som lytter
Vi starter samtalen med å snakke overbyggende om kunstig intelligens, om improvisasjon – og om menneskers frykt for KIs enorme og potensielt irreversible ringvirkninger.
Åse forteller at skillet mellom hva som er «virkelig», og ikke, i mange sammenhenger kan settes på spill av kunstig intelligens, men peker på én viktig ting:
— Musikk som interaksjon og møte mellom mennesker i tid og rom kan ikke etterlignes eller gjenskapes. Da snakker jeg både om interaksjonen mellom utøver og publikum, og interaksjonen mellom musikere. Når det gjelder innspillinger er jeg mer usikker, men velger å tro at det er noe der, i den menneskelige interaksjonen, som ikke er mulig å kopiere fullt ut.
Hun mener at musikk ofte skapes mellom oss, i tid og rom.
Vi kommer inn på temaet «sansing», og spekulerer i om vår menneskelige sansing er annerledes enn maskinens.
Vi erfarer jo verden gjennom sansene. Kan maskinene gjøre det samme?
— På en måte kan du si at maskinen lytter. Og det er jo egentlig det vi gjør også, fra vi er små, og så begynner vi å avkode verden.
— Musikk som interaksjon og møte mellom mennesker i tid og rom kan ikke etterlignes eller gjenskapes. —Tone Åse
Kanskje vi skal snakke litt om ditt eget instrument? Hvordan kom du borti dette med elektronikk?
Åse forteller at motivasjonen for å utforske stemme og teknologi hadde to viktige utgangspunkt.
Gjennom arbeidet med fri improvisasjon oppdaget hun muligheter for å ta andre roller i musikken enn å være den som alltid synger melodien eller resiterer teksten. Det var flere steder og måter å «være» i musikken på. Samtidig hadde hun en fascinasjon for prosessert lyd – det hun hørte at kunne skje med en lyd.
— Jeg hørte starten på Laurie Andersons «O Superman», den repeterende prosesserte stemmetonen som ligger der. Den gikk rett i fletta på meg. Noe lignende skjer i starten av Radioheads «Everything in Its Right Place». Jeg har lurt på hvorfor det er så fascinerende med den blandingen av stemmen og den elektroniske lyden.
Hun peker på at stemmen og det menneskelige har en sårbarhet ved seg. Det elektroniske understreker som en kontrast denne sårbarheten, menneskeligheten. Og kanskje en ambivalens, en åpenhet? Som vekker nysgjerrigheten, eller et behov for å forstå?
Er det ikke noe med musikere som har et behov for selvutvidelse? En driv etter å utforske grensene mellom kategorier?
— En del av det kunstneriske doktorgradsarbeidet mitt handler om forholdet mellom den menneskelige forståelige stemmen og den fullstendige abstraksjonen – og så er det alt det som ligger imellom.
For Åse handler det veldig mye om fascinasjoner for hvordan stemmelyden kan bevege seg mellom opplevde grader av betydning.
— En tekst, en sanglinje, noe vi gjenkjenner som «stemmen som vil fortelle oss noe», og hele skalaen fra dette til noe du ikke gjenkjenner som stemme, for eksempel stemmelyd prosessert over i støy.
Hun sier at potensialet, muligheten som ligger i elektronikken til å utvide, er essensielle.
Å sette opp tilfeldighetsgenerering
Åses reise i stemme og elektronikk startet på en tid da elektronisk prosessering ikke var like tilgjengelig som i dag. I første omgang brukte hun maskinvare, eller hardware. Etter hvert trakk hun inn datamaskinen – programvare og midi-kontrollere – og i dag bruker hun utelukkende den.
— Jeg begynte med trommemaskin, looper, gitareffektmaskin, klang/effektmaskin og en diger mixer – som til sammen gjorde de tingene som jeg nå gjør i Ableton og Max for Live (plattform der man kan bygge egne instrumenter, journ. anm.).
Årsaken til skiftet var nettopp at datamaskinen muliggjorde tilfeldighetsgenerering.
— Og det nærmer seg på en måte KI. Du får en «medspiller» med en viss egen «vilje».
For Åse var det utrolig inspirerende å ha den graden av tilfeldighet, men som hun allikevel kunne kontrollere.
— Jeg kunne ramme inn mer eller mindre styrte tilfeldigheter. Etter hvert har jeg utvidet litt mer.
Hun forteller at man også kan få andre til å bygge forskjellige plugins for en hvis man ikke kan gjøre det selv, som plutselig gir helt andre muligheter.
Når du snakker om tilfeldighetsgenerering, i hvor stor grad justeres parameterne? På hvilken måte har man kontroll?
— For eksempel: Koblet opp til en plugin i Max for Live, har jeg MIDI–ringer med bevegelsessensorer i oppsettet mitt, der jeg ved håndbevegelser kan kontrollere – til en viss grad – parametere på effekter/prosessering.
Granulær syntese er blant effektene det er spennende å bruke MIDI-ringene til.
— Du sampler noe, og så deles det opp i små deler. Og så kan du spille tilbake disse delene. Jeg kan ikke bestemme nøyaktig hva som spilles tilbake, men jeg kan for eksempel jobbe med tettheten i disse delene, altså hvor mange av dem i et tidsforløp, og lengden på dem.
Er det likevel sånn at noen har skrevet algoritmer? Hva skjer med lyden du lager etter at du har fått respons?
— Ja, det er jo basert på at noen har programmert/designet en plugin som jeg tar i bruk. Når jeg jobber med disse tingene så har jeg materiale som kommer uten å vite helt når eller hvordan det kommer, og da kan jeg svare på de impulsene.
Den nye inputen blir annerledes?
— Det kan jeg velge, om jeg vil fortsette med materialet, eller sample noe nytt og spinne videre – også i kombinasjon med andre elementer.
Da er vi kanskje over i spørsmålet om hvorvidt teknologien er assistent eller medskaper? Hvilke kriterier ligger til grunn for at noe eller noen er en selvstendig medspiller?
— Der er det en gradering, tenker jeg. Teknologien er for meg nå en medspiller i større grad enn før. Men når jeg ser hva Ivar (Grydeland, journ. anm.) og hans kolleger driver med, tenker jeg at teknologien tidvis i langt større grad er en «selvstendig» medspiller.
Musikkontoret, ved undertegnede, har tidligere intervjuet gitarist og førsteamanuensis ved NMH, Ivar Grydeland — som også har forsket på å spille med maskiner — om improvisasjon.
— Jeg hørte starten på Laurie Andersons «O Superman», den repeterende prosesserte stemmetonen som ligger der. Den gikk rett i fletta på meg. Noe lignende skjer i starten av Radioheads «Everything in Its Right Place». —Tone Åse
En annen teknologi Åse har jobbet mye med de siste årene er Maccatrol. Det er en trådløs MIDI-kontroller som er spesialbygget for Trondheim Voices, av Asle Karstad og Arnvid Lau Karstad.
— Den er koblet opp som en programvare mot Ableton. I praksis betyr kontrolleren at vi sangere kan prosessere stemmene våre selv, samtidig som vi er frie til å bevege oss i rommet.
Trondheim Voices er et ensemble som ofte jobber med forflytning i rommet, slik som i forestillingen «Rooms and Rituals» (2019). Med Maccatrol kan de blant annet loope, pitche, reversere en loop, legge effekt både på loopen og på direkte input.
Under Moldejazz i år fremførte Trondheim Voices konsertforestillinga «Bedrock», en komposisjon laget for Maccatrol 2, hvor hver sanger kunne ha sitt eget effektoppsett. Verdt å merke seg er at Karstad har definert Maccatrol som et eget instrument.
— Grunnen til å bruke betegnelsen «instrument», er kanskje at man ikke kun trenger å se på den som en forlengelse av stemmen, slik det oppleves når man legger effekter på det som skjer i sanntid. Av og til tenker jeg at stemmen er noe som feeder maskinen, man looper/sampler et materiale som kan bearbeides videre og «spilles» med.
Åse poengterer at med en gang man har loopet noe, så blir materialet til noe annet, det er fortid.
— Det kommer selvsagt an på hvordan du spiller med det. Sammenhengen mellom hvordan lyden blir produsert og hvordan den høres ut er ikke så tydelig når du begynner å spille med materiale som ble produsert for en liten (eller lang) stund siden.
Når hun jobber for seg selv jobber hun gjerne med å sette opp måter maskinen selv kan variere en loop på, slik at den kan «leve sitt eget liv».
— Teknologien gjør det mulig jobbe med flere opplevelser av tid på en gang. Flere dimensjoner.
Bruker du KI i oppsettet ditt, eller kommer du til å gjøre det?
— Jeg samarbeider med Franziska Baumann, og besøkte henne i Bern som del av min forskningstermin som professor ved NTNU. Hun har jobbet med å utforske noen KI-plugins fra IRCAM.
Åse testet det ut litt og var fascinert, men sier det er et stort prosjekt å implementere dette, så det ligger fortsatt der på skrivebordet og venter på at hun skal ha den tida.
— Jeg jobber jo i et vekselvirke mellom utdanningsinstitusjon og frilansliv – som jeg opplever som veldig fruktbart – men jeg må prioritere tida hardt.
I denne videoen kan du se Trondheim Voices improvisere med Maccatroll. NB: Hodetelefoner anbefales.
Video: YouTube
Spille med stemmer som fysiske objekter
De siste årene har Åse jobba mye med soloprosjektet «Samtalen», hvor hun har intervjuet ungdommer og brukt stemmene deres til å lage en forestilling.
— På scenegulvet rigger jeg tolv monitorer som står i en ring vekselvis med publikum, så vi sitter alle på en måte inne i en installasjon. Der hjelper teknologien meg å gjøre noe som jeg ellers ikke kunne fått til – et lydrom med mange stemmeopptak plassert i rommet.
Soloforestillingen har en multimodal uttrykksform, hvor det er mye som foregår. Tale Næss har vært dramaturgisk konsulent, og sentralt på scenen er en høytalerskulptur av Eirik Blekesaune, med små høyttalere som publikum tidvis holder i hånda. Fremtredende er også lysdesignet av Ingrid Skanke Høsøien.
— Jeg kan altså bringe inn disse stemmene, både som tilstedeværende objekter og samtidig som et minne, fysisk plassert i rommet, gå i dialog med dem, spille sammen med dem – også fysisk– og på denne måten ta dem med inn i møtet med publikum.
Hun opplever at dette prosjektet berører mer enn noe annet hun har gjort, og lurer på om det er mulig at KI kan skape et sånt møte.
— Hvordan skulle man ha instruert KI for å få til mer komplekse ting?
Og det er et spørsmål som får henge der. Videre, ut(e) i lufta.
PS: Skribenten er også vokalutøver og kjenner Tone Åse fra tidligere, blant annet fra da Åse skreiv bestillingsverket «Ut=Inn» for Oslo 14 Vokalensemble i 2018. I verket var det også bruk av live og innspilt elektronisk prosessering, og innsamlet lydmateriale fra utøvere i ensemblet. Åse har i tillegg medvirket til skribentens masteroppgave.
Relatert innhold
Mastering: Loudness i streaming og sende miks til mastering
Hvor høy skal musikken min være? Og hva må jeg huske på før jeg sender den til mastering?