AI og musikkproduksjon

Hvordan kan artister, musikkskapere og produsenter benytte seg av AI?

Daniel Johansson er låtskriver og musikkbransjeforsker ved Høgskolen i Innlandet. I tillegg analyserer han teknologi og musikk på Musikindustrin.se.

Han har fulgt med på AI i flere år, og gir deg her informasjon om over 60 forskjellige produkter og plattformer som du kan bruke som musikkskaper og musikkprodusent.

Av Daniel Johansson

— Sist oppdatert: 29. august, 2024

Ny teknologi

← Ny teknologi

AI og musikkproduksjon

Intro

Selv om AI ikke er noen ny teknologi - forskning på området datagenerert musikk har pågått helt siden 1950-tallet - er det først de siste årene at AI har begynt å få betydning for musikk.

AI er et samlebegrep for flere forskjellige teknologier, slik som maskinlæring, dyp læring, kunstige nevrale nettverk, generativ AI, NLP og robotikk, men grunnlaget er det samme:

Ved å trene programvarer skaper man applikasjoner som kan utføre mer intelligente og avanserte oppgaver.

Daniel Johansson er låtskriver og musikkbransjeforsker ved Høgskolen i Innlandet, i tillegg analyserer han teknologi og musikk på Musikindustrin.se. Foto: Privat — Daniel Johansson er låtskriver og musikkbransjeforsker ved Høgskolen i Innlandet, i tillegg analyserer han teknologi og musikk på Musikindustrin.se.
Foto: Privat

Generativ AI vs funksjonsspesifikk AI

I dag finnes det tekniske løsninger for det meste: For miksing, mastering, stemmeskille, lydeffekter, looper, stemme-til-instrument, stemmekloning/syntetiske stemmer, tekster, melodigenerering, arrangering, lydrestaurering og mye annet.

En undersøkelsen som ble gjort blant 1.200 DIY-artister av distributøren Ditto Music, viser at 60% av uavhengige artister bruker AI.

15.000 musikkprodusenter deltok i en undersøkelse som tyske GEMA og franske SACEM (TONOs motstykker i disse landene) gjennomførte i 2024, som viste at 35% bruker en eller annen form for AI-baserte hjelpemidler. Blant dem under 35 år, var det 51% som bruker AI.

En undersøkelse fra Tracklib viser i tillegg at en fjerdedel av musikkprodusenter verden over bruker AI-verktøy.

AI er altså allerede i dag noe som brukes flittig i musikken. Men teknologien brukes på mange forskjellige måter, som tidvis blandes sammen. For å få en god oversikt kan det derfor være lurt å begynne med å definere de to hovedsporene for AI og musikk; generativ AI og funksjonsspesifikk AI.

Generativ AI er det som har fått mest oppmerksomhet de siste to årene. Akkurat som det høres ut, handler dette om AI som genererer noe nytt, basert på innholdet som AI-modellen er trent på.

Man kunne også kalle det «skapende» AI, selv om meningene er delte om hvorvidt maskiner og programvarer virkelig kan skape noe.
Funksjonsspesifikk AI er på den andre siden verktøy som har et spesifikt formål, som for eksempel plugins for å mikse, mastre, håndtere stems og annet. AI genererer her ikke noe nytt, men er egentlig bare et verktøy i musikkprodusentens hender.

Denne typen AI har eksistert ganske lenge, for eksempel ble den første AI-tjenesten for mastering, Landr, lansert for ti år siden.

Generativ AI i musikk

Når det kommer til bruk av AI i musikkproduksjon kan man dele inn generativ AI i tre kategorier:

promptbasert
utvalgsbasert
katalogbasert

Promptbasert generativ AI

Promptbasert generativ AI er løsninger der musikkprodusenten bruker tekstinstruksjoner, eller «prompts», for å generere melodier, tekster, looper, stems, samples, sang osv.

Eksempler på slike plattformer er:

Riffusion er en av de aller første nettjenestene for prompt-basert musikk, lansert på slutten av 2022. Grunnlagt av Seth Forsgren og Hayk Martiros, og har gjennomgått flere endringer siden oppstarten.

Er nå en app for iOS og Android, og retter seg hovedsakelig mot brukere som raskt vil lage musikk til bruk i for eksempel videoer.
Bak Stable Audio står det britiske selskapet Stability AI, som først og fremst er kjent for sin bildegenerator Stable Diffusion.

Stable Audio bygger på samme teknologi, og for treningen av sine modeller har de lisensiert en katalog på 800.000 sanger og lyder fra AudioSparx. Tjenesten ble lansert i juni 2024 og kan generere enkeltinstrumenter og stems, men genererer ikke sangstemmer.
MusicFX er en videreutvikling av Googles AI-modell MusicLM, som ble presentert i 2022. Den nye modellen ble lansert tidlig i 2024, og er for tiden ikke tilgjengelig i europeiske land, hovedsakelig på grunn av usikkerhet rundt lovgivningen.

MusicFX har blitt brukt av flere amerikanske artister, da plattformen gir en høy grad av frihet i prompt- og musikkbehandling.
Suno ble lansert i slutten av 2023, og er en tjeneste trent på musikk fra hele verden. Suno gjør det mulig for brukeren å generere hele sanger, inkludert sangstemmer.

Sommeren 2024 ble Suno saksøkt av de store plateselskapene og RIAA for brudd på opphavsretten i forbindelse med at de trente modellen sin uten lisenser.
Amerikanske Udio ble lansert våren 2024 og ble raskt en av de mest populære AI-plattformene. Udio er trent på titalls millioner sanger fra musikkhistorien, og ble, i likhet med Suno, saksøkt av plateselskapene sommeren 2024.

Udio genererer ferdige sanger, inkludert sangstemmer.
Splash Pro retter seg hovedsakelig mot innholdsskapere som ønsker å bruke royaltyfri musikk til sine videoer, reklamer, filmer, osv.

Modellen genererer kun instrumentalmusikk.
Jen Music er foreløpig lansert i alfa-versjon.

Bak Jen står selskapet Futureverse, som i motsetning til de fleste andre tjenester for prompt-basert musikkskaping har lisensiert all musikk som de har trent modellen sin på, over 40 kataloger, og har bygget inn et fordelingssystem som kan kompensere rettighetshavere økonomisk.
Text to Sample finnes både som frittstående programvare og som VST3-plugin. Bygger på Metas MusicGen-modell og gjør det mulig å bruke prompter for å lage samples, lyder, beats til bruk i sin musikk.

Den er mer rettet mot profesjonelle brukere, men er foreløpig gratis å bruke.
Cassette AI er en tjeneste utviklet av det amerikanske selskapet Pixl Technologies, og genererer instrumentalmusikk.

Modellen kan generere musikkspor som er opptil fem minutter lang.

Dette er fortsatt et ganske nytt område, og det er først i 2024 plattformer har blitt lansert som begynner å nå en kvalitet som er nyttig også for profesjonelle låtskrivere og produsenter. Foreløpig er de fleste av de nevnte plattformene mer rettet mot ikke-profesjonelle brukere, men vi kan forvente at promptbasert musikkskaping ved hjelp av generativ AI gradvis vil bli en naturlig del av produksjonsprosessen fremover.

For tiden bruker de fleste låtskrivere og produsenter disse verktøyene for å teste ideer og skape grunnlag for sanger, som de deretter bygger videre på eller bruker som inspirasjon. Med prompter på Stable Audio eller Udio kan man raskt skape dusinvis av varianter av sanger, en slags AI-drevet pitching, der musikkskaperen deretter velger de elementene som passer best.

Andre musikkskapere bruker opplastingsfunksjoner, såkalt «conditioning», der man laster opp en låtidé til en plattform for å generere varianter basert på det man har lastet opp. For eksempel, hvis du har første vers til en gammel låt i skuffen som du ikke har gjort noe med tidligere, kan du laste opp den delen av låten og instruere AI-plattformen til å bygge videre på den, generere et refreng osv.

Verdt å merke seg

Promptbasert generativ AI handler fortsatt i stor grad om eksperimentering, og denne typen samarbeid med en AI-assistent passer ikke for alle. Men for mange musikkskapere har dette likevel blitt en måte å utvikle sin egen prosess på, ved å få tilbakemeldinger og ideer fra generativ AI.

Utvalgsbasert generativ AI

Utvalgsbasert generativ AI for musikk baserer seg hovedsakelig ikke på prompter eller tekstinstruksjoner, men på at brukeren velger ut fra et antall forhåndsbestemte kriterier.

Noen av disse plattformene er likevel hybridløsninger som kombinerer bruk av prompter med utvalg.

Eksempler på slike plattformer er:

Brukere har til dags dato generert over 20 millioner sanger gjennom Boomy. Tjenesten gjør det også mulig for brukere å distribuere musikken til strømmetjenester som Spotify og Apple Music.

Man velger ut fra et antall forhåndsbestemte variabler, som sjanger, lyd, tempo, osv., hvorpå Boomy genererer en sang.
Endel var den første AI-modellen som allerede i 2019 fikk en «platekontrakt» med Warner Music Group. Siden den gang har Endel blitt brukt av alle de store selskapene for å produsere lydlandskaper. Blant annet har noen av Sias sanger blitt gjort om til slike ved hjelp av Endel.

Endel kan brukes til å gjøre om eksisterende utgivelser til nye utgivelser mer rettet mot stemningsmusikk.
AIVA var en av de første AI-plattformene, som allerede i 2016 ble «anerkjent» av det franske opphavsrettsselskapet som en selvstendig komponist og fikk sitt eget IPI-nummer.

Brukerne velger BPM, toneart, sjanger osv., og kan også laste opp sanger som inspirasjon til AI-modellen.

Tilbyr også et DAW-lignende miljø.
På Soundraw kan brukeren gjøre et antall valg, som sjanger, BPM, osv., hvorpå plattformen genererer instrumentale spor.

Tilbyr også et API som gjør det mulig for selskaper å produsere større mengder musikk på kort tid.
Soundful ligner på de andre plattformene for utvalgsbasert generativ AI, og er hovedsakelig rettet mot å skape bakgrunnsmusikk for for eksempel filmer, reklame, eller for butikker som ønsker å bruke royaltyfri musikk i sin virksomhet.
Mubert er en av de mer populære plattformene for å AI-generere lyd og musikk til podkaster og videoinnhold på for eksempel YouTube.

Mer rettet mot andre typer innholdsskapere som enkelt kan generere musikk, men har også et mer avansert «studio-miljø» som brukes av artister.
Beatoven har en hybridløsning, der brukeren både kan bruke prompter for å generere musikk, eller gjøre et utvalg blant ulike kriterier.
Loudly har spesialisert seg på det de kaller «Ethical AI», altså at man alltid skal respektere musikkskapere og artister.

Plattformen har også en funksjon for tekst-til-musikk, samt utvalgsbasert generering der man kan velge ulike instrumenter, energinivåer, osv.
Ecrett Music har generert over 50 millioner spor, og finnes både som nettapplikasjon og som app til mobiltelefoner.

Her handler det om at brukeren enkelt skal kunne generere musikk til dataspill, videoer, podkaster, osv.

Akkurat som med plattformene for promptbasert generativ AI, er de utvalgsbaserte AI-modellene trent på store mengder musikk, men det dreier seg ofte om instrumentalmusikk, ofte kjøpt fri eller royaltyfri musikk.

De som bruker disse plattformene, arbeider vanligvis innen områder som bakgrunnsmusikk, produksjonsmusikk, stemningsmusikk, eller er andre typer skapere som influensere, youtubere og reklameskapere som enkelt vil generere musikk som passer til innholdet.

Verdt å merke seg

For profesjonelle musikkskapere og produsenter som er vant til å jobbe i Pro Tools, Logic Pro, Reason, Cubase, FL Studio, Ableton, osv., kan disse verktøyene ofte være ganske begrensede. Men for dem som ønsker å lage store mengder musikk til spesifikke bruksområder, og som ikke stiller høye kunstneriske krav, kan plattformene være nyttige.

Katalogbasert generativ AI

Katalogbasert generativ AI for musikk er løsninger der man trener opp en AI-modell på en spesifikk katalog for å deretter generere ny musikk som ligner på den som har blitt trent på.

Denne kategorien gir relativt begrenset frihet i musikkskapingsprosessen; musikken som genereres er sterkt betinget av musikken modellen har blitt trent på, og for øyeblikket befinner disse verktøyene seg i en eksperimentell fase. Eksempler inkluderer OpenAI Jukebox, Musenet, Flow Machines og Dance Diffusion.

Disse plattformene er mer rettet mot musikkskapere med programmeringsferdigheter, siden det ofte kreves at man kan håndtere plattformer som Google Colab eller Microsoft Azure.

Verdt å merke seg

Foreløpig finnes det ingen kommersielle og brukervennlige applikasjoner der en musikkskaper eller produsent for eksempel kan laste opp hele sin katalog eller deler av den, og la AI generere ny musikk basert på den katalogen, eller låtidéer basert på musikk som er skapt tidligere. For de som har visse programmeringsferdigheter, er det imidlertid mulig å gjøre dette ved å utvikle egne AI-modeller.

Funksjonsspesifikk AI for musikk

De fleste musikkprodusenter og låtskrivere som jobber digitalt, bruker trolig allerede AI-baserte verktøy, enten bevisst eller uten å være klar over det. Som tidligere nevnt skal disse verktøyene ikke forveksles med generativ AI, ettersom de ikke primært er «skapende», men snarere løser spesifikke funksjoner.

Dette kan dreie seg om plugins for DAWs eller nettbaserte løsninger. Funksjonsspesifikk AI for musikk kan deles inn i følgende hovedkategorier:

verktøy for ulike deler av musikkproduksjonsprosessen
verktøy for stemmekloning og syntetiske stemmer
verktøy for tekstskriving
verktøy for miksing og mastering

Slike AI-verktøy bruker maskinlæring for å skape mer robust funksjonalitet, hovedsakelig gjennom såkalt overvåket læring (supervised learning). Utviklerne av AI-modellene benytter store mengder lyd og effekter som merkes med informasjon som representerer innholdet og de ulike variablene. Dette er grunnlaget for å trene opp en modell til å utføre en spesifikk oppgave.

En AI-modell for for eksempel en reverb vet ikke at den jobber med reverb, siden den ikke håndterer ekte lyd, men kun representasjoner av lyd. Gradvis finjusterer man funksjonaliteten, og modellen kan også utvikle seg gjennom interaksjon med brukere.

Dette gjør at AI-plugins blir langt mer tilpassbare og effektive, eller intelligente, sammenlignet med programvare som kun er basert på statisk kode skrevet av programmerere.

Eksempler på AI-verktøy relatert til musikkproduksjon:

En Ableton Live-plugin basert på Google Magenta sine open source-verktøy. Magenta Studio var tidligere en samling av frittstående verktøy, men er nå en del av pluginen.
Orb Producer Suite 3 er plugins som kan generere akkordprogresjoner, melodier, basslinjer og arpeggioer, rettet mot profesjonelle brukere.
Playbeat er en plugin som lager beats og rytmer. Beskrives som «verdens smarteste groovemaskin».
Atlas 2 bruker AI for å sortere og mappe store mengder samples, som deretter kan brukes til å lage nye spor eller trommesett.
Evebeat Melody Sauce 2 er en plugin som spesifikt hjelper musikkskapere med å generere nye melodier, inkludert en «Phrase Builder Engine» som kopierer hvordan anerkjente produsenter bygger opp melodiene sine.
Emergent Drums 2 er en plugin som er helt dedikert til å lage trommesamples, hvor alle lydene er generert fra bunnen av og er frie til bruk i produksjoner.
Spark er en plugin som fokuserer på å generere akkordprogresjoner.

Brukeren kan skrive inn f.eks. «Give me pop music chords in the style of Ed Sheeran» og få en akkordprogresjon basert på det AI-modellen har lært fra musikkhistorien.
I stedet for at brukeren skal designe lyder med knapper og kontroller, kan man via Synplant laste opp lyd eller musikk som inspirasjon for å generere nye lyder.

En sample kan brukes for å få frem en lignende lyd.
Jamahook Sound Assistant er en plugin som lager looper, enten basert på lyd og musikk man selv laster opp, eller fra et bibliotek.
Instachord 2 er en plugin som lager akkordprogresjoner, og som beskrives som en «idémaskin» som kan hjelpe hvis man står fast i låtskrivingen.
TuneFlow er en egen DAW som gjør det mulig å generere stemmer, melodier, looper og hele låter. Har GPT integrert slik at man kan generere tekster direkte i DAW-en.

Fungerer både som lokal applikasjon og nettbasert.
Bass Dragon fokuserer på å generere basslinjer i ulike stiler, sjangre og lyder.
Moises AI er en frittstående app som håndterer stem-separering, hastighetsendringer, akkordidentifikasjon og har andre funksjoner som innebygd metronom og tonehøyde-endringer.
RipX DAW ligner TuneFlow og er en egen DAW med flere innebygde AI-funksjoner som stemseparering og instrumentutskiftinger.
LALAL.AI tilbyr separasjon av vokal og musikk, samt av ulike spor. Tilgjengelig som både nettbasert løsning og app.
Melody Studio ønsker å fungere som en låtskrivingspartner, der man kan få tips om melodier og tekster.

Kan f.eks. brukes hvis man ønsker å utvikle seg som låtskriver, eller prøve nye sjangre.
WavTool er en nettbasert DAW hvor man kan laste opp låtideer og bygge videre på dem.

Eksempler på AI-verktøy for stemmekloning og syntetiske stemmer:

Synthesizer V er en stemmegenerator hvor man bygger opp en sangstemme og melodi gradvis, og legger inn tekster.

Kan f.eks. brukes til å oversette sang mellom ulike språk.
Yamahas Vocaloid gjør det mulig for brukere å legge syntetisert sang til låter. Brukere legger inn melodi, tekst og velger hvilken stemme som skal brukes.
Musicfy lar brukeren trene opp en AI-modell av sin egen stemme ved å laste opp et antall låter. AI-stemmen kan deretter brukes i musikk, og erstatte andre stemmer.

En av plattformene som brukes til såkalte AI-covers.
Voicify fungerer i prinsippet likt som Musicfy, og er trolig den største plattformen for AI-covers. Har titusenvis av ulike stemmer.

Det er verdt å merke seg at både Musicfy og Voicify har trent opp AI-modellene uten godkjenning fra artistene.
Elevenlabs er hovedsakelig rettet mot tale, men skal etter sigende utvikle tilsvarende for sangstemmer.

Brukes f.eks. av lydbokforlag for å lage lydbøker med AI-stemmer.
Symphonic Choirs er en plugin som er rettet mot å lage kor i ulike størrelser og sammensetninger.

Kan brukes på en rekke språk, og brukes ofte av komponister av film- og TV-musikk.
Ligner Musicfy og Jammable, men med den forskjellen at Voice Swap har lisensiert alle artistenes stemmer, som også får betalt når stemmene brukes.
Voice Dub er hovedsakelig en nettbasert løsning for AI-covers, lik de som er nevnt tidligere.
Artisten Grimes sin AI-løsning Elf Tech, der musikkskapere kan bruke stemmen hennes i musikken sin.

Eksempler på AI-verktøy for låtskriving:

Brukeren kan fylle inn ulike variabler i Jarvis Lyrics, som f.eks. en bestemt sjanger eller tekster i stil med en bestemt artist, og kan deretter jobbe videre med teksten.
LyricStudio fungerer mer som en låtskrivingspartner der man jobber med verktøyet og kan få forslag.

Dette er den lyrics-tjenesten som satser mest på en profesjonell brukergruppe.
Mathigatti er en nettbasert AI-tjeneste for tekster.
Googles chatbot som også kan generere tekster.
OpenAIs ChatGPT genererer tekster av ulik kvalitet.
These Lyrics Do Not Exist er en nettbasert løsning for å generere tekster.
Freshbots AI Song Lyrics Generator er en nettbasert løsning for å gi inspirasjon til låtskriving.
I Staccato AI kan brukeren angi et antall nøkkelord som deretter brukes til å generere tekster i ulike stiler og sjangre.

Eksempler på AI-verktøy for miksing og mastering:

Masterchannel er et norsk selskap som har utviklet AI-mastering som blant annet brukes av distributørene Amuse og TuneCore.
Neural Q V2 kan gjøre emulering av analog lyd, basert på AI/maskinlæring.
iZotope Neutron 4 er en plattform for miksing fra Native Instruments, som bruker AI spesifikt for assistentfunksjonen.
iZotope Ozone 11 er for mastering og bruker følgende tagline: «Harness the power of AI to rescue problematic mixes in ways that were previously impossible».
iZotope Neoverb beskrives som en «intelligent» reverb, og har, i likhet med Neutron 4, en assistentfunksjon.
Focusrite Fast Bundle er for mastering. Bruker maskinlæring bak kompressor, reverb, equalizer, limiter, osv.
Sonible Pure Bundle er en samling plugins for mastering.
Mixea er en brukervennlig masteringstjeneste basert på AI, brukt av Distrokid som et tilbud til artister som bruker dem som distributør.
Studioverse byr på lyd-effekter og instrumenter.
TAIP Tape Plugin er en plugin for å legge til lyden av et analogt kassettbånd.
For miksing, mastering og lydeffekter. Zynaptiq Intensity bruker algoritmer som vanligvis brukes til ansiktsgjenkjenning for å blant annet skape klarere lyd.
En av de aller første til å introdusere AI-mastering for de som bruker Landr som distributør.

For låtskrivere, artister og produsenter finnes det altså et hav av forskjellige verktøy, både generativ AI og funksjonsspesifikk AI.

Om noen av de ovennevnte plattformene eller pluginene passer for deg, finnes det kun én måte å finne ut av det på: gjennom å teste dem eller se på YouTube-videoer med gjennomganger og veiledninger.

Oppsummering

AI er, som tidligere nevnt, et samlebegrep for mange forskjellige teknologier. På samme måte som elektrisitet, datamaskiner og internett har medført store gjennombrudd for musikkproduksjonsprosessene, innebærer også AI et paradigmeskifte. Vi kan forvente at alle former for produkter og tjenester på sikt vil bygges på en AI-plattform, ettersom det rett og slett er en bedre måte å utvikle smarte teknologiske løsninger på.

Den siste tiden har noen av plattformene for generativ AI blitt utfordret av musikkbransjen, på grunn av hvordan de har trent sine AI-modeller. De amerikanske tjenestene Suno og Udio ble saksøkt av den amerikanske bransjeorganisasjonen RIAA i slutten av juni, og den britiske plattformen Jammable blir også gransket av bransjen.

Mange av de funksjonsspesifikke AI-verktøyene utfordrer ikke opphavsretten på samme måte, siden de hovedsakelig bare er verktøy i hendene på musikkskaperen og ikke genererer ny musikk. For alle plattformer og verktøy man bruker, kan det likevel være verdt å undersøke den juridiske grunnlaget, siden vi fortsatt befinner oss i begynnelsen av dette paradigmet, og noen aktører ikke er like nøye med å følge lovgivningen rundt opphavsrett.

Generelt kan man si at AI er på vei til å gjøre det enklere for «hvem som helst» å generere musikk av høy kvalitet, samtidig som teknologien er i ferd med å forandre hverdagen for profesjonelle musikkskapere og produsenter. Til syvende og sist vil det likevel alltid være behov for mennesker, ikke minst på den andre siden, de som lytter og elsker musikken.

En helt AI-generert sang kan høres veldig bra ut, men så lenge det ikke finnes et menneske bak, som fremfører sangen og gir den en kontekst, blir den ganske uinteressant. Mennesker foretrekker tross alt fortsatt andre mennesker.

Andre artikler om AI og musikk skrevet av Daniel Johansson i 2024:

[ «Musikförlagen behöver också agera» ↗ ]

[ «Det går att göra rätt» ↗ ]

[ Johansson om de första större stämningarna kring AI och musik ↗ ]

[ Johansson om AI som illegal hitmakare ↗ ]

[ Johansson om AI-förordningen ↗ ]

[ Johansson om artificiell kreativitet ↗ ]

Gi oss tilbakemelding!

Dersom du oppdager feil, har kommentarer eller innspill, hører vi mer enn gjerne fra deg!

hei@musikkontoret.no

Forbehold

Vi jobber hardt for å levere innhold som til en hver tid er oppdatert og riktig. Det kan likevel hende at artikler på Musikkontoret.no inneholder feil og mangler.

I slike tilfeller står ikke Musikkontoret ansvarlig for eventuelle utfordringer eller problemer dette måtte forårsake.