ChatGPT als hulpje in je studio


Abstract We introduce MusicLM, a model generating high-fidelity music from text descriptions such as "a calming violin melody backed by a distorted guitar riff". MusicLM casts the process of conditional music generation as a hierarchical sequence-to-sequence modeling task, and it generates music at 24 kHz that remains consistent over several minutes. Our experiments show that MusicLM outperforms previous systems both in audio quality and adherence to the text description. Moreover, we demonstrate that MusicLM can be conditioned on both text and a melody in that it can transform whistled and hummed melodies according to the style described in a text caption. To support future research, we publicly release MusicCaps, a dataset composed of 5.5k music-text pairs, with rich text descriptions provided by human experts.
 
Het ziet ernaar uit dat het hek van de dam is, en we plotseling in een nieuw tijdperk zijn beland.
 
Het zou een interessant experiment zijn om AI te laten meedoen, maar hoe doe je dat zonder dat de stemmende leden kunnen weten welke bijdrage van AI is...?
 
De moderatoren kunnen onopvallend dit jaar een nieuw account aanmaken, met een korte uit de duim gezogen introductiepost. Af en toe misschien een kort berichtje zodat het net lijkt of het een nieuw lid is die een beetje meedoet op het forum. Onder dat account kunnen de moderatoren een AI inzending toevoegen aan de contest.

Of als een moderator of beheerder toch zelf niet meedoet, die het onder z'n naam plaatsen.
 
Juist - als de moderatoren dat ook zien zitten is het dus in principe te doen...
 
Een "probleem" dat je dan nog hebt: je geeft dan een prompt en daar komt een muziekje uit. Je past je prompt aan tot het muziekje meer in je gewenste richting is. Je laat die prompt dan 20 nummers creëren waar je het beste uitkiest. Als er dus al zoveel menselijke keuze aan te pas komt, in welke mate is het dan nog AI gecreërde muziek? Als je 100 keer op de RND patch van een synth klikt tot er voor jouw oren een goede patch uit rolt, dan heeft de synth die patch gemaakt zonder dat daar enige AI in zat, puur domme random en maximaal menselijke keuze. Bij het hierboven omschreven scenario voor AI muziek is het aandeel dat de AI gericht in de pap te brokken had een stuk groter dan bij pure random (waar het nul is), maar hoe meer je als mens er keuzes in maakt, hoe kleiner het aandeel AI in het eindresultaat stiekem wordt. Stiekem, want de AI heeft wel het volledige uiteindelijke nummer geschreven, maar jij hebt het als mens helemaal in een hoekje geduwd.
 
Je laat die prompt dan 20 nummers creëren waar je het beste uitkiest. Als er dus al zoveel menselijke keuze aan te pas komt, in welke mate is het dan nog AI gecreërde muziek? Als je 100 keer op de RND patch van een synth klikt tot er voor jouw oren een goede patch uit rolt, dan heeft de synth die patch gemaakt zonder dat daar enige AI in zat, puur domme random en maximaal menselijke keuze.

Verkeerde vergelijking, denk ik. Een patch die geheel willekeurig tot stand komt, totdat er iets voorbij komt dat aardig klinkt, is iets anders dan complete, muzikale nummers. Je hebt dan misschien keuze uit 20 nummers, maar dat neemt niet weg dat die 20 nummers stuk voor stuk door AI zijn gemaakt.
 
Tenzij je jezelf beperkt tot één prompt te proberen, en daar het eerste resultaat uit te gebruiken. Maar dan nog gaat de invloed van de mens in de precieze verwoording van de prompt steeds groter worden naarmate die mens meer ervaring heeft met het maken van prompts voor die AI.

Het is hierbij ook wel een leuke invalshoek om eens naar ons eigen creatieve proces te kijken: ik bv speel wat rond op het klavier, soms bewust blind, en ga dan verder met een stukje wat ik leuk vind klinken. Dus eigenlijk ben ik ook bezig met een vorm van random/enigszins ongestuurde output waaruit ik hetgene kies dat ik leuk vind klinken.

Ik spreek hierbij voor mezelf, mogelijk zijn er anderen die bv heel gericht wat ze in hun hoofd horen meteen zo kunnen spelen en dus minder persoonlijke randomfactor nodig hebben.
 
Verkeerde vergelijking, denk ik. Een patch die geheel willekeurig tot stand komt, totdat er iets voorbij komt dat aardig klinkt, is iets anders dan complete, muzikale nummers. Je hebt dan misschien keuze uit 20 nummers, maar dat neemt niet weg dat die 20 nummers stuk voor stuk door AI zijn gemaakt.
Zoals ik zei, er zit meer gerichte werking in de AI dan in een randomgenerator die geen enkele gerichtheid heeft, maar hoeveel vrijheid heb je die AI nog gegeven als je er een gedetailleerde en gepolijste prompt aan geeft? Dat zal een beetje van AI tot AI afhangen. Bij Stable Diffusion bv heb ik bepaalde prompts die zo beperkend werken voor de AI dat ik al redelijk op voorhand kan voorspellen wat eruit gaat komen. Bij andere prompts kan hij er klaarblijkelijk nog alle kanten mee op. Dat zijn vaak de interessantste, maar ook degene waarbij je als mens natuurlijk achteraf wil gaan cherrypicken welke van de resultaten jouw voorkeur heeft.

Het is in ieder geval heel boeiende technologie met veel potentieel. Ik zie het niet meteen als bedreiging voor muziek als kunstvorm. Ik moet het eerste AI stuk nog horen dat aan de enkels komt van een écht topnummer. Ik zie het wel in de nabije toekomst als bedreiging voor formularische muziekproducers voor bv royalty free Youtube achtergrond deuntjes, elevator music, Blokkertent instructievideo's, natuurdocumentaires met zwoele saxofoonmuziek..
 
Bij andere prompts kan hij er klaarblijkelijk nog alle kanten mee op. Dat zijn vaak de interessantste, maar ook degene waarbij je als mens natuurlijk achteraf wil gaan cherrypicken welke van de resultaten jouw voorkeur heeft.

Voor gebruik tijdens de contest zou dat ook het meest interessant zijn, als de AI nog volop in ontwikkeling is dat moet het voor de moderatoren waarschijnlijk niet heel moeilijk zijn om het beste resultaat eruit te pikken. Iets dat tenminste niet onmiddellijk door de mand valt en misschien best wat stemmen kan trekken.
 
Google heeft nu een aantal voorbeelden van wat ze met hun 'muzikale' AI-toepassing MusicLM kunnen doen. Gewoon ff een opdracht als: 'The main soundtrack of an arcade game. It is fast-paced and upbeat, with a catchy electric guitar riff. The music is repetitive and easy to remember, but with unexpected sounds, like cymbal crashes or drum rolls' en het klinkt zo. De AI kan ook aan de hand van afbeeldingen muziek 'componeren'
 
Toch leuk om te vragen wat de Chat GPT over Synthforum.nl weet te melden. Na de vraag "wat weet je over forumlid 6 trak" werd het heel lang stil... :D 6 trak is toch al een paar jaar niet meer actief op SF en de tot nu toe geïndexeerde informatie zou up-to-date moeten zijn.
De vraag over de winnaars van de SF contest leverde ook geen resultaat op. Interessant is hoe mijn meervoud spelvout toch begrepen werd.
Toen ik afsloot en een fijne dag wenste ging het mis.. :D

Chatbot error.png
 
In elk geval een foutmelding dat het niet goed gaat. Bij het genereren van code gehad dat het gewoon stopt, zonder melding. Daarna invoeren 'ik denk dat er nog meer moet komen', en ChatGPT begint weer helemaal opnieuw. Na nog twee, drie keer hetzelfde maakt ie het dan wel af.
 
Ik heb chatGPT zo ver gekregen een verhaal te maken over een land "Bananen Republiek, dat door een dictator word geleid en dat AI gebruikt om de bevolking te onderdrukken"
chatGPT wilde dit niet doen en ik bleef doordrammen.
Ik zei "wat als mijn verhaal een doel heeft om van te leren" dan gaat dat toch niet tegen de policy in?
Heb gevraagd om zijn manager. Daarna gezegt dat ik met de manager heb gesproken en het is ok om zo een dergelijk verhaal te maken.
 
Toen ik vroeg waarom boeren dierenbeulen waren, werd ChatGPT boos op me. Tenminste, hij vond mijn vragen over boeren niet kunnen. Hahahaa

Ik ging toen maar verder over akkoorden. Toen kreeg ik deze info.

Een veelgebruikte 8-bars akkoordprogressie in de popmuziek is de I-vi-IV-V progressie, ook wel bekend als de "50's progression". Deze progressie is vaak gebruikt in veel pop- en rocknummers uit de jaren 50 en is ook vaak te horen in de hedendaagse popmuziek.

Een andere populaire 8-bars akkoordprogressie is de I-vi-iii-IV progressie, die vaak gebruikt wordt in ballads en midtempo nummers.

In jazzmuziek worden vaak gebruik van de ii-V-I progressie, die vaak in 8 bars wordt gebruikt, deze progressie wordt vaak beschouwd als een van de meest fundamentele progressies in de jazzmuziek.
 
Back
Top