Muziek met zang genereren uit tekst en referenties op je GPU
Cloudgebaseerde muziekgeneratoren zoals Suno of Udio leveren uitstekende resultaten op, maar vereisen een constant abonnement, beperken je credits en koppelen je aan externe servers. Als je een vergelijkbaar hulpmiddel lokaal wilt draaien, waren er lange tijd praktisch geen adequate alternatieven. De meeste open-source neurale netwerken konden alleen korte achtergrondsamples genereren zonder zang of vereisten complexe consolemanipulaties.
Onlangs heeft ontwikkelaar BazedFrog het project SongGeneration Studio uitgebracht. Dit is een handige webinterface voor het LeVo-model, gemaakt door onderzoekers van Tencent AI Lab. De applicatie is verpakt voor one-click launch via de Pinokio-installer, dus je kunt het deployen zonder diepgaande kennis van Python en PyTorch.
Wat de applicatie kan doen
Het project is gebouwd op een generatief model dat in staat is om een complete audiotrack te synthetiseren uit een tekstbeschrijving en songteksten. De SongGeneration Studio-webinterface verandert deze engine in een volwaardige mini-studio.
Er zijn verschillende hoofdfuncties:
- Compositiestructuur-builder. De songteksten kunnen worden verdeeld in logische blokken: intro, coupletten, refrein, brug en outro. Dit helpt het neurale netwerk om de juiste muzikale vorm op te bouwen.
- Gedetailleerde stijlaanpassing. Je selecteert het genre (van pop en hip-hop tot metal en jazz), emotionele toon, tempo in BPM, evenals het stemtype en set lead-instrumenten.
- Stijlklonen van een audiobestand. Als je een referentietrack uploadt, zal het model proberen het karakter, ritme en algemene geluid te kopiëren bij het maken van een nieuwe song.
- Multitrack-scheiding. De output geeft je niet alleen een gemixte track maar ook aparte stems: cleane zang en instrumentale arrangement.
- Projectmanager en export. Alle gegenereerde tracks worden opgeslagen in de ingebouwde bibliotheek. Het fertige resultaat kan worden geëxporteerd in lossless FLAC-formaat of als een MP4-videobestand met coverart.
Het scheiden van geïsoleerde zang en instrumenten maakt het leven gemakkelijker voor degenen die gewend zijn om materiaal te verfijnen in DAWs zoals Ableton, FL Studio of Logic. Samples kunnen gemakkelijk worden verwerkt met effecten, getrimd of gelaagd over je eigen beat.
Hardwarevereisten en installatie
De belangrijkste beperking van het project is gerelateerd aan resources. Het LeVo-model is veeleisend voor videogeheugen.
Je hebt een NVIDIA GPU nodig met minimaal 10 GB VRAM. Voor stabiele generatie van lange tracks in hoge kwaliteit raden de ontwikkelaars echter aan om 24 GB videogeheugen te hebben. Je hebt ongeveer 50 GB vrije ruimte op je harde schijf nodig, aangezien de modelgewichten zelf ongeveer 15 GB innemen.
Het deployen van het systeem is uiterst eenvoudig dankzij het Pinokio-platform:
- Start Pinokio.
- Zoek naar SongGeneration Studio.
- Klik op de installatieknop.
De installer zal automatisch de vereiste Python-versie installeren, dependencies downloaden en de modelgewichten laden. Zodra dit is voltooid, klik je gewoon op Start, en de interface wordt geopend in je browser.
Hoe het generatieproces werkt
Na het starten van de webinterface bestaat het maken van een song uit vier stappen:
- Tekstinvoer en markup. Je plakt songteksten en verdeelt ze over songblokken.
- Stijlparameter selectie. Genre, stemming, zangeresstem en instrumenten worden ingesteld.
- Toevoegen van een referentie indien nodig. Het uploaden van een kort muziekfragment helpt om het gewenste sounddesign vast te leggen.
- Generatie starten. Het berekenen van één track duurt meestal 3 tot 6 minuten.
Uit persoonlijke observaties: de vocale kwaliteit hangt direct af van de ritmische structuur van de tekst. Als je doorlopende tekst zonder rijm en duidelijk metrum dump, begint het neurale netwerk te struikelen, klinkers uit te rekken of eindes in te slikken. Als je de tekst opsplitst in zelfs vierregelige strofes, blijkt het resultaat aanzienlijk schoner.
De takenwachtrijfunctie werkt ook interessant. Je kunt verschillende tekstvariaties tegelijk voorbereiden en ze voor achtergrondgeneratie versturen, en vervolgens het beste resultaat uit de bibliotheek kiezen.
Beperkingen en algemene indruk
Het hulpmiddel kan studio-opnames of een professionele arrangeur nog niet volledig vervangen. Soms kunnen de vocalen iets synthetisch klinken, en generatie op kaarten met 10 GB VRAM kan de geheugenlimiet raken met al te lange teksten. Daarnaast is het project nog jong—de repository heeft ongeveer 550 sterren en zo'n twintig openstaande issues.
Niettemin wordt SongGeneration Studio een uitstekend hulpmiddel voor snelle experimenten. Het zal nuttig zijn voor indie game-ontwikkelaars die soundtracks maken, content creators die achtergrondmuziek zonder auteursrechten krijgen, en musici die snel demo-ideeën genereren.
Gerelateerde projecten