Gratis AI stem splitter

Wat is een stem splitter?

Een stem is één onderdeel van een afgemaakt nummer, los van de rest: de zang, de drums, de bas, al het andere. Producers krijgen stems uit de sessie, wanneer ze elke groep sporen als eigen bestand bouncen. Heb je alleen het uiteindelijke stereobestand, dan kun je met een stem splitter, ook wel stem separator of stem extractor genoemd, die onderdelen eruit halen. Een neuraal netwerk schat ze voor je in.

Bij ons krijg je in Fast vier stems. Zang is de lead en de achtergrondstemmen. Drums is het drumstel en de percussie. Bas is de lage lijn, of het nu een basgitaar of een synth is. Overig is alles wat overblijft: gitaren, keys, pads, strijkers, koper en effecten. In HQ komen de gitaar en de piano als eigen stems naar buiten, zodat Overig alleen houdt wat nog over is. Mensen zoeken hetzelfde ook als nummer splitter, muziekseparator of audioseparator. Wil je alleen zang en instrumenten scheiden, dan doen de pagina's vocal remover en acapella dat in één stap.

Wat producers met stems doen

Remix en bootleg: hou de zang en bouw alles eronder opnieuw op. Samplen: haal een drumbreak of een baslijn uit een nummer zonder dat de rest in de weg zit. DJ-sets: zet de zang op mute om twee nummers te mixen, of hou alleen de drums en de bas voor een lange overgang. Leren: zet de bas van een plaat die je geweldig vindt solo en hoor wat er echt gespeeld wordt.

Stems zijn ook handig als je meespeelt. Zet de drums op mute en je hebt een drum remover, zet de bas op mute en je hebt een bas remover, zodat je dat deel zelf met de rest van de plaat kunt spelen. Met HQ kun je ook alleen de gitaar of alleen de piano dempen en die partij zelf spelen. Je krijgt de losse onderdelen zonder iemand om de sessiebestanden te vragen.

AI stem separation uitgelegd

Fast gebruikt Demucs v4, de hybride transformer van het AI-onderzoeksteam van Meta, als open source gepubliceerd. Het model bekijkt het nummer op twee manieren tegelijk, als golfvorm en als spectrogram, en leert elke stem te voorspellen uit wat het hoort. Het is getraind op multitrackopnamen waarvan de stems bekend zijn, en zo heeft het geleerd hoe een stem, een snare of een baslijn eruitziet in een mix.

HQ gebruikt BS-RoFormer, een nieuwer ontwerp dat het spectrogram in frequentiebanden verdeelt en een transformer elke band door de tijd en over de banden heen laat volgen. Het model dat wij draaien heeft zes stems en wordt openlijk gedeeld door mensen die aan muziekseparatie werken. Op openbare benchmarks scoort dit soort model hoger dan Demucs v4. De prijs is grootte en tijd.

We draaien beide met ONNX Runtime Web, op je videokaart als de browser WebGPU heeft (recente Chrome en Edge), wat HQ nodig heeft. Fast kan ook op je processor draaien, maar dat is trager. Het nummer wordt in overlappende vensters geknipt, ongeveer acht seconden in Fast en vier in HQ, en de stukken lopen in elkaar over, zodat je geen naden hoort. Je browser downloadt een model één keer en bewaart het.

Hoe goed zijn de stems?

Goed, maar niet perfect. Demucs v4 is een bekend open model waar veel tools op bouwen, maar het onderzoek naar separatie gaat snel en nieuwere modellen scoren hoger op benchmarks. Daarom hebben we HQ toegevoegd. In de praktijk is een schone stem prima bruikbaar voor remixen, oefenen en als referentie. De lastigere gevallen hoor je wel: galmstaarten van de zang kunnen in de overige stem terechtkomen, bekkens kunnen erin lekken en een heel drukke mix laat zwakke sporen van de ene stem in een andere achter.

In onze tests bleven de vier Fast-stems bij elkaar opgeteld heel dicht bij het originele nummer, dus de splitsing gooit geen geluid weg. HQ schat elke stem apart, waardoor zijn zes stems iets minder exact optellen tot het nummer. Bij een nummer met gezongen zang was de zangstem tussen de zinnen duidelijk schoner dan die van Fast. Een stem uit een afgemaakt nummer wordt nooit zo schoon als dezelfde stem uit de originele sessie, en dat zeggen we liever dan dat we het beloven.

Tips voor schonere stems

Begin met het beste bestand dat je hebt. Een WAV, FLAC of bestand met hoge bitrate wordt beter gescheiden dan een MP3 met lage bitrate, want compressie smeert de details uit waar het model op rekent. Sla extra limiting vooraf over en gebruik geen bestand dat al door een stem splitter is gegaan. Laat Fast sporen achter die je niet bevallen, draai dan hetzelfde nummer nog eens in HQ.

Als je wilt samplen, luister dan eerst naar alle stems samen: ze horen samen als het nummer te klinken. Zet daarna de stem die je nodig hebt solo en maak hem schoon zoals elke sample, met een zacht hoogdoorlaatfilter op drums of een korte fade bij het knippunt. Is een stem bijna goed, leg er dan een zelfgespeelde partij overheen en de restjes verdwijnen.

Gratis, privé en in beta

De splitsing gebeurt op je eigen apparaat, dus het kost ons niets per nummer en kunnen we het gratis laten. Er is geen account, geen creditteller en geen daglimiet. De grenzen zijn je eigen apparaat en de lengte van een nummer: 10 minuten in Fast en 6 in HQ. Je nummer wordt nooit geüpload. Wat we wel eenmalig downloaden, van openbare hosts, is de code waarmee de modellen draaien en het model dat je kiest (85 MB voor Fast, 353 MB voor HQ).

Het is een beta: het werkt, maar sommige apparaten zijn traag. Gaat het mis met jouw nummer, schrijf dan naar info@obra.art.