Separator de stems cu IA, gratuit

Ce este un separator de stems?

Un stem este o parte a unei melodii finalizate, luată separat: vocea, tobele, basul, tot restul. Producătorii primesc stems din sesiune, când exportă fiecare grup de piste ca fișier propriu. Când ai doar fișierul stereo final, un separator de stems, numit și extractor de stems, te lasă să scoți stems din el, estimând acele părți cu o rețea neuronală.

Al nostru îți dă patru stems în Fast. Vocea înseamnă vocea principală și vocile de fundal. Tobele sunt setul de tobe și percuția. Basul este linia joasă, fie că e o chitară bas sau un sintetizator. Restul (other) e tot ce a mai rămas: chitări, claviaturi, pad-uri, coarde, alămuri și efecte. În HQ chitara și pianul ies ca stems proprii, iar restul păstrează ce rămâne. Oamenii caută același lucru și ca separare de melodie, separator de muzică sau separator audio. Dacă vrei doar să separi vocea de instrumente, paginile de vocal remover și de acapella fac asta dintr-un singur pas.

Ce fac producătorii cu stems

Remix și bootleg: păstrezi vocea și reconstruiești tot ce e sub ea. Sampling: iei un break de tobe sau o linie de bas fără restul piesei în cale. Seturi de DJ: dai mute vocii ca să amesteci două melodii sau păstrezi doar tobele și basul pentru o tranziție lungă. Învățat: pui solo basului unui disc pe care îl iubești ca să vezi ce cântă de fapt.

Stems sunt utile și când cânți împreună cu piesa. Dai mute tobelor și ai un drum remover, dai mute basului și ai un bass remover, deci poți cânta tu acea parte împreună cu restul discului. Cu HQ poți da mute doar chitarei sau doar pianului și cânți tu partea aceea. Primești părțile izolate fără să ceri cuiva fișierele sesiunii.

Separarea stems cu IA, explicată

Fast folosește Demucs v4, transformerul hibrid al echipei de cercetare IA de la Meta, publicat ca open source. Se uită la melodie în două feluri deodată, ca formă de undă și ca spectrogramă, și învață să prezică fiecare stem din ce aude. A fost antrenat pe înregistrări multipistă, unde stems se cunosc, așa a învățat cum arată în interiorul unui mix o voce, o tobă mică sau o linie de bas.

HQ folosește BS-RoFormer, un design mai nou care împarte spectrograma în benzi de frecvență și lasă un transformer să urmărească fiecare bandă în timp și între benzi. Modelul pe care îl rulăm este unul cu șase stems, pe care oamenii care lucrează la separarea muzicii îl împărtășesc deschis. În testele publice, acest fel de model obține scoruri mai mari decât Demucs v4. Prețul este mărimea și timpul.

Le rulăm pe amândouă cu ONNX Runtime Web, pe placa ta video când browserul are WebGPU (Chrome și Edge recente), de care are nevoie HQ. Fast poate rula și pe procesor, mai încet. Melodia este tăiată în ferestre care se suprapun, de vreo opt secunde în Fast și patru în HQ, și îmbinate cu cross-fade, deci nu auzi cusături. Browserul tău descarcă un model o singură dată și îl păstrează.

Cât de bune sunt stems?

Bune, nu perfecte. Demucs v4 este un model deschis bine cunoscut, pe care multe unelte se bazează, dar cercetarea în separare avansează repede și modele mai noi obțin scoruri mai mari, de aceea am adăugat HQ. În practică, un stem curat se poate folosi foarte bine pentru remix, exercițiu și referință, iar cazurile grele se aud: cozile de reverb ale unei voci pot ajunge în celălalt stem, cinelele pot să se scurgă în el, iar un mix foarte dens lasă urme slabe dintr-un stem în altul.

În testele noastre, cele patru stems din Fast, adunate la loc, au rămas foarte aproape de melodia originală, deci separarea nu aruncă niciun sunet. HQ estimează fiecare stem separat, așa că cele șase stems ale lui se adună ceva mai puțin exact la melodie, iar pe o melodie cu voce cântată stemul de voce a fost clar mai curat între fraze decât cel din Fast. Un stem dintr-o melodie finalizată nu va fi niciodată la fel de curat ca același stem din sesiunea originală, și preferăm să-ți spunem asta decât să-ți promitem altceva.

Sfaturi pentru stems mai curate

Pornește de la cel mai bun fișier pe care îl ai. Un WAV, un FLAC sau un fișier cu bitrate mare se separă mai bine decât un MP3 cu bitrate mic, fiindcă compresia șterge detaliile pe care le folosește modelul. Nu adăuga limitare în plus înainte și nu trage un fișier care a trecut deja printr-un separator de stems. Dacă Fast lasă urme care nu-ți plac, rulează aceeași melodie din nou în HQ.

Dacă faci sampling, ascultă mai întâi stems împreună: toate ar trebui să sune ca melodia. Apoi pune solo celui de care ai nevoie și curăță-l ca pe orice sample, cu un high-pass blând pe tobe sau un fade scurt la tăietură. Când un stem e aproape bun, pune peste el o parte cântată de tine și resturile dispar.

Gratuit, privat și în beta

Separarea se face pe dispozitivul tău, deci nu ne costă nimic per melodie și o putem lăsa gratuită. Nu ai cont, nu ai contor de credite și nu ai limită zilnică. Limitele sunt dispozitivul tău și lungimea melodiei: 10 minute în Fast și 6 în HQ. Melodia ta nu se încarcă niciodată. Ce descărcăm, o singură dată, este codul care rulează modelele și modelul pe care îl alegi (85 MB pentru Fast, 353 MB pentru HQ), de pe servere publice.

Este o beta: merge, dar unele dispozitive vor fi lente. Dacă nu merge cu melodia ta, scrie-ne la info@obra.art.