Darmowy stem splitter AI

Czym jest stem splitter?

Stem to jedna część gotowego utworu osobno: wokal, perkusja, bas, cała reszta. Producenci dostają stemy z sesji, kiedy eksportują każdą grupę ścieżek jako osobny plik. Kiedy masz tylko gotowy plik stereo, stem splitter, czyli separator stemów, pozwala wydzielić te części, szacując je za pomocą sieci neuronowej.

Nasz w trybie Fast daje cztery stemy. Wokal to głos prowadzący i chórki. Perkusja to zestaw i perkusjonalia. Bas to niska linia, czy to gitara basowa, czy syntezator. Reszta to wszystko, co zostaje: gitary, klawisze, pady, smyczki, dęte i efekty. W HQ gitara i pianino wychodzą jako własne stemy, więc w „reszcie” zostaje tylko to, co pozostało. Ludzie szukają tego samego także jako rozdzielania utworu na ścieżki, separatora muzyki czy separatora audio. Jeśli potrzebujesz tylko oddzielić wokal od instrumentów, strony usuwania wokalu i acapelli robią to w jednym kroku.

Co producenci robią ze stemami

Remiks i bootleg: zostaw wokal i zbuduj pod nim wszystko od nowa. Sampling: weź przejście perkusji albo linię basu bez reszty utworu na wierzchu. Sety didżejskie: wycisz wokal, żeby zmieszać dwa utwory, albo zostaw tylko perkusję i bas na długie przejście. Nauka: włącz solo na basie ulubionej płyty i zobacz, co naprawdę gra.

Stemy przydają się też do grania razem z nagraniem. Wycisz perkusję i masz utwór bez perkusji, wycisz bas i masz utwór bez basu, więc tę partię zagrasz sam z resztą płyty. W HQ możesz wyciszyć też samą gitarę albo samo pianino i zagrać tę partię sam. Dostajesz wydzielone części bez proszenia kogokolwiek o pliki sesji.

Rozdzielanie stemów przez AI: jak to działa

Fast używa Demucs v4, hybrydowego transformera od zespołu badań nad AI w Meta, udostępnionego jako open source. Patrzy na utwór na dwa sposoby naraz, jako przebieg fali i jako spektrogram, i uczy się przewidywać każdy stem na podstawie tego, co słyszy. Był trenowany na nagraniach wielościeżkowych, w których stemy są znane, i tak nauczył się, jak w miksie wyglądają głos, werbel czy linia basu.

HQ używa BS-RoFormer, nowszej konstrukcji, która dzieli spektrogram na pasma częstotliwości i pozwala transformerowi śledzić każde pasmo w czasie oraz między pasmami. Model, który uruchamiamy, jest sześciostemowy i udostępniają go otwarcie osoby zajmujące się separacją muzyki. W publicznych testach tego rodzaju model wypada lepiej niż Demucs v4. Ceną są rozmiar i czas.

Oba modele uruchamiamy przez ONNX Runtime Web, na twojej karcie graficznej, gdy przeglądarka ma WebGPU (aktualny Chrome i Edge), czego wymaga HQ. Fast może działać także na procesorze, ale wolniej. Utwór jest cięty na nakładające się okna, około ośmiu sekund w Fast i czterech w HQ, i płynnie łączony, więc nie słychać szwów. Przeglądarka pobiera model raz i go zachowuje.

Jak dobre są stemy?

Dobre, ale nie idealne. Demucs v4 to znany otwarty model, na którym opiera się wiele narzędzi, jednak badania nad separacją idą szybko i nowsze modele wypadają w testach lepiej, dlatego dodaliśmy HQ. W praktyce czysty stem bardzo nadaje się do remiksowania, ćwiczenia i referencji, a trudniejsze przypadki słychać: pogłos wokalu może trafić do reszty, talerze mogą się tam przesączyć, a bardzo gęsty miks zostawia słabe ślady jednego stemu w innym.

W naszych testach cztery stemy z Fast zsumowane z powrotem były bardzo bliskie oryginalnemu utworowi, więc podział nie wyrzuca żadnego dźwięku. HQ szacuje każdy stem osobno, więc jego sześć stemów sumuje się do utworu nieco mniej dokładnie, a w utworze ze śpiewanym wokalem jego stem wokalu był wyraźnie czystszy między frazami niż w Fast. Stem z gotowego utworu nigdy nie będzie tak czysty jak ten sam stem z oryginalnej sesji i wolimy ci to powiedzieć, niż obiecywać coś innego.

Wskazówki na czystsze stemy

Zacznij od najlepszego pliku, jaki masz. WAV, FLAC albo plik o wysokim bitrate rozdziela się lepiej niż MP3 o niskim bitrate, bo kompresja rozmywa szczegóły, z których korzysta model. Nie dokładaj wcześniej limitowania i nie wrzucaj pliku, który już przeszedł przez stem splitter. Jeśli Fast zostawia ślady, które ci przeszkadzają, uruchom ten sam utwór jeszcze raz w HQ.

Jeśli samplujesz, najpierw posłuchaj stemów razem: wszystkie powinny brzmieć jak utwór. Potem włącz solo na tym, którego potrzebujesz, i oczyść go jak każdy sampel, delikatnym filtrem górnoprzepustowym na perkusji albo krótkim fade na cięciu. Gdy stem jest prawie dobry, nałóż na niego własną zagraną partię, a pozostałości znikną.

Za darmo, prywatnie i w becie

Podział odbywa się na twoim urządzeniu, więc nic nas nie kosztuje na utwór i możemy zostawić go za darmo. Nie ma rejestracji, licznika kredytów ani dziennego limitu. Ograniczają cię twoje urządzenie i długość utworu: 10 minut w Fast i 6 w HQ. Twój utwór nigdy nie jest wysyłany. Pobieramy, jednorazowo, kod uruchamiający modele i wybrany model (85 MB dla Fast, 353 MB dla HQ), z publicznych serwerów.

To beta: działa, ale na niektórych urządzeniach będzie wolno. Jeśli coś się zepsuje na twoim utworze, napisz na info@obra.art.