Stem splitter s AI zdarma

Co je stem splitter?

Stem je jedna část hotové skladby samostatně: vokál, bicí, basa, všechno ostatní. Producenti stemy získají z projektu, když každou skupinu stop vyexportují jako vlastní soubor. Pokud máš jen finální stereo soubor, stem splitter, česky nástroj na oddělení stop, z něj ty části odhadne neuronovou sítí a rozdělí je.

Ve Fast dostaneš čtyři stemy. Vocals je hlavní hlas i vokální doprovod. Drums jsou bicí a perkuse. Bass je nízká linka, ať už basová kytara, nebo syntezátor. Other je všechno zbylé: kytary, klávesy, pady, smyčce, žestě a efekty. V HQ vyjdou kytara a klavír jako vlastní stemy, takže v Other zůstane to, co zbyde. Lidé hledají totéž také jako rozdělení skladby, oddělení nástrojů nebo audio separátor. Pokud potřebuješ jen oddělit vokál od nástrojů, stránky Odstranění vokálu a Acapella to udělají na jeden krok.

Co producenti se stemy dělají

Remix a bootleg: nech vokál a postav pod něj všechno znovu. Sampling: vytáhni bicí break nebo basovou linku, aniž by ti do toho zasahovalo zbytek skladby. DJ sety: ztlum vokál, abys propojil dvě písně, nebo nech jen bicí a basu pro dlouhý přechod. Učení: sólo na basu desky, kterou máš rád, a uvidíš, co skutečně hraje.

Stemy se hodí i když hraješ spolu s nahrávkou. Ztlum bicí a máš desku bez bicích, ztlum basu a máš desku bez basy, takže tu část zahraješ sám s ostatními. S HQ můžeš ztlumit i jen kytaru nebo jen klavír a zahrát ji sám. Izolované party dostaneš, aniž bys někoho žádal o soubory z projektu.

Jak funguje oddělení stop pomocí AI

Fast používá Demucs v4, hybridní transformer z výzkumného týmu Meta pro AI, zveřejněný jako open source. Dívá se na skladbu dvěma způsoby najednou, jako na průběh vlny a jako na spektrogram, a učí se z toho předpovídat každý stem. Trénoval se na vícestopých nahrávkách, kde jsou stemy známé, a tak se naučil, jak vypadá hlas, snare nebo basová linka uvnitř mixu.

HQ používá BS-RoFormer, novější architekturu, která rozdělí spektrogram na frekvenční pásma a nechá transformer sledovat každé pásmo v čase i napříč pásmy. Model, který spouštíme, je šestistopý a otevřeně ho sdílejí lidé, kteří se separací hudby zabývají. Na veřejných benchmarcích tento typ modelu dosahuje lepších výsledků než Demucs v4. Cenou je velikost a čas.

Oba spouštíme přes ONNX Runtime Web, na tvé grafické kartě, pokud prohlížeč podporuje WebGPU (aktuální Chrome a Edge), což HQ vyžaduje. Fast běží i na procesoru, jen pomaleji. Skladba se nařeže na překrývající se okna, asi osm sekund ve Fast a čtyři v HQ, a ta se prolnou, takže švy neuslyšíš. Prohlížeč model stáhne jednou a ponechá si ho.

Jak dobré ty stemy jsou?

Dobré, ale ne dokonalé. Demucs v4 je známý otevřený model, na kterém staví řada nástrojů, jenže výzkum separace jde rychle dopředu a novější modely mají v benchmarcích lepší skóre, proto jsme přidali HQ. V praxi je čistý stem velmi použitelný pro remix, cvičení i referenci a těžší případy je slyšet: dozvuk vokálu může skončit v jiném stemu, činely do něj mohou prosakovat a velmi hustý mix nechá slabé stopy jednoho stemu uvnitř jiného.

V našich testech čtyři stemy z Fast sečtené zpět zůstaly velmi blízko původní skladbě, takže rozdělení žádný zvuk nezahodí. HQ odhaduje každý stem zvlášť, takže jeho šest stemů dává dohromady skladbu o něco méně přesně, a u písně se zpívaným vokálem byl jeho vokál mezi frázemi znatelně čistší než ve Fast. Stem z hotové skladby nikdy nebude tak čistý jako stejný stem z původního projektu, a raději ti to řekneme, než abychom to slibovali.

Tipy pro čistší stemy

Začni nejlepším souborem, který máš. WAV, FLAC nebo soubor s vysokým bitrate se rozdělí lépe než MP3 s nízkým bitrate, protože komprese rozmaže detaily, které model využívá. Nepřidávej předem další limiter a nenahrávej soubor, který už stem splitterem prošel. Pokud ti Fast nechá stopy, které se ti nelíbí, pusť stejnou skladbu znovu v HQ.

Když sampluješ, poslechni si stemy nejdřív dohromady: všechny spolu mají znít jako skladba. Pak vyber sólem ten, který potřebuješ, a uprav ho jako jakýkoli sampl, jemným high-passem na bicích nebo krátkým fade na střihu. Když je stem skoro hotový, přidej přes něj vlastní zahraný part a zbytky zmizí.

Zdarma, soukromě a v betě

Rozdělení probíhá na tvém zařízení, takže nás to nestojí nic za skladbu a můžeme to nechat zdarma. Bez registrace, bez počítadla kreditů a bez denního limitu. Limity jsou tvoje zařízení a délka skladby: 10 minut ve Fast a 6 v HQ. Skladba se nikdy nenahrává. Stahujeme jen jednou kód, který modely spouští, a model, který si vybereš (85 MB pro Fast, 353 MB pro HQ), z veřejných serverů.

Je to beta: funguje, ale některá zařízení budou pomalá. Pokud se to na tvé skladbě pokazí, napiš na info@obra.art.