Stem splitter con IA gratis

Che cos’è uno stem splitter?

Uno stem è una singola parte di una canzone finita, da sola: la voce, la batteria, il basso, tutto il resto. I produttori ottengono gli stem dalla sessione, quando esportano ogni gruppo di tracce come file a sé. Quando hai solo il file stereo finale, uno stem splitter, detto anche separatore di stem, ti permette di separare gli stem stimando quelle parti con una rete neurale.

Il nostro ti dà quattro stem in Fast. Voce è la voce solista e i cori. Batteria è il kit e le percussioni. Basso è la linea grave, che sia un basso elettrico o un sintetizzatore. Altro è tutto ciò che resta: chitarre, tastiere, pad, archi, fiati ed effetti. In HQ chitarra e piano escono come stem a parte, quindi Altro contiene ciò che rimane. C’è chi cerca la stessa cosa come separatore di canzoni, separatore musicale o separatore audio. Se ti servono solo voce e strumenti separati, le pagine del vocal remover e dell’acapella lo fanno in un solo passaggio.

Cosa fanno i produttori con gli stem

Remix e bootleg: tieni la voce e ricostruisci tutto sotto. Campionamento: preleva un break di batteria o una linea di basso senza il resto del brano di mezzo. DJ set: togli la voce per mixare due canzoni, oppure tieni solo batteria e basso per una transizione lunga. Studio: metti in solo il basso di un disco che ami per vedere cosa suona davvero.

Gli stem servono anche per suonare insieme al disco. Togli la batteria e hai un drum remover, togli il basso e hai un bass remover: così suoni quella parte tu, con il resto del brano. Con HQ puoi anche togliere solo la chitarra o solo il piano e suonarlo tu. Ottieni le parti isolate senza chiedere a nessuno i file della sessione.

La separazione degli stem con l’IA, spiegata

Fast usa Demucs v4, il transformer ibrido del team di ricerca sull’IA di Meta, pubblicato come open source. Guarda la canzone in due modi insieme, come forma d’onda e come spettrogramma, e impara a prevedere ogni stem da ciò che sente. È stato addestrato su registrazioni multitraccia, dove gli stem sono noti, ed è così che ha imparato che aspetto hanno una voce, un rullante o una linea di basso dentro un mix.

HQ usa BS-RoFormer, un’architettura più recente che divide lo spettrogramma in bande di frequenza e lascia che un transformer segua ogni banda nel tempo e tra le bande. Il modello che facciamo girare è a sei stem, condiviso apertamente da chi lavora sulla separazione musicale. Nei benchmark pubblici questo tipo di modello ottiene punteggi più alti di Demucs v4. Il prezzo è dimensione e tempo.

Li facciamo girare con ONNX Runtime Web, sulla tua scheda grafica quando il browser ha WebGPU (Chrome ed Edge recenti), che HQ richiede. Fast può girare anche sul processore, più lentamente. La canzone viene tagliata in finestre sovrapposte, circa otto secondi in Fast e quattro in HQ, e raccordata con dissolvenze incrociate, così non si sentono giunture. Il browser scarica un modello una volta sola e lo conserva.

Quanto sono buoni gli stem?

Buoni, non perfetti. Demucs v4 è un modello aperto molto noto su cui si basano molti strumenti, ma la ricerca sulla separazione corre e modelli più recenti ottengono punteggi più alti nei benchmark, ed è per questo che abbiamo aggiunto HQ. In pratica uno stem pulito è molto utilizzabile per remix, esercizio e riferimento, mentre i casi difficili si sentono: le code di riverbero di una voce possono finire nell’altro stem, i piatti possono sbavare dentro, e un mix molto denso lascia deboli tracce di uno stem dentro un altro.

Nei nostri test i quattro stem di Fast risommati sono rimasti molto vicini alla canzone originale, quindi la separazione non butta via nessun suono. HQ stima ogni stem per conto suo, quindi i suoi sei stem si sommano alla canzone in modo un po’ meno esatto, e su un brano con voce cantata il suo stem vocale era nettamente più pulito tra le frasi rispetto a quello di Fast. Uno stem ricavato da una canzone finita non sarà mai pulito come lo stesso stem della sessione originale, e preferiamo dirtelo piuttosto che prometterlo.

Consigli per stem più puliti

Parti dal miglior file che hai. Un WAV, un FLAC o un file ad alto bitrate si separa meglio di un MP3 a basso bitrate, perché la compressione impasta i dettagli che il modello usa. Evita di aggiungere limiting prima, e non caricare un file che è già passato da uno stem splitter. Se Fast lascia tracce che non ti piacciono, rilancia la stessa canzone in HQ.

Se campioni, ascolta prima gli stem tutti insieme: devono suonare come la canzone. Poi metti in solo quello che ti serve e puliscilo come un qualsiasi campione, con un leggero filtro passa-alto sulla batteria o una breve dissolvenza al taglio. Quando uno stem è quasi giusto, sovrapponici una parte suonata da te e gli avanzi spariscono.

Gratis, privato e in beta

La separazione avviene sul tuo dispositivo, quindi non ci costa nulla per ogni canzone e possiamo lasciarla gratis. Nessuna registrazione, nessun contatore di crediti, nessun tetto giornaliero. I limiti sono il tuo dispositivo e la durata del brano: 10 minuti in Fast e 6 in HQ. La tua canzone non viene mai caricata. Quello che scarichiamo, una volta sola, è il codice che fa girare i modelli e il modello che scegli (85 MB per Fast, 353 MB per HQ), da host pubblici.

È una beta: funziona, ma su alcuni dispositivi sarà lenta. Se si rompe con la tua canzone, scrivi a info@obra.art.