Separador de stems com IA grátis

O que é um separador de stems?

Um stem é uma parte de uma música pronta, isolada: o vocal, a bateria, o baixo, todo o resto. Quem produz recebe os stems da sessão, quando exporta cada grupo de pistas como um arquivo próprio. Quando você só tem o arquivo estéreo final, um separador de stems, também chamado de separador de pistas ou extrator de stems, deixa você separar essas partes ao estimá-las com uma rede neural.

O nosso entrega quatro stems no Rápido. Vocais é a voz principal e os backing vocals. Bateria é o kit e a percussão. Baixo é a linha grave, seja um contrabaixo ou um sintetizador. Outros é tudo o que sobra: guitarras, teclados, pads, cordas, metais e efeitos. No HQ, a guitarra e o piano saem como stems próprios, e Outros fica com o que resta. Também há quem procure a mesma coisa como separador de músicas, separador de instrumentos ou separador de áudio. Se você só precisa separar a voz dos instrumentos, as páginas de removedor vocal e de acapella fazem isso em um passo.

O que produtores fazem com stems

Remix e bootleg: fique com o vocal e reconstrua tudo por baixo. Sampling: pegue uma virada de bateria ou uma linha de baixo sem o resto da música atrapalhando. Sets de DJ: silencie os vocais para misturar duas músicas, ou fique só com bateria e baixo para uma transição longa. Estudo: coloque em solo o baixo de um disco que você ama e veja o que ele realmente toca.

Os stems também ajudam quando você toca junto. Silencie a bateria e você tem uma música sem bateria, silencie o baixo e você tem uma música sem baixo, para tocar essa parte você mesmo com o resto do disco. No HQ, dá para silenciar só a guitarra ou só o piano e tocar essa parte. Você recebe as partes isoladas sem precisar pedir os arquivos da sessão a ninguém.

Separação de stems com IA, explicada

O Rápido usa o Demucs v4, o transformer híbrido da equipe de pesquisa em IA da Meta, publicado como código aberto. Ele olha a música de duas formas ao mesmo tempo, como forma de onda e como espectrograma, e aprende a prever cada stem a partir do que ouve. Foi treinado com gravações multipista, em que os stems são conhecidos, e foi assim que aprendeu como uma voz, uma caixa ou uma linha de baixo aparecem dentro de uma mixagem.

O HQ usa o BS-RoFormer, um desenho mais novo que divide o espectrograma em bandas de frequência e deixa um transformer acompanhar cada banda ao longo do tempo e entre as bandas. O modelo que rodamos é de seis stems, compartilhado abertamente por quem trabalha com separação de música. Em benchmarks públicos, esse tipo de modelo pontua mais que o Demucs v4. O preço é tamanho e tempo.

Rodamos os dois com o ONNX Runtime Web, na sua placa de vídeo quando o navegador tem WebGPU (Chrome e Edge recentes), o que o HQ exige. O Rápido também pode rodar no processador, só que mais devagar. A música é cortada em janelas que se sobrepõem, de uns oito segundos no Rápido e quatro no HQ, e unida com crossfade, para você não ouvir emendas. Seu navegador baixa um modelo uma única vez e o guarda.

Qual é a qualidade dos stems?

Boa, e não perfeita. O Demucs v4 é um modelo aberto muito conhecido, que muitas ferramentas usam como base, mas a pesquisa em separação anda rápido e modelos mais novos pontuam mais nos benchmarks, e por isso criamos o HQ. Na prática, um stem limpo serve muito bem para remix, estudo e referência, e os casos difíceis aparecem: a cauda de reverb de um vocal pode ir parar em Outros, pratos podem vazar para lá, e uma mixagem muito densa deixa vestígios leves de um stem dentro de outro.

Nos nossos testes, os quatro stems do Rápido somados ficaram bem próximos da música original, então a separação não joga nenhum som fora. O HQ estima cada stem por conta própria, então seus seis stems somam a música com um pouco menos de exatidão, e numa música com voz cantada o stem de vocal ficou claramente mais limpo entre as frases do que o do Rápido. Um stem tirado de uma música pronta nunca será tão limpo quanto o mesmo stem da sessão original, e preferimos dizer isso a prometer outra coisa.

Dicas para stems mais limpos

Comece pelo melhor arquivo que você tiver. Um WAV, um FLAC ou um arquivo de bitrate alto separa melhor que um MP3 de bitrate baixo, porque a compressão borra os detalhes que o modelo usa. Evite limitar o áudio antes e não envie um arquivo que já passou por outro separador de stems. Se o Rápido deixar vestígios que você não gosta, rode a mesma música de novo no HQ.

Se você vai fazer sampling, ouça os stems juntos primeiro: todos devem soar como a música. Depois coloque em solo o que você precisa e trate como qualquer sample, com um high-pass suave na bateria ou um fade curto no corte. Quando um stem está quase certo, coloque por cima uma parte tocada por você e as sobras desaparecem.

Grátis, privado e em beta

A separação acontece no seu dispositivo, então não nos custa nada por música e podemos deixar de graça. Não há cadastro, contador de créditos nem limite diário. Os limites são o seu próprio dispositivo e a duração da música: 10 minutos no Rápido e 6 no HQ. Sua música nunca é enviada. O que baixamos, uma única vez, é o código que roda os modelos e o modelo que você escolher (85 MB no Rápido, 353 MB no HQ), de servidores públicos.

É um beta: funciona, mas alguns dispositivos vão ficar lentos. Se der problema com a sua música, escreva para info@obra.art.