Séparateur de stems IA gratuit

Qu’est-ce qu’un séparateur de stems ?

Un stem est une partie d’un morceau fini, isolée : la voix, la batterie, la basse, tout le reste. Les producteurs obtiennent des stems depuis la session, en exportant chaque groupe de pistes dans son propre fichier. Quand vous n’avez que le fichier stéréo final, un séparateur de stems, aussi appelé stem splitter ou extracteur de stems, permet de séparer les stems en estimant ces parties avec un réseau de neurones.

Le nôtre vous donne quatre stems en Fast. Voix, c’est le chant principal et les voix d’accompagnement. Batterie, c’est le kit et les percussions. Basse, c’est la ligne grave, qu’il s’agisse d’une basse électrique ou d’un synthé. Autres, c’est tout ce qui reste : guitares, claviers, nappes, cordes, cuivres et effets. En HQ, la guitare et le piano sortent dans leurs propres stems, et Autres contient ce qui reste. On cherche aussi la même chose sous le nom de séparateur de pistes, de séparateur de musique ou de séparateur audio. Si vous voulez seulement séparer la voix des instruments, les pages Suppresseur de voix et Acapella le font en une étape.

Ce que les producteurs font avec des stems

Remix et bootleg : on garde la voix et on reconstruit tout ce qu’il y a dessous. Sampling : on prélève un break de batterie ou une ligne de basse sans le reste du morceau dans les pattes. Sets de DJ : on coupe la voix pour fondre deux morceaux, ou on ne garde que la batterie et la basse pour une longue transition. Apprentissage : on isole la basse d’un disque qu’on aime pour voir ce qu’elle joue vraiment.

Les stems servent aussi quand on joue par-dessus. Coupez la batterie et vous avez un morceau sans batterie, coupez la basse et vous avez un morceau sans basse : vous pouvez jouer cette partie vous-même avec le reste du disque. Avec HQ, vous pouvez aussi couper seulement la guitare ou seulement le piano et jouer cette partie à votre tour. Vous obtenez les parties isolées sans avoir à demander les fichiers de la session à personne.

La séparation de stems par IA, expliquée

Fast utilise Demucs v4, le transformer hybride de l’équipe de recherche en IA de Meta, publié en open source. Il regarde le morceau de deux façons à la fois, comme une forme d’onde et comme un spectrogramme, et apprend à prédire chaque stem à partir de ce qu’il entend. Il a été entraîné sur des enregistrements multipistes, où les stems sont connus, et c’est ainsi qu’il a appris à quoi ressemblent une voix, une caisse claire ou une ligne de basse à l’intérieur d’un mix.

HQ utilise BS-RoFormer, une architecture plus récente qui découpe le spectrogramme en bandes de fréquences et laisse un transformer suivre chaque bande dans le temps et d’une bande à l’autre. Le modèle que nous faisons tourner est un modèle à six stems que des chercheurs en séparation musicale partagent ouvertement. Sur les benchmarks publics, ce type de modèle obtient de meilleurs scores que Demucs v4. Le prix à payer : la taille et le temps de calcul.

Nous faisons tourner les deux avec ONNX Runtime Web, sur votre carte graphique quand le navigateur dispose de WebGPU (versions récentes de Chrome et d’Edge), ce dont HQ a besoin. Fast peut aussi tourner sur votre processeur, plus lentement. Le morceau est découpé en fenêtres qui se chevauchent, d’environ huit secondes en Fast et quatre en HQ, puis fondues en enchaîné, pour qu’on n’entende aucune jointure. Votre navigateur télécharge un modèle une seule fois et le garde.

Les stems sont-ils bons ?

Bons, mais pas parfaits. Demucs v4 est un modèle ouvert bien connu sur lequel beaucoup d’outils s’appuient, mais la recherche en séparation avance vite et des modèles plus récents obtiennent de meilleurs scores, ce qui explique pourquoi nous avons ajouté HQ. En pratique, un stem propre est très utilisable pour remixer, s’entraîner et servir de référence. Les cas difficiles s’entendent : les queues de réverbération d’une voix peuvent se retrouver dans le stem Autres, les cymbales peuvent y baver, et un mix très dense laisse de faibles traces d’un stem dans un autre.

Dans nos tests, les quatre stems Fast remis ensemble restaient très proches du morceau d’origine : la séparation ne jette aucun son. HQ estime chaque stem séparément, donc ses six stems s’additionnent un peu moins exactement au morceau, et sur un morceau avec du chant, son stem de voix était nettement plus propre entre les phrases que celui de Fast. Un stem tiré d’un morceau fini ne sera jamais aussi propre que le même stem issu de la session d’origine, et nous préférons vous le dire plutôt que de vous le promettre.

Conseils pour des stems plus propres

Partez du meilleur fichier dont vous disposez. Un WAV, un FLAC ou un fichier à haut débit se sépare mieux qu’un MP3 à faible débit, parce que la compression brouille les détails qu’exploite le modèle. N’ajoutez pas de limitation supplémentaire au préalable, et ne déposez pas un fichier qui est déjà passé par un séparateur de stems. Si Fast laisse des traces qui vous gênent, relancez le même morceau en HQ.

Si vous faites du sampling, écoutez d’abord les stems ensemble : tous réunis, ils doivent sonner comme le morceau. Isolez ensuite celui qu’il vous faut et nettoyez-le comme n’importe quel sample, avec un léger filtre passe-haut sur la batterie ou un court fondu à la coupe. Quand un stem est presque bon, superposez une partie jouée par vous et les restes disparaissent.

Gratuit, privé et en bêta

La séparation se fait sur votre appareil : elle ne nous coûte rien par morceau, et nous pouvons donc la laisser gratuite. Pas d’inscription, pas de compteur de crédits, pas de plafond quotidien. Les limites sont celles de votre appareil et la durée d’un morceau : 10 minutes en Fast et 6 en HQ. Votre morceau n’est jamais envoyé. Ce que nous téléchargeons, une seule fois, c’est le code qui fait tourner les modèles et le modèle que vous choisissez (85 Mo pour Fast, 353 Mo pour HQ), depuis des hébergeurs publics.

C’est une bêta : elle fonctionne, mais certains appareils seront lents. Si elle plante sur votre morceau, écrivez à info@obra.art.