無料の AI ステム分離

ステム分離とは？

ステムとは、完成した曲の1つのパートを単独で取り出したものです。ボーカル、ドラム、ベース、それ以外のすべて、といった具合です。制作者はセッションから、トラックのグループごとに書き出してステムを作ります。手元に最終のステレオファイルしかないときは、ステム分離（音源分離、ステムセパレーターとも呼ばれます）を使います。ニューラルネットワークで各パートを推定して、曲から取り出すのです。

Fastでは4つのステムに分かれます。ボーカルはリードとコーラスの声。ドラムはドラムセットとパーカッション。ベースは低音のラインで、ベースギターでもシンセでも同じです。その他は残りのすべてで、ギター、鍵盤、パッド、ストリングス、ブラス、エフェクトが入ります。HQではギターとピアノが独立したステムになり、その他には残りが入ります。同じ作業は「曲の分離」「音楽セパレーター」「オーディオセパレーター」でも検索されます。ボーカルと楽器を分けるだけなら、ボーカル除去とアカペラのページが1ステップでやってくれます。

ステムでできること

リミックスやブートレグ：ボーカルを残して、その下をすべて作り直せます。サンプリング：ほかの音に邪魔されずに、ドラムブレイクやベースラインを抜き出せます。DJセット：ボーカルを消して2曲をつなぎ、ドラムとベースだけを残して長い繋ぎにも使えます。学習：好きなレコードのベースだけを聴いて、実際に何を弾いているかを確かめられます。

ステムは一緒に演奏するときにも役立ちます。ドラムをミュートすればドラム抜き、ベースをミュートすればベース抜きになるので、そのパートを自分で弾けます。HQならギターだけ、ピアノだけをミュートして、自分で弾くこともできます。セッションファイルを誰かに頼まなくても、パートごとの音が手に入ります。

AIによるステム分離のしくみ

FastはMetaのAI研究チームが公開したオープンソースのハイブリッドトランスフォーマー、Demucs v4を使います。曲を波形とスペクトログラムの2つの見方で同時に捉え、耳にした内容から各ステムを予測します。ステムが分かっているマルチトラック録音で学習しているので、ミックスの中で声やスネア、ベースラインがどう見えるかを知っています。

HQは新しい設計のBS-RoFormerを使います。スペクトログラムを周波数帯に分け、トランスフォーマーが各帯域を時間方向と帯域どうしの間でたどります。私たちが動かすのは、音源分離の研究者たちが公開している6ステムのモデルです。公開ベンチマークでは、この種のモデルはDemucs v4より高いスコアを出します。その代わり、サイズが大きく時間もかかります。

どちらもONNX Runtime Webで動きます。ブラウザがWebGPU（最近のChromeとEdge）に対応していればグラフィックスカードを使い、HQにはこれが必要です。FastはCPUでも動きますが、その分遅くなります。曲は重なり合う窓（Fastで約8秒、HQで約4秒）に切り分けて処理し、クロスフェードでつなぐので、つなぎ目は聞こえません。モデルのダウンロードは1回だけで、ブラウザが保存します。

ステムの品質はどのくらい？

十分に良い品質ですが、完璧ではありません。Demucs v4は多くのツールが土台にしている有名なオープンモデルです。ただ音源分離の研究は進みが速く、新しいモデルはベンチマークでより高いスコアを出します。HQを加えたのはそのためです。実際には、きれいに分かれたステムはリミックス、練習、リファレンスに十分使えます。難しいケースでは、ボーカルのリバーブの余韻がほかのステムに入る、シンバルが混ざる、非常に密度の高いミックスでは別のステムにかすかな音が残る、といったことが起きます。

私たちのテストでは、Fastの4つのステムを足し合わせると元の曲にとても近く、分離で音が失われることはありません。HQは各ステムを個別に推定するので、6つを足した結果は元の曲との一致がやや劣ります。一方、歌入りの曲ではボーカルのステムがフレーズの合間でFastよりはっきりきれいでした。完成した曲から取り出したステムが、元のセッションのステムと同じ純度になることはありません。約束するより、そのことを正直にお伝えします。

きれいに分けるコツ

手元でいちばん良いファイルから始めてください。WAV、FLAC、高ビットレートのファイルは、低ビットレートのMP3よりよく分かれます。圧縮がモデルの手がかりになる細部をにじませてしまうからです。事前に余計なリミッターをかけるのは避け、すでにステム分離を通したファイルは入れないでください。Fastで気になる音が残るなら、同じ曲をHQでやり直してみましょう。

サンプリングに使うなら、まずステムを全部一緒に聴いて、曲として聞こえるか確認します。そのうえで必要なステムだけをソロにして、ほかのサンプルと同じように整えます。ドラムなら軽いハイパス、切り出しの端には短いフェードを。ほぼ合っているステムなら、自分で弾いたパートを重ねると、残った音が目立たなくなります。

無料、プライベート、そしてベータ版

分離は端末で行うので、曲ごとのコストがかからず、無料のままにできます。登録、クレジットのカウンター、1日の上限はありません。制限は端末の性能と曲の長さだけで、Fastは10分、HQは6分です。曲がアップロードされることはありません。ダウンロードするのは、モデルを動かすコードと、選んだモデル（Fastは85 MB、HQは353 MB）を公開ホストから1回だけです。

ベータ版です。動作はしますが、端末によっては遅くなります。お使いの曲でうまくいかなければ、info@obra.art までご連絡ください。