音声をMIDIに変換（オーディオMIDI変換）

音声MIDI変換でできること

音声は、音が何をしたかの記録です。MIDIは、それを演奏するための指示で、どの音を、いつ始め、どれだけ続け、どれだけ強く弾くかを表します。音声MIDI変換は、録音を聴いて、その指示を書き戻します。その同じ音符を、DAWの好きな楽器で弾き直したり、間違った音を直したり、キーを変えたり、楽譜として印刷したりできます。

このツールの変換はポリフォニックです。つまり、同じ瞬間に複数の音を見つけられます。ピアノ、コードを弾くギター、重ねたシンセでは、それが大切です。声、ベース、サックスのような単音のラインにも使えます。

MP3をMIDIに変換するツール、WAVをMIDIに変換するツール、声をMIDIにするツール、ハミングをMIDIにするツールとして使えます。ファイルの種類で方法は変わりません。音声はブラウザの中でデコードされ、同じモデルがそれを聴きます。

この変換のしくみ

モデルはBasic Pitchです。Spotifyの研究チームが公開したオープンソースのモデルで、ICASSP 2022で発表され、Apache 2.0ライセンスで提供されています。約0.2 MBと小さなモデルです。ファイルはまずモノラルにミックスされ、22,050 Hzにリサンプリングされます。それから、少し重なる2秒の窓に切り分けられ、モデルが窓ごとに読み取ります。

時間の1コマごと（1秒に約86コマ）に、ピアノの88音について3つの答えを出します。どの音が鳴っているか、どこで音が始まるか、正確な音の高さの曲線です。第2のステップは、Spotifyが公開したコードから移植したもので、それらの答えをノートに変えます。しきい値を超える始まりを探し、音が消えるまで追い、短すぎる音を捨て、明確な始まりのなかった長い音をもう一度探します。音の高さの曲線は、任意のピッチベンドになります。

すべてがブラウザのワーカーの中で、ONNX Runtime Webを使って動きます。ページがモデルの出力の行列を保持しているので、スライダーを動かすとノートがすぐにデコードし直され、モデルが2回動くことはありません。録音がどこかに送られることはありません。

録音からよりきれいなMIDIを得るコツ

いちばん良い結果は、楽器を1つずつ、はっきり弾いて、リバーブを抑えた録音です。ピアノのテイク、ボーカルライン、ギターのリフ、ベースなどです。ノイズ、エコー、音をにじませるエフェクトがあると、モデルの確信が下がります。録音に部屋の響きが多いなら、ドライなテイクのほうがほぼ必ず良いノートになります。

ドラム、ベース、コード、ボーカルの入ったフルの曲が、もっとも難しいケースです。モデルは楽器を区別するよう学習していないので、ミックスされた1組のノートが得られ、ドラムが余計な音を加えます。先に曲をステムに分けて、ほしいパートを変換してください。OBRAのステム分離は、これもブラウザの中でできます。

音が足りないなら、感度を上げるか、最短の音を短くしてください。小さな音が多すぎるなら、その逆にするか、録音した楽器に合わせて音域を狭めてください。単音の声やリードなら、「1音ずつ」をオンにします。2つの音が重なると強いほうが残り、余計な音の大半が消えます。

設定をやさしい言葉で

感度は、音符を書く前にモデルがどれだけ確信している必要があるかを決めます。高くすると、実際にはない音も含めて、音が増えます。低くすると、はっきりした音だけが残ります。真ん中が、Spotify自身の標準です。

最短の音は、このミリ秒より短い音を捨てます。上げると、不安定な声が整理されます。下げると、速いフレーズが残ります。音域は、選んだ音より上と下をすべて切るので、ベースラインが高い余計な音を出すのを止めるいちばん早い方法です。

1音ずつは、各瞬間にいちばん大きい音だけを残すもので、声、ベース、リードのライン向けです。ピッチベンドは、音の高さの小さな変化を最大2半音まで、MIDIのピッチベンドメッセージとして加えるので、歌のグリッサンドやギターのチョーキングが残ります。ベンドは、ほかの音と重ならない音にだけ書かれます。MIDIのチャンネルは、同時に1つのベンドしか持てないからです。

4つの出発点、ピアノ、声やハミング、ギター、ベースは、私たちが耳で選んだ設定です。魔法ではありません。いちばん近いものを選んで、ご自身の耳で調整してください。

MIDIでできること

トラックメイカーは、音をサンプリングせずにアイデアをサンプリングするのに使います。ベースラインをスマホにハミングして、変換して、シンセに渡す。ピアノのアイデアを録音して、音符を取り出し、別の楽器で弾き直す。リファレンストラックからメロディを抜き出して、自分のものになるまで変える。

DJやリミキサーは、フックやベースラインの音を見つけて、同じキーで新しいパートを書き、そのあと、ほかのツールでテンポとキーを確認するのに使います。歌い手や作曲家は、ボイスメモを音符にして、プロデューサーに送ったり、実際に何の音を歌ったかを見たりします。

先生と生徒は、ピアノロールで聴こえるメロディを見たり、耳コピの練習をしたり、確認したりします。アレンジャーは、パートを変換し、DAWで整えて、そこから印刷できます。

MIDIファイルの中身

標準MIDIファイルのフォーマット1で、テンポのトラックと、すべての音符を持つパートが1つ入っています。ベロシティは、各音がどれだけ強く鳴ったかから決まります。ピッチベンドをオンにすると、ベンドの曲線がプラスマイナス2半音で書かれます。これは、ほとんどの楽器の標準の範囲です。

音符は実時間で配置されるので、元の録音とぴったり合います。ファイルにはテンポも入っていて、DAWのグリッドに表示するものがあります。テンポは音声から推定して、上書きできる欄に表示します。推定が実際の半分や倍でも、音符は正しいタイミングで鳴り、小節線の引かれ方が変わるだけです。Ableton Live、Logic、FL Studio、Cubase、Reaper、GarageBand、またはほかのDAWにファイルをドラッグしてください。

できないこと

知らずに困るより、先にお伝えします。ドラムの採譜はしません。コード名をつけたり、楽譜を書いたりもしません。ミックスから楽器を分けることもしません。密度の高いフルの曲では、音を取りこぼし、間違った音を加えます。とても低い音と高い音は信頼性が下がり、速くて小さなフレーズはにじみます。

一度に読めるのは最長10分の音声で、ファイルは1つずつです。ベータ版です。間違いは info@obra.art までお知らせください。確認します。