Konverter audio ke MIDI gratis

Apa yang dilakukan audio ke MIDI

Audio adalah rekaman dari apa yang dilakukan sebuah suara. MIDI adalah instruksi untuk memainkannya: nada apa, kapan mulai, berapa lama, dan seberapa keras dimainkan. Konverter audio ke MIDI mendengarkan rekaman dan menulis instruksi itu kembali. Setelah itu kamu bisa memainkan nada yang sama dengan instrumen apa pun di DAW, memperbaiki nada yang salah, mengubah key, atau mencetaknya sebagai partitur.

Konversi di alat ini bersifat polifonik, artinya ia bisa menemukan beberapa nada pada saat yang sama. Ini penting untuk piano, gitar dengan chord, atau synth berlapis. Ia juga bekerja pada satu garis nada seperti suara, bass, atau saksofon.

Kamu bisa memakainya sebagai konverter MP3 ke MIDI, konverter WAV ke MIDI, alat suara ke MIDI, atau alat humming ke MIDI. Jenis file tidak mengubah metodenya: audio di-decode di browser kamu dan model yang sama mendengarkannya.

Cara kerja konverter ini

Modelnya adalah Basic Pitch, model open source dari tim riset Spotify, dipublikasikan di ICASSP 2022 dengan lisensi Apache 2.0. Ukurannya kecil, sekitar 0,2 MB. File kamu pertama-tama di-mix ke mono dan di-resample ke 22.050 Hz. Lalu dipotong jadi jendela dua detik yang sedikit tumpang tindih, dan model membaca setiap jendela.

Untuk setiap potongan waktu (sekitar 86 per detik) ia memberi tiga jawaban untuk 88 nada piano: nada mana yang sedang berbunyi, di mana sebuah nada dimulai, dan kurva pitch yang tepat. Langkah kedua, yang kami porting dari kode yang dipublikasikan Spotify, mengubah jawaban itu menjadi nada. Ia mencari awal nada di atas ambang batas, mengikuti tiap nada sampai suaranya memudar, membuang nada yang terlalu pendek, lalu mencari lagi nada panjang yang tidak punya awal yang jelas. Kurva pitch memberi pitch bend yang opsional.

Semuanya berjalan di worker di dalam browser kamu, memakai ONNX Runtime Web. Halaman menyimpan matriks dari model, jadi ketika kamu menggeser slider, nada di-decode ulang seketika dan model tidak dijalankan lagi. Rekamanmu tidak pernah dikirim ke mana pun.

Dapatkan MIDI yang lebih bersih dari rekamanmu

Hasil terbaik datang dari satu instrumen sekali waktu, dimainkan dengan jelas dan tanpa banyak reverb: take piano, garis vokal, riff gitar, bass. Noise, gema, dan efek yang mengaburkan sebuah nada membuat model kurang yakin. Kalau rekamanmu banyak suara ruangan, take yang kering hampir selalu memberi nada yang lebih baik.

Lagu utuh dengan drum, bass, chord, dan vokal adalah kasus tersulit. Model tidak dilatih untuk membedakan instrumen, jadi kamu mendapat satu set nada campuran, dan drum menambahkan nada nyasar. Pisahkan dulu lagunya menjadi stem dan konversi bagian yang kamu mau. Stem splitter kami melakukannya di browser juga.

Kalau ada nada yang hilang, naikkan sensitivitas atau turunkan nada terpendek. Kalau kamu melihat terlalu banyak nada kecil, lakukan sebaliknya, atau persempit jangkauan pitch sesuai instrumen yang kamu rekam. Untuk satu suara atau lead, nyalakan satu nada sekali waktu: nada terkuat menang ketika dua nada tumpang tindih, yang membersihkan sebagian besar nada nyasar.

Pengaturannya, dengan kata-kata sederhana

Sensitivitas menentukan seberapa yakin model harus sebelum menulis sebuah nada. Lebih tinggi memberi lebih banyak nada, termasuk yang sebenarnya tidak ada. Lebih rendah hanya menyimpan yang jelas. Posisi tengah adalah default dari Spotify sendiri.

Nada terpendek membuang nada yang lebih pendek dari sekian milidetik. Menaikkannya membersihkan suara yang goyah. Menurunkannya mempertahankan run yang cepat. Jangkauan pitch mematikan semua yang di atas dan di bawah nada yang kamu pilih, cara tercepat agar garis bass tidak menghasilkan nada tinggi yang nyasar.

Satu nada sekali waktu hanya menyimpan nada terkeras di setiap momen, untuk suara, bass, dan garis lead. Pitch bend menambahkan slide pitch kecil, sampai dua semiton, sebagai pesan MIDI pitch bend, sehingga glide nyanyian atau bend gitar tetap ada. Bend hanya ditulis untuk nada yang tidak tumpang tindih dengan nada lain, karena satu channel MIDI hanya punya satu bend pada satu waktu.

Empat titik awal, piano, suara atau humming, gitar, dan bass, adalah pengaturan yang kami pilih dengan telinga. Bukan sihir. Pilih yang paling dekat, lalu sesuaikan dengan telingamu sendiri.

Yang dilakukan orang dengan MIDI-nya

Produser memakainya untuk men-sample ide tanpa men-sample suara. Senandungkan garis bass ke ponselmu, konversi, dan berikan ke synth. Rekam ide piano, dapatkan nadanya, dan re-voice dengan instrumen lain. Ambil melodi dari track referensi dan ubah cukup banyak sampai menjadi milikmu.

DJ dan remixer memakainya untuk menemukan nada hook atau garis bass supaya bisa menulis part baru di key yang sama, lalu memeriksa tempo dan key dengan alat kami yang lain. Penyanyi dan pencipta lagu mengubah voice memo menjadi nada untuk dikirim ke produser atau untuk melihat nada apa yang sebenarnya mereka nyanyikan.

Guru dan murid memakai piano roll untuk melihat melodi yang mereka dengar, berlatih dengan telinga, dan mengecek diri sendiri. Arranger bisa mengonversi sebuah part, merapikannya di DAW, dan mencetaknya dari sana.

Isi file MIDI-nya

Kamu mendapat file MIDI standar, format 1, dengan track tempo dan satu part yang berisi semua nada. Velocity berasal dari seberapa kuat tiap nada berbunyi. Kalau kamu menyalakan pitch bend, kurva bend ditulis pada plus minus dua semiton, yaitu rentang default kebanyakan instrumen.

Nada-nadanya ditempatkan dalam waktu nyata, sehingga sejajar dengan rekaman aslimu. File juga membawa tempo agar grid DAW kamu punya sesuatu untuk ditampilkan. Kami memperkirakannya dari audio dan menampilkannya di kotak yang bisa kamu timpa dengan ketikan. Kalau perkiraannya setengah atau dua kali tempo sebenarnya, nada tetap berbunyi pada saat yang tepat, hanya birama yang digambar berbeda. Seret file ke Ableton Live, Logic, FL Studio, Cubase, Reaper, GarageBand, atau DAW lain.

Yang tidak bisa dilakukannya

Lebih baik kami memberitahumu daripada membiarkanmu mencari tahu sendiri. Ia tidak mentranskripsi drum. Ia tidak menamai chord atau menulis partitur. Ia tidak memisahkan instrumen dalam sebuah mix. Pada lagu utuh yang padat, ia akan melewatkan nada dan menambah nada yang salah. Nada yang sangat rendah dan sangat tinggi kurang bisa diandalkan, dan bagian cepat yang pelan menyatu.

Ia membaca audio sampai 10 menit sekali jalan, satu file sekali waktu. Ini beta: beri tahu kami di info@obra.art apa yang salah dan kami akan melihatnya.