Audio to MIDI çevirici

Audio to MIDI ne yapar?

Ses, bir sesin ne yaptığının kaydıdır. MIDI ise onu çalma talimatıdır: hangi nota, ne zaman başlıyor, ne kadar sürüyor ve ne kadar sert çalındı. Audio to MIDI çevirici bir kaydı dinler ve bu talimatları geri yazar. Sonra aynı notaları DAW'ındaki herhangi bir enstrümanla çalar, yanlış bir notayı düzeltir, tonu değiştirir ya da bir partisyon olarak basarsın.

Bu araçtaki çeviri polifoniktir; yani aynı anda birkaç notayı bulabilir. Bu bir piyano, akorlu bir gitar ya da katmanlı bir synth için önemlidir. Ses, bas ya da saksafon gibi tek bir hat üzerinde de çalışır.

Onu bir MP3 MIDI çevirici, bir WAV MIDI çevirici, bir sesten MIDI aracı ya da bir mırıldanmadan MIDI aracı olarak kullanabilirsin. Dosya türü yöntemi değiştirmez: ses tarayıcında çözülür ve aynı model onu dinler.

Bu çevirici nasıl çalışır?

Model, Spotify'ın araştırma ekibinden açık kaynaklı bir model olan Basic Pitch'tir; ICASSP 2022'de Apache 2.0 lisansıyla yayımlandı. Küçüktür, yaklaşık 0,2 MB. Dosyan önce monoya karıştırılır ve 22.050 Hz'e yeniden örneklenir. Sonra biraz üst üste binen iki saniyelik pencerelere kesilir ve model her pencereyi okur.

Her zaman diliminde (saniyede yaklaşık 86) bir piyanonun 88 notası için üç cevap verir: hangi notalar çalıyor, bir nota nerede başlıyor ve tam perde eğrisi. Spotify'ın yayımladığı koddan aktardığımız ikinci bir adım bu cevapları notalara çevirir. Bir eşiğin üstündeki başlangıçları arar, ses sönene kadar her birini izler, çok kısa notaları atar ve net başlangıcı olmayan uzun notaları yeniden arar. Perde eğrisi isteğe bağlı perde bükmelerini verir.

Hepsi tarayıcında, ONNX Runtime Web kullanan bir worker'da çalışır. Sayfa modelden gelen matrisleri tutar; bir kaydırıcıyı oynattığında notalar anında yeniden çözülür ve model ikinci kez çalışmaz. Kaydın hiçbir yere gönderilmez.

Kaydından daha temiz MIDI al

En iyi sonuçlar, bir seferde tek bir enstrümandan, net çalınmış ve fazla reverb'siz gelir: bir piyano take'i, bir vokal hattı, bir gitar riff'i, bir bas. Gürültü, yankı ve bir notayı bulandıran efektler modeli daha az emin yapar. Kaydında çok oda sesi varsa kuru bir take neredeyse her zaman daha iyi notalar verir.

Davul, bas, akorlar ve vokalli tam bir şarkı en zor durumdur. Model enstrümanları ayırt etmek için eğitilmedi; bu yüzden karışık tek bir nota kümesi alırsın ve davullar sapan notalar ekler. Önce şarkıyı stemlere ayır ve istediğin parçayı çevir. Stem ayırıcımız bunu da tarayıcında yapar.

Eksik notalar varsa hassasiyeti yükselt ya da en kısa notayı düşür. Çok fazla küçük nota görüyorsan tersini yap ya da perde aralığını kaydettiğin enstrümana daralt. Tek bir ses ya da lead için tek seferde bir nota'yı aç: iki nota üst üste bindiğinde en güçlüsü kazanır; bu, sapan notaların çoğunu temizler.

Ayarlar, sade sözlerle

Hassasiyet, modelin bir nota yazmadan önce ne kadar emin olması gerektiğini belirler. Yükseği daha fazla nota verir, orada olmayanlar dahil. Düşüğü yalnızca net olanları tutar. Orta, Spotify'ın kendi varsayılanıdır.

En kısa nota, bu kadar milisaniyeden kısa notaları atar. Yükseltmek titrek bir sesi temizler. Düşürmek hızlı pasajları tutar. Perde aralığı, seçtiğin notaların üstündeki ve altındaki her şeyi kapatır; bir bas hattının yüksek sapan notalar üretmesini durdurmanın en hızlı yolu budur.

Tek seferde bir nota, ses, bas ve lead hatları için her an yalnızca en yüksek sesli notayı tutar. Perde bükmeleri, iki yarım tona kadar küçük perde kaymalarını MIDI pitch bend mesajları olarak ekler; böylece söylenmiş bir kayma ya da bir gitar bükmesi korunur. Bükmeler yalnızca başka bir notayla üst üste binmeyen notalar için yazılır, çünkü bir MIDI kanalında aynı anda tek bir bükme olur.

Dört başlangıç noktası, piyano, ses veya mırıldanma, gitar ve bas, kulakla seçtiğimiz ayarlardır. Sihir değildir. En yakınını seç, sonra kendi kulağınla ayarla.

İnsanlar MIDI ile ne yapar?

Prodüktörler sesi sample'lamadan fikirleri sample'lamak için kullanır. Telefonuna bir bas hattı mırıldan, çevir ve bir synth'e ver. Bir piyano fikri kaydet, notaları al ve başka bir enstrümanla yeniden seslendir. Bir referans parçadan melodiyi çek ve kendine ait yapacak kadar değiştir.

DJ'ler ve remikscilar bir hook'un ya da bir bas hattının notalarını bulup aynı tonda yeni bir parça yazmak için kullanır, sonra tempoyu ve tonu diğer araçlarımızla kontrol eder. Şarkıcılar ve söz yazarları bir ses notunu, bir prodüktöre göndermek ya da gerçekte hangi notaları söylediklerini görmek için notalara çevirir.

Öğretmenler ve öğrenciler, duydukları bir melodiyi görmek, kulaktan çalışmak ve kendilerini kontrol etmek için piyano roll'u kullanır. Aranjörler bir partiyi çevirip DAW'da temizleyebilir ve oradan basabilir.

MIDI dosyasının içinde ne var?

Bir tempo kanalı ve tüm notaları tutan tek bir parçası olan, format 1 bir standart MIDI dosyası alırsın. Velocity, her notanın ne kadar güçlü duyulduğundan gelir. Perde bükmelerini açarsan bükme eğrisi, çoğu enstrümanın varsayılan aralığı olan artı eksi iki yarım tonla yazılır.

Notalar gerçek zamanda yerleştirilir; yani orijinal kaydınla hizalanır. Dosya ayrıca DAW ızgarasının gösterecek bir şeyi olması için bir tempo taşır. Bunu sesten tahmin eder ve üzerine yazabileceğin bir kutuda gösteririz. Tahmin gerçek temponun yarısı ya da iki katıysa notalar yine doğru anda duyulur, yalnızca ölçüler farklı çizilir. Dosyayı Ableton Live, Logic, FL Studio, Cubase, Reaper, GarageBand ya da herhangi bir DAW'a sürükle.

Neleri yapamaz?

Kendin keşfetmene izin vermektense sana söylemeyi tercih ederiz. Davul transkribe etmez. Akorları adlandırmaz ya da partisyon yazmaz. Bir miksteki enstrümanları ayırmaz. Yoğun bir tam şarkıda notaları kaçırır ve yanlışlar ekler. Çok alçak ve çok yüksek notalar daha az güvenilirdir; hızlı, kısık pasajlar birbirine karışır.

Bir seferde bir dosya olmak üzere en fazla 10 dakikalık ses okur. Bu bir beta: neyi yanlış yaptığını info@obra.art adresine yaz, bakalım.