Ücretsiz yapay zeka stem ayırıcı

Stem ayırıcı nedir?

Stem, bitmiş bir şarkının tek başına duran bir parçasıdır: vokal, davul, bas, geri kalan her şey. Prodüktörler stemleri oturumdan alır; her kanal grubunu ayrı bir dosya olarak dışa aktarırlar. Elinde yalnızca son stereo dosya varsa stem ayırıcı (stem separator ya da stem extractor da denir) bu parçaları bir sinir ağıyla tahmin ederek dosyadan ayırmanı sağlar.

Bizimkisi Fast modunda dört stem verir. Vokal, ana ses ve geri vokallerdir. Davul, set ve perküsyondur. Bas, bas gitar da olsa sentezleyici de olsa alt çizgidir. Diğer, geriye kalan her şeydir: gitarlar, klavyeler, padler, yaylılar, nefesliler ve efektler. HQ'da gitar ve piyano ayrı stem olarak çıkar; Diğer'de kalanlar durur. İnsanlar aynı şeyi şarkı ayırıcı, müzik ayırıcı ya da ses ayırıcı diye de arar. Yalnızca vokalle enstrümanı ayırmak istiyorsan vokal silme ve acapella sayfaları bunu tek adımda yapar.

Prodüktörler stemlerle ne yapar?

Remix ve bootleg: vokali tut, altındaki her şeyi yeniden kur. Sampling: parçanın geri kalanı araya girmeden bir davul break'ini ya da bas hattını al. DJ setleri: iki şarkıyı karıştırmak için vokali sustur ya da uzun bir geçiş için yalnızca davul ve bası bırak. Öğrenme: sevdiğin bir kaydın basını solo yap ve gerçekte ne çaldığını gör.

Stemler eşlik ederken de işe yarar. Davulu susturursan davulsuz bir kayıt, bası susturursan bassız bir kayıt elde edersin; o partiyi kaydın geri kalanıyla birlikte kendin çalarsın. HQ ile yalnızca gitarı ya da yalnızca piyanoyu da susturup o partiyi kendin çalabilirsin. Kimseden oturum dosyası istemeden ayrılmış parçalara sahip olursun.

Yapay zeka ile stem ayırma nasıl çalışır?

Fast, Meta'nın yapay zeka araştırma ekibinin açık kaynak olarak yayımladığı hibrit transformer Demucs v4'ü kullanır. Şarkıya iki yönden birden bakar, dalga biçimi ve spektrogram olarak, ve duyduğundan her stemi tahmin etmeyi öğrenir. Stemlerin bilindiği çok kanallı kayıtlarla eğitilmiştir; bir sesin, bir trampetin ya da bir bas hattının miks içinde nasıl göründüğünü böyle öğrenmiştir.

HQ, spektrogramı frekans bantlarına bölen ve bir transformer'ın her bandı zaman içinde ve bantlar arasında izlemesini sağlayan daha yeni bir tasarım olan BS-RoFormer'ı kullanır. Çalıştırdığımız model, müzik ayırma üzerinde çalışan insanların açıkça paylaştığı altı stemli bir modeldir. Herkese açık kıyaslamalarda bu tür modeller Demucs v4'ten yüksek puan alır. Bedeli boyut ve süredir.

İkisini de ONNX Runtime Web ile çalıştırıyoruz; tarayıcıda WebGPU varsa (güncel Chrome ve Edge) ekran kartında, ki HQ bunu ister. Fast işlemcide de çalışabilir, ama daha yavaştır. Şarkı, Fast'te yaklaşık sekiz, HQ'da dört saniyelik üst üste binen pencerelere kesilir ve birbirine geçirilir; dolayısıyla dikiş yerleri duyulmaz. Tarayıcın modeli bir kez indirir ve saklar.

Stemler ne kadar temiz?

İyi, ama kusursuz değil. Demucs v4 birçok aracın dayandığı bilinen bir açık modeldir; ancak ayırma araştırması hızlı ilerler ve daha yeni modeller kıyaslamalarda daha yüksek puan alır, HQ'yu bu yüzden ekledik. Pratikte temiz bir stem remix, çalışma ve referans için çok kullanışlıdır; zor durumlar ise kendini gösterir: bir vokalin reverb kuyruğu Diğer stemine karışabilir, zil sesleri sızabilir ve çok yoğun bir miks bir stemin içinde başka bir stemden hafif izler bırakır.

Testlerimizde dört Fast stemi yeniden toplandığında orijinal şarkıya çok yakın kaldı; yani ayırma hiçbir sesi atmıyor. HQ her stemi kendi başına tahmin eder, bu yüzden altı stemi şarkıya biraz daha az kesin toplanır; sözlü bir şarkıda vokal stemi, cümlelerin arasında Fast'inkinden belirgin biçimde daha temizdi. Bitmiş bir şarkıdan çıkan stem, orijinal oturumdaki aynı stem kadar temiz olmaz; bunu söylemeyi söz vermeye tercih ederiz.

Daha temiz stemler için ipuçları

Elindeki en iyi dosyayla başla. WAV, FLAC ya da yüksek bit hızlı bir dosya, düşük bit hızlı MP3'ten daha iyi ayrılır; çünkü sıkıştırma modelin kullandığı ayrıntıları bulandırır. Önceden fazladan limiter uygulama ve zaten bir stem ayırıcıdan geçmiş dosyayı tekrar bırakma. Fast'in bıraktığı izler hoşuna gitmiyorsa aynı şarkıyı HQ'da çalıştır.

Sampling yapıyorsan önce stemleri birlikte dinle: hepsi birlikte şarkı gibi duyulmalı. Sonra ihtiyacın olanı solo yap ve her sample gibi temizle; davulda hafif bir high-pass, kesim noktasında kısa bir fade. Bir stem neredeyse tamamsa üzerine kendi çaldığın bir partiyi bindir, artıklar kaybolur.

Ücretsiz, gizli ve beta

Ayırma cihazında olur; bu yüzden bize şarkı başına maliyeti yoktur ve ücretsiz tutabiliriz. Üyelik, kredi sayacı ve günlük sınır yok. Sınırlar kendi cihazın ve şarkının uzunluğudur: Fast'te 10 dakika, HQ'da 6. Şarkın asla yüklenmez. Bir kez indirdiğimiz şey, modelleri çalıştıran kod ve seçtiğin modeldir (Fast için 85 MB, HQ için 353 MB); bunlar herkese açık sunuculardan gelir.

Beta: çalışıyor, ama bazı cihazlarda yavaş olacak. Şarkında bozulursa info@obra.art adresine yaz.