Audio na MIDI převodník

Co dělá převod audia na MIDI

Audio je záznam toho, co zvuk dělal. MIDI je pokyn, jak ho zahrát: která nota, kdy začíná, jak dlouho trvá a jak silně byla zahrána. Převodník audia na MIDI poslouchá nahrávku a ty pokyny zapisuje zpět. Stejné noty pak zahraješ libovolným nástrojem ve svém DAW, opravíš špatnou, změníš tóninu nebo je vytiskneš jako partituru.

Převod v tomto nástroji je polyfonní, což znamená, že najde několik not ve stejném okamžiku. To je důležité pro klavír, kytaru s akordy nebo vrstvený syntezátor. Funguje i na jednu linku, třeba hlas, basu nebo saxofon.

Můžeš ho používat jako převodník MP3 na MIDI, WAV na MIDI, hlasu na MIDI nebo broukání na MIDI. Typ souboru metodu nemění: zvuk se dekóduje v prohlížeči a poslouchá ho stejný model.

Jak tento převodník funguje

Model je Basic Pitch, open source model od výzkumného týmu Spotify, zveřejněný na ICASSP 2022 pod licencí Apache 2.0. Je malý, asi 0,2 MB. Soubor se nejdřív smíchá do mono a převzorkuje na 22 050 Hz. Pak se nařeže na dvousekundová okna, která se trochu překrývají, a model čte každé okno.

Pro každý kousek času (asi 86 za sekundu) dává tři odpovědi pro 88 not klavíru: které noty znějí, kde nota začíná a přesnou křivku výšky tónu. Druhý krok, který jsme přenesli ze zveřejněného kódu Spotify, tyto odpovědi promění v noty. Hledá začátky nad prahem, sleduje každý, dokud zvuk nezmizí, zahodí příliš krátké noty a pak znovu hledá dlouhé noty, které neměly jasný začátek. Křivka výšky dává volitelné pitch bendy.

Všechno běží ve workeru v prohlížeči přes ONNX Runtime Web. Stránka si ponechává matice z modelu, takže když pohneš posuvníkem, noty se dekódují znovu okamžitě a model neběží podruhé. Tvoje nahrávka se nikam neposílá.

Získej čistší MIDI ze své nahrávky

Nejlepší výsledky přicházejí z jednoho nástroje najednou, zahraného zřetelně a bez velkého dozvuku: záběr klavíru, vokální linka, kytarový riff, basa. Šum, ozvěna a efekty, které rozmažou notu, činí model méně jistým. Pokud má nahrávka hodně zvuku místnosti, suchý záběr téměř vždy dá lepší noty.

Celá píseň s bicími, basou, akordy a vokály je nejtěžší případ. Model nebyl natrénován na rozlišování nástrojů, takže dostaneš jednu smíchanou sadu not a bicí přidají zbloudilé. Rozděl nejdřív píseň na stemy a převeď tu část, kterou chceš. Náš stem splitter to dělá taky v prohlížeči.

Pokud noty chybí, zvyš citlivost nebo sniž nejkratší notu. Pokud vidíš příliš mnoho malých not, udělej opak, nebo zúži rozsah výšek na nástroj, který jsi nahrál. Pro jeden hlas nebo lead zapni jednu notu najednou: když se dvě překrývají, vyhraje nejsilnější, což vyčistí většinu zbloudilých not.

Nastavení jednoduše

Citlivost určuje, jak jistý musí model být, než notu zapíše. Vyšší dává víc not, včetně některých, které tam nejsou. Nižší ponechá jen ty jasné. Střed je výchozí hodnota samotného Spotify.

Nejkratší nota zahodí noty kratší než tolik milisekund. Zvýšením vyčistíš roztřesený hlas. Snížením zachováš rychlé běhy. Rozsah výšek vypne všechno nad a pod zvolenými notami, což je nejrychlejší způsob, jak zabránit basové lince vytvářet vysoké zbloudilé noty.

Jedna nota najednou ponechá v každém okamžiku jen nejhlasitější notu, pro hlas, basu a leadové linky. Pitch bendy přidávají drobné klouzání výšky, až o dva půltóny, jako zprávy MIDI pitch bend, takže zpívané klouzání nebo kytarový bend přežijí. Bendy se zapisují jen u not, které se nepřekrývají s jinou notou, protože kanál MIDI má jen jeden bend najednou.

Čtyři výchozí nastavení, klavír, hlas či broukání, kytara a basa, jsou nastavení, která jsme vybrali sluchem. Nejsou to kouzla. Vyber nejbližší a pak upravuj vlastním uchem.

Co lidé s MIDI dělají

Producenti ho používají k samplování nápadů bez samplování zvuku. Zabroukej basovou linku do telefonu, převeď ji a dej ji syntezátoru. Nahraj klavírní nápad, získej noty a přezvuč je jiným nástrojem. Vytáhni melodii z referenční skladby a změň ji natolik, aby byla tvoje.

DJové a remixéři ho používají k nalezení not háčku nebo basové linky, aby mohli napsat novou stopu ve stejné tónině, a pak ověří tempo a tóninu našimi dalšími nástroji. Zpěváci a písničkáři mění hlasovou poznámku na noty, které pošlou producentovi, nebo aby viděli, jaké noty skutečně zazpívali.

Učitelé a studenti používají piano roll, aby viděli melodii, kterou slyší, cvičili poslechem a kontrolovali se. Aranžéři mohou stopu převést, vyčistit v DAW a vytisknout odtud.

Co je uvnitř souboru MIDI

Dostaneš standardní soubor MIDI, formát 1, se stopou tempa a jednou stopou, která drží všechny noty. Velocity vychází z toho, jak silně každá nota zněla. Když zapneš pitch bendy, křivka bendu se zapíše na plus minus dva půltóny, což je výchozí rozsah většiny nástrojů.

Noty jsou umístěny v reálném čase, takže odpovídají tvé původní nahrávce. Soubor nese také tempo, aby mřížka tvého DAW měla co ukázat. Odhadneme ho ze zvuku a ukážeme v poli, které můžeš přepsat. Pokud je odhad poloviční nebo dvojnásobný oproti skutečnému tempu, noty stále zní ve správný okamžik, jen takty se vykreslí jinak. Přetáhni soubor do Ableton Live, Logicu, FL Studia, Cubase, Reaperu, GarageBandu nebo jakéhokoli jiného DAW.

Co neumí

Raději ti to řekneme, než abys to zjišťoval sám. Nepřepisuje bicí. Nepojmenovává akordy ani nepíše partituru. Neodděluje nástroje v mixu. V hustém celém songu noty vynechá a přidá špatné. Velmi nízké a velmi vysoké noty jsou méně spolehlivé a rychlé tiché pasáže se rozplývají.

Čte najednou až 10 minut zvuku, jeden soubor po druhém. Je to beta: napiš nám na info@obra.art, v čem chybuje, a podíváme se na to.