Convertor audio în MIDI

Ce face audio în MIDI

Audio-ul este o înregistrare a ceea ce a făcut un sunet. MIDI este instrucțiunea de a-l cânta: ce notă, când începe, cât durează și cât de tare a fost cântată. Un convertor audio în MIDI ascultă o înregistrare și scrie la loc aceste instrucțiuni. Apoi cânți aceleași note cu orice instrument din DAW, corectezi una greșită, schimbi tonalitatea sau le tipărești ca partitură.

Conversia din această unealtă este polifonică, adică poate găsi mai multe note în același moment. Contează pentru un pian, o chitară cu acorduri sau un sintetizator cu straturi. Merge și pe o singură linie, cum ar fi o voce, un bas sau un saxofon.

O poți folosi ca pe un convertor MP3 în MIDI, un convertor WAV în MIDI, o unealtă voce în MIDI sau fredonat în MIDI. Tipul fișierului nu schimbă metoda: audio-ul este decodat în browserul tău și același model îl ascultă.

Cum funcționează acest convertor

Modelul este Basic Pitch, un model open source de la echipa de cercetare Spotify, publicat la ICASSP 2022 sub licența Apache 2.0. Este mic, cam 0,2 MB. Fișierul tău este mai întâi mixat în mono și reeșantionat la 22.050 Hz. Apoi este tăiat în ferestre de două secunde care se suprapun puțin, iar modelul citește fiecare fereastră.

Pentru fiecare felie de timp (cam 86 pe secundă) dă trei răspunsuri pentru cele 88 de note ale unui pian: ce note sună, unde începe o notă și curba exactă a înălțimii. Un al doilea pas, pe care l-am portat din codul publicat de Spotify, transformă aceste răspunsuri în note. Caută începuturi peste un prag, urmărește fiecare notă până când sunetul se stinge, aruncă notele prea scurte și apoi caută din nou notele lungi care n-au avut un început clar. Curba înălțimii dă pitch bend-urile opționale.

Totul rulează într-un worker în browserul tău, cu ONNX Runtime Web. Pagina păstrează matricile din model, deci când miști un slider notele sunt decodate din nou pe loc, iar modelul nu rulează a doua oară. Înregistrarea ta nu este trimisă nicăieri.

Obține un MIDI mai curat din înregistrarea ta

Cele mai bune rezultate vin de la un singur instrument pe rând, cântat clar și fără prea mult reverb: o probă de pian, o linie vocală, un riff de chitară, un bas. Zgomotul, ecoul și efectele care șterg o notă fac modelul mai nesigur. Dacă înregistrarea ta are mult sunet de cameră, o probă uscată dă aproape mereu note mai bune.

O melodie întreagă cu tobe, bas, acorduri și voce este cazul cel mai greu. Modelul nu a fost antrenat să deosebească instrumentele, deci primești un singur set mixt de note, iar tobele adaugă note rătăcite. Împarte mai întâi melodia în stems și convertește partea pe care o vrei. Separatorul nostru de stems face asta tot în browser.

Dacă lipsesc note, mărește sensibilitatea sau micșorează cea mai scurtă notă. Dacă vezi prea multe note mici, fă invers sau restrânge registrul la instrumentul pe care l-ai înregistrat. Pentru o singură voce sau un lead, pornește o notă pe rând: câștigă nota cea mai puternică atunci când două se suprapun, ceea ce curăță cele mai multe note rătăcite.

Setările, pe înțelesul tuturor

Sensibilitatea stabilește cât de sigur trebuie să fie modelul înainte să scrie o notă. Mai sus dă mai multe note, inclusiv unele care nu există. Mai jos păstrează doar pe cele clare. Mijlocul este valoarea implicită a Spotify.

Cea mai scurtă notă aruncă notele mai scurte decât atâtea milisecunde. Dacă o mărești, cureți o voce tremurată. Dacă o micșorezi, păstrezi pasajele rapide. Registrul oprește tot ce e deasupra și dedesubtul notelor alese, cea mai rapidă cale de a opri o linie de bas să producă note înalte rătăcite.

O notă pe rând păstrează doar cea mai tare notă din fiecare moment, pentru voce, bas și linii lead. Pitch bend-urile adaugă micile alunecări de înălțime, până la două semitonuri, ca mesaje MIDI de pitch bend, deci o alunecare cântată sau un bend de chitară supraviețuiesc. Bend-urile se scriu doar pentru notele care nu se suprapun cu alta, fiindcă un canal MIDI are un singur bend odată.

Cele patru puncte de plecare, pian, voce sau fredonat, chitară și bas, sunt setări alese de noi după ureche. Nu sunt magie. Alege-l pe cel mai apropiat, apoi ajustează cu propriile urechi.

Ce fac oamenii cu MIDI-ul

Producătorii îl folosesc ca să facă sampling de idei fără sampling de sunet. Fredonează o linie de bas în telefon, convertește-o și dă-o unui sintetizator. Înregistrează o idee la pian, ia notele și reorchestrează-o cu alt instrument. Scoate melodia dintr-o piesă de referință și schimb-o destul cât să fie a ta.

DJ-ii și remixerii îl folosesc ca să găsească notele unui hook sau ale unei linii de bas, ca să scrie o parte nouă în aceeași tonalitate, apoi verifică tempoul și tonalitatea cu celelalte unelte ale noastre. Cântăreții și compozitorii transformă o notă vocală în note pe care să le trimită unui producător sau ca să vadă ce note au cântat de fapt.

Profesorii și elevii folosesc piano roll-ul ca să vadă o melodie pe care o aud, să exerseze după ureche și să se verifice. Aranjorii pot converti o partidă, o pot curăța în DAW și o pot tipări de acolo.

Ce este în fișierul MIDI

Primești un fișier MIDI standard, format 1, cu o pistă de tempo și o partidă care conține toate notele. Velocity vine din cât de puternic a sunat fiecare notă. Dacă pornești pitch bend-urile, curba de bend se scrie la plus sau minus două semitonuri, care este registrul implicit al celor mai multor instrumente.

Notele sunt plasate în timp real, deci se aliniază cu înregistrarea originală. Fișierul poartă și un tempo, ca grila DAW-ului tău să aibă ce arăta. Îl estimăm din audio și îl arătăm într-o casetă peste care poți scrie. Dacă estimarea e jumătate sau dublul tempoului real, notele sună tot la momentul potrivit, doar măsurile se desenează diferit. Trage fișierul în Ableton Live, Logic, FL Studio, Cubase, Reaper, GarageBand sau orice alt DAW.

Ce nu poate face

Preferăm să-ți spunem decât să afli singur. Nu transcrie tobele. Nu numește acorduri și nu scrie o partitură. Nu separă instrumentele dintr-un mix. Pe o melodie întreagă și densă va pierde note și va adăuga unele greșite. Notele foarte joase și cele foarte înalte sunt mai puțin sigure, iar pasajele rapide și line se amestecă.

Citește până la 10 minute de audio odată, un singur fișier pe rând. Este o beta: spune-ne la info@obra.art ce greșește și ne uităm la asta.