Konwerter audio na MIDI

Co robi konwersja audio na MIDI

Audio to zapis tego, co zrobił dźwięk. MIDI to instrukcja, jak go zagrać: jaka nuta, kiedy się zaczyna, jak długo trwa i jak mocno została zagrana. Konwerter audio na MIDI nasłuchuje nagrania i zapisuje te instrukcje z powrotem. Potem grasz te same nuty dowolnym instrumentem w swoim DAW, poprawiasz błędną, zmieniasz tonację albo drukujesz je jako partyturę.

Konwersja w tym narzędziu jest polifoniczna, czyli potrafi znaleźć kilka nut w tej samej chwili. To ważne dla pianina, gitary z akordami i warstwowego syntezatora. Działa też na pojedynczej linii, takiej jak głos, bas czy saksofon.

Możesz używać go jako konwertera MP3 na MIDI, konwertera WAV na MIDI, narzędzia głos na MIDI albo nucenie na MIDI. Typ pliku nie zmienia metody: audio jest dekodowane w przeglądarce i słucha go ten sam model.

Jak działa ten konwerter

Model to Basic Pitch, otwartoźródłowy model zespołu badawczego Spotify, opublikowany na ICASSP 2022 na licencji Apache 2.0. Jest mały, około 0,2 MB. Twój plik jest najpierw miksowany do mono i resamplowany do 22 050 Hz. Potem jest cięty na okna po dwie sekundy, które trochę się nakładają, a model czyta każde okno.

Dla każdego wycinka czasu (około 86 na sekundę) daje trzy odpowiedzi dla 88 dźwięków pianina: które nuty brzmią, gdzie nuta się zaczyna i dokładną krzywą wysokości. Drugi krok, który przenieśliśmy z opublikowanego kodu Spotify, zamienia te odpowiedzi na nuty. Szuka początków powyżej progu, śledzi każdy, aż dźwięk wygaśnie, odrzuca zbyt krótkie nuty, a potem jeszcze raz szuka długich nut, które nie miały wyraźnego początku. Krzywa wysokości daje opcjonalne zginanie dźwięku.

Wszystko działa w workerze w twojej przeglądarce, przez ONNX Runtime Web. Strona zachowuje macierze z modelu, więc gdy ruszasz suwakiem, nuty są dekodowane od nowa od razu, a model nie uruchamia się drugi raz. Twoje nagranie nie jest nigdzie wysyłane.

Czystsze MIDI z twojego nagrania

Najlepsze wyniki dają pojedyncze instrumenty grane wyraźnie i bez dużego pogłosu: ujęcie pianina, linia wokalna, riff gitary, bas. Szum, echo i efekty, które rozmywają nutę, zmniejszają pewność modelu. Jeśli w nagraniu jest dużo dźwięku pomieszczenia, suche ujęcie prawie zawsze daje lepsze nuty.

Cały utwór z perkusją, basem, akordami i wokalem to najtrudniejszy przypadek. Model nie był trenowany, żeby rozróżniać instrumenty, więc dostajesz jeden zmiksowany zestaw nut, a perkusja dokłada zbłąkane. Najpierw podziel utwór na stemy i skonwertuj partię, którą chcesz. Nasz stem splitter robi to także w przeglądarce.

Jeśli brakuje nut, podnieś czułość albo obniż najkrótszą nutę. Jeśli widzisz za dużo małych nut, zrób odwrotnie albo zawęź zakres wysokości do instrumentu, który nagrałeś. Dla pojedynczego głosu lub leadu włącz jedną nutę naraz: gdy dwie się nakładają, wygrywa najsilniejsza, co usuwa większość zbłąkanych nut.

Ustawienia prostymi słowami

Czułość określa, jak pewny musi być model, zanim zapisze nutę. Wyższa daje więcej nut, w tym takie, których nie ma. Niższa zostawia tylko wyraźne. Środek to domyślne ustawienie Spotify.

Najkrótsza nuta odrzuca nuty krótsze niż tyle milisekund. Podniesienie jej oczyszcza drżący głos. Obniżenie zachowuje szybkie przebiegi. Zakres wysokości wyłącza wszystko powyżej i poniżej wybranych nut, co jest najszybszym sposobem, żeby linia basu nie dawała wysokich zbłąkanych nut.

Jedna nuta naraz zostawia tylko najgłośniejszą nutę w każdej chwili, dla głosu, basu i linii leadu. Zginanie dźwięku dodaje małe ślizgi wysokości, do dwóch półtonów, jako komunikaty pitch bend MIDI, więc śpiewany glissando czy zagięcie struny przeżywają. Zgięcia są zapisywane tylko dla nut, które nie nakładają się na inną, bo kanał MIDI ma jedno zgięcie naraz.

Cztery punkty startowe, pianino, głos lub nucenie, gitara i bas, to ustawienia, które wybraliśmy na ucho. To nie magia. Wybierz najbliższy, a potem dopasuj własnymi uszami.

Co ludzie robią z MIDI

Producenci używają go do samplowania pomysłów bez samplowania dźwięku. Zanuć linię basu do telefonu, skonwertuj ją i oddaj syntezatorowi. Nagraj pomysł na pianinie, dostań nuty i zagraj je innym instrumentem. Wyciągnij melodię z utworu referencyjnego i zmień ją na tyle, żeby była twoja.

Didżeje i remikserzy używają go, żeby znaleźć nuty hooka lub linii basu, napisać nową partię w tej samej tonacji, a potem sprawdzić tempo i tonację naszymi innymi narzędziami. Wokaliści i autorzy piosenek zamieniają notatkę głosową na nuty, żeby wysłać je producentowi albo zobaczyć, jakie nuty naprawdę zaśpiewali.

Nauczyciele i uczniowie używają piano rolla, żeby zobaczyć melodię, którą słyszą, ćwiczyć ze słuchu i sprawdzać siebie. Aranżerzy mogą skonwertować partię, oczyścić ją w DAW i stamtąd wydrukować.

Co jest w pliku MIDI

Dostajesz standardowy plik MIDI, format 1, ze ścieżką tempa i jedną partią, która zawiera wszystkie nuty. Velocity pochodzi z tego, jak silnie brzmiała każda nuta. Jeśli włączysz zginanie dźwięku, krzywa jest zapisywana w zakresie plus minus dwa półtony, czyli domyślnym zakresie większości instrumentów.

Nuty są umieszczone w czasie rzeczywistym, więc pokrywają się z oryginalnym nagraniem. Plik niesie też tempo, żeby siatka twojego DAW miała co pokazać. Szacujemy je z audio i pokazujemy w polu, które możesz nadpisać. Jeśli szacunek to połowa lub podwójne prawdziwe tempo, nuty nadal brzmią we właściwych momentach, tylko takty są rysowane inaczej. Przeciągnij plik do Ableton Live, Logic, FL Studio, Cubase, Reaper, GarageBand albo innego DAW.

Czego nie potrafi

Wolimy ci powiedzieć, niż żebyś sam się dowiadywał. Nie transkrybuje perkusji. Nie nazywa akordów ani nie pisze partytury. Nie rozdziela instrumentów w miksie. W gęstym pełnym utworze pominie nuty i doda błędne. Bardzo niskie i bardzo wysokie nuty są mniej wiarygodne, a szybkie, ciche przebiegi zlewają się.

Czyta do 10 minut audio naraz, jeden plik na raz. To beta: napisz na info@obra.art, w czym się myli, a przyjrzymy się temu.