Audio naar MIDI converter

Wat audio naar MIDI doet

Audio is een opname van wat een geluid deed. MIDI is de instructie om het te spelen: welke noot, wanneer hij begint, hoe lang hij duurt en hoe hard hij werd gespeeld. Een audio naar MIDI converter luistert naar een opname en schrijft die instructies terug. Daarna speel je dezelfde noten met elk instrument in je DAW, herstel je een foute noot, verander je de toonsoort of print je ze als partituur.

De conversie in deze tool is polyfoon, wat betekent dat hij meerdere noten op hetzelfde moment kan vinden. Dat is belangrijk voor een piano, een gitaar met akkoorden of een gelaagde synth. Het werkt ook op een enkele lijn zoals een stem, een bas of een saxofoon.

Je kunt het gebruiken als MP3 naar MIDI converter, WAV naar MIDI converter, zang naar MIDI-tool of neuriën naar MIDI-tool. Het bestandstype verandert de methode niet: de audio wordt in je browser gedecodeerd en hetzelfde model luistert ernaar.

Hoe deze converter werkt

Het model is Basic Pitch, een open source model van het onderzoeksteam van Spotify, gepubliceerd op ICASSP 2022 onder de Apache 2.0-licentie. Het is klein, ongeveer 0,2 MB. Je bestand wordt eerst naar mono gemixt en omgezet naar 22.050 Hz. Daarna wordt het in vensters van twee seconden geknipt die een beetje overlappen, en het model leest elk venster.

Voor elk tijdsplakje (ongeveer 86 per seconde) geeft het drie antwoorden voor de 88 noten van een piano: welke noten klinken, waar een noot begint en de exacte toonhoogtecurve. Een tweede stap, die we hebben overgezet uit de gepubliceerde code van Spotify, zet die antwoorden om in noten. Hij zoekt beginpunten boven een drempel, volgt elk ervan tot het geluid wegsterft, laat te korte noten vallen en zoekt dan opnieuw naar lange noten zonder duidelijk begin. De toonhoogtecurve geeft de optionele pitch bends.

Dit alles draait in een worker in je browser, met ONNX Runtime Web. De pagina bewaart de matrices van het model, dus als je een schuifregelaar verplaatst, worden de noten meteen opnieuw gedecodeerd en draait het model niet nog een keer. Je opname wordt nergens heen gestuurd.

Schonere MIDI uit je opname halen

De beste resultaten komen van één instrument tegelijk, duidelijk gespeeld en zonder veel galm: een pianotake, een zanglijn, een gitaarriff, een bas. Ruis, echo en effecten die een noot uitsmeren maken het model minder zeker. Heeft je opname veel ruimtegeluid, dan geeft een droge take bijna altijd betere noten.

Een volledig nummer met drums, bas, akkoorden en zang is het moeilijkste geval. Het model is niet getraind om instrumenten van elkaar te onderscheiden, dus je krijgt één gemengde set noten en drums voegen er verdwaalde aan toe. Splits het nummer eerst in stems en converteer het deel dat je wilt. Onze stem splitter doet dat ook in de browser.

Ontbreken er noten, verhoog dan de gevoeligheid of verlaag de kortste noot. Zie je te veel kleine noten, doe dan het omgekeerde, of beperk het toonhoogtebereik tot het instrument dat je hebt opgenomen. Zet voor één stem of een lead één noot tegelijk aan: de sterkste noot wint als twee elkaar overlappen, wat de meeste verdwaalde noten opruimt.

De instellingen in gewone woorden

Gevoeligheid bepaalt hoe zeker het model moet zijn voordat het een noot schrijft. Hoger geeft meer noten, ook sommige die er niet zijn. Lager houdt alleen de duidelijke over. Het midden is de eigen standaard van Spotify.

Kortste noot gooit noten weg die korter zijn dan dit aantal milliseconden. Verhogen ruimt een onvaste stem op. Verlagen behoudt snelle loopjes. Toonhoogtebereik schakelt alles boven en onder de gekozen noten uit, wat de snelste manier is om te voorkomen dat een baslijn hoge verdwaalde noten oplevert.

Eén noot tegelijk houdt op elk moment alleen de luidste noot over, voor zang, bas en leadlijnen. Pitch bends voegen de kleine glijdingen in toonhoogte toe, tot twee halve tonen, als MIDI pitch bend-berichten, zodat een gezongen glijding of een gitaarbend behouden blijft. Bends worden alleen geschreven voor noten die geen andere noot overlappen, omdat een MIDI-kanaal maar één bend tegelijk heeft.

De vier uitgangspunten, piano, zang of neuriën, gitaar en bas, zijn instellingen die we op gehoor hebben gekozen. Het is geen toverij. Kies de dichtstbijzijnde en pas aan met je eigen oren.

Wat mensen met de MIDI doen

Producers gebruiken het om ideeën te samplen zonder geluid te samplen. Neurie een baslijn in je telefoon, converteer hem en geef hem aan een synth. Neem een pianoidee op, krijg de noten en geef ze een andere klank met een ander instrument. Haal de melodie uit een referentietrack en verander hem genoeg om hem de jouwe te maken.

Dj's en remixers gebruiken het om de noten van een hook of baslijn te vinden, zodat ze een nieuwe partij in dezelfde toonsoort kunnen schrijven, en controleren daarna het tempo en de toonsoort met onze andere tools. Zangers en songwriters zetten een spraakmemo om in noten om naar een producer te sturen of om te zien welke noten ze echt hebben gezongen.

Docenten en leerlingen gebruiken de piano roll om een melodie te zien die ze horen, op gehoor te oefenen en zichzelf te controleren. Arrangeurs kunnen een partij converteren, hem in de DAW opschonen en vanaf daar printen.

Wat er in het MIDI-bestand zit

Je krijgt een standaard MIDI-bestand, formaat 1, met een tempospoor en één partij die alle noten bevat. De velocity komt van hoe sterk elke noot klonk. Zet je pitch bends aan, dan wordt de bendcurve geschreven op plus of min twee halve tonen, het standaardbereik van de meeste instrumenten.

De noten staan in echte tijd, dus ze liggen op één lijn met je originele opname. Het bestand bevat ook een tempo, zodat het raster van je DAW iets heeft om te tonen. We schatten het uit de audio in en tonen het in een vak waar je overheen kunt typen. Is de schatting de helft of het dubbele van het echte tempo, dan klinken de noten nog steeds op het juiste moment, alleen de maten worden anders getekend. Sleep het bestand in Ableton Live, Logic, FL Studio, Cubase, Reaper, GarageBand of elke andere DAW.

Wat het niet kan

We vertellen het je liever dan dat je het zelf ontdekt. Het transcribeert geen drums. Het benoemt geen akkoorden en schrijft geen partituur. Het scheidt geen instrumenten in een mix. In een drukke volledige mix mist het noten en voegt het foute toe. Heel lage en heel hoge noten zijn minder betrouwbaar, en snelle, zachte passages lopen in elkaar over.

Het leest tot 10 minuten audio tegelijk, één bestand per keer. Dit is een beta: vertel ons via info@obra.art wat er fout gaat en we kijken ernaar.