Audio till MIDI: gratis AI-konverterare

Vad audio till MIDI gör

Audio är en inspelning av vad ett ljud gjorde. MIDI är instruktionen för att spela det: vilken ton, när den börjar, hur länge den varar och hur hårt den spelades. En konverterare från audio till MIDI lyssnar på en inspelning och skriver tillbaka de instruktionerna. Sedan spelar du samma toner med vilket instrument som helst i din DAW, rättar en fel ton, ändrar tonart eller skriver ut dem som noter.

Konverteringen i det här verktyget är polyfon, vilket betyder att den kan hitta flera toner i samma ögonblick. Det spelar roll för ett piano, en gitarr med ackord eller en synt med lager. Den fungerar också på en enda stämma som en röst, en bas eller en saxofon.

Du kan använda den som en MP3 till MIDI-konverterare, en WAV till MIDI-konverterare, ett verktyg för röst till MIDI eller ett verktyg för gnolande till MIDI. Filtypen ändrar inte metoden: ljudet avkodas i din webbläsare och samma modell lyssnar på det.

Så fungerar den här konverteraren

Modellen är Basic Pitch, en öppen källkodsmodell från Spotifys forskarteam, publicerad på ICASSP 2022 under Apache 2.0-licensen. Den är liten, ungefär 0,2 MB. Din fil mixas först till mono och samplas om till 22 050 Hz. Sedan klipps den i fönster på två sekunder som överlappar lite, och modellen läser varje fönster.

För varje tidsskiva (ungefär 86 per sekund) ger den tre svar för pianots 88 toner: vilka toner som ljuder, var en ton börjar och den exakta tonhöjdskurvan. Ett andra steg, som vi har porterat från Spotifys publicerade kod, gör om de svaren till noter. Det letar efter starter över ett tröskelvärde, följer var och en tills ljudet klingar ut, släpper toner som är för korta och letar sedan igen efter långa toner som inte hade någon tydlig start. Tonhöjdskurvan ger de valfria pitch bends.

Allt körs i en worker i din webbläsare, med ONNX Runtime Web. Sidan behåller matriserna från modellen, så när du flyttar ett reglage avkodas noterna om direkt och modellen körs inte en andra gång. Din inspelning skickas aldrig någonstans.

Få renare MIDI från din inspelning

De bästa resultaten kommer från ett instrument i taget, spelat tydligt och utan mycket efterklang: en pianotagning, en sånglinje, ett gitarriff, en bas. Brus, eko och effekter som smetar ut en ton gör modellen mindre säker. Om din inspelning har mycket rumsljud ger en torr tagning nästan alltid bättre noter.

En hel låt med trummor, bas, ackord och sång är det svåraste fallet. Modellen tränades inte för att skilja instrument åt, så du får en blandad uppsättning toner, och trummor lägger till lösa. Dela upp låten i stems först och konvertera stämman du vill ha. Vår stem splitter gör det i webbläsaren också.

Om toner saknas, höj känsligheten eller sänk kortaste ton. Om du ser för många små toner, gör tvärtom, eller smalna av tonhöjdsomfånget till instrumentet du spelade in. För en enda röst eller en lead, slå på en ton i taget: den starkaste tonen vinner när två överlappar, vilket rensar bort de flesta lösa tonerna.

Inställningarna, med enkla ord

Känslighet avgör hur säker modellen måste vara innan den skriver en ton. Högre ger fler toner, även några som inte finns där. Lägre behåller bara de tydliga. Mitten är Spotifys eget standardvärde.

Kortaste ton kastar bort toner som är kortare än så många millisekunder. Höjer du den städas en darrig röst upp. Sänker du den behålls snabba löpningar. Tonhöjdsomfånget stänger av allt över och under tonerna du väljer, vilket är det snabbaste sättet att hindra en baslinje från att ge höga lösa toner.

En ton i taget behåller bara den starkaste tonen i varje ögonblick, för röst, bas och leadstämmor. Pitch bends lägger till de små glidningarna i tonhöjd, upp till två halvtoner, som MIDI pitch bend-meddelanden, så att ett sjunget glid eller en gitarrbend överlever. Bends skrivs bara för toner som inte överlappar en annan ton, eftersom en MIDI-kanal har en bend i taget.

De fyra utgångspunkterna, piano, sång eller gnolande, gitarr och bas, är inställningar vi valde på gehör. De är ingen magi. Välj den närmaste och justera sedan med dina egna öron.

Vad folk gör med MIDI

Producenter använder det för att sampla idéer utan att sampla ljud. Gnola en baslinje i telefonen, konvertera den och ge den till en synt. Spela in en pianoidé, få noterna och sätt en annan röst på dem med ett annat instrument. Dra ut melodin ur ett referensspår och ändra den tillräckligt för att göra den till din.

DJ:s och remixare använder det för att hitta tonerna i en hook eller en baslinje så att de kan skriva en ny stämma i samma tonart, och sedan kolla tempo och tonart med våra andra verktyg. Sångare och låtskrivare gör om ett röstmemo till noter att skicka till en producent eller för att se vilka toner de faktiskt sjöng.

Lärare och elever använder pianorullen för att se en melodi de hör, öva på gehör och kontrollera sig själva. Arrangörer kan konvertera en stämma, städa upp den i DAW:en och skriva ut den därifrån.

Vad som finns i MIDI-filen

Du får en vanlig MIDI-fil, format 1, med ett tempospår och en stämma som innehåller alla toner. Velocity kommer från hur starkt varje ton lät. Om du slår på pitch bends skrivs bendkurvan på plus eller minus två halvtoner, vilket är standardomfånget för de flesta instrument.

Tonerna placeras i verklig tid, så de linjerar med din ursprungliga inspelning. Filen bär också ett tempo så att din DAW:s raster har något att visa. Vi uppskattar det från ljudet och visar det i en ruta du kan skriva över. Om uppskattningen är hälften eller dubbelt så hög som det riktiga tempot låter tonerna ändå i rätt ögonblick, bara takterna ritas annorlunda. Dra filen till Ableton Live, Logic, FL Studio, Cubase, Reaper, GarageBand eller vilken annan DAW som helst.

Vad den inte kan

Vi säger det hellre än låter dig upptäcka det. Den transkriberar inte trummor. Den namnger inte ackord och skriver inga noter. Den skiljer inte instrument i en mix. På en tät hel låt missar den toner och lägger till fel. Mycket låga och mycket höga toner är mindre pålitliga, och snabba, tysta partier flyter ihop.

Den läser upp till 10 minuter ljud åt gången, en fil i taget. Det här är en beta: berätta på info@obra.art vad den gör fel så tittar vi på det.