Convertitore da audio a MIDI

Cosa fa audio to MIDI

L’audio è la registrazione di ciò che ha fatto un suono. Il MIDI è l’istruzione per suonarlo: quale nota, quando inizia, quanto dura e con quanta forza è stata suonata. Un convertitore da audio a MIDI ascolta una registrazione e riscrive quelle istruzioni. Poi suoni le stesse note con qualsiasi strumento nella tua DAW, correggi quella sbagliata, cambi tonalità o le stampi come partitura.

La conversione in questo strumento è polifonica, il che significa che può trovare più note nello stesso momento. Conta per un pianoforte, una chitarra con accordi o un sintetizzatore a più strati. Funziona anche su una linea singola come una voce, un basso o un sassofono.

Puoi usarlo come convertitore da MP3 a MIDI, da WAV a MIDI, da voce a MIDI o da fischio a MIDI. Il tipo di file non cambia il metodo: l’audio viene decodificato nel tuo browser e lo ascolta lo stesso modello.

Come funziona questo convertitore

Il modello è Basic Pitch, un modello open source del team di ricerca di Spotify, pubblicato a ICASSP 2022 con licenza Apache 2.0. È piccolo, circa 0,2 MB. Il tuo file viene prima mixato in mono e ricampionato a 22.050 Hz. Poi viene tagliato in finestre di due secondi che si sovrappongono un poco, e il modello legge ogni finestra.

Per ogni frammento di tempo (circa 86 al secondo) dà tre risposte per le 88 note di un pianoforte: quali note stanno suonando, dove inizia una nota, e la curva esatta dell’altezza. Un secondo passaggio, che abbiamo portato dal codice pubblicato da Spotify, trasforma quelle risposte in note. Cerca gli attacchi sopra una soglia, segue ognuno finché il suono si spegne, scarta le note troppo brevi e poi cerca di nuovo le note lunghe che non avevano un attacco chiaro. La curva dell’altezza dà i pitch bend facoltativi.

Tutto gira in un worker nel tuo browser, con ONNX Runtime Web. La pagina conserva le matrici del modello, quindi quando muovi un cursore le note vengono decodificate di nuovo subito e il modello non gira una seconda volta. La tua registrazione non viene mai inviata da nessuna parte.

Ottieni un MIDI più pulito dalla tua registrazione

I risultati migliori vengono da uno strumento alla volta, suonato in modo chiaro e senza molto riverbero: una ripresa di piano, una linea vocale, un riff di chitarra, un basso. Rumore, eco ed effetti che sbavano una nota rendono il modello meno sicuro. Se la tua registrazione ha molto suono d’ambiente, una ripresa secca dà quasi sempre note migliori.

Una canzone intera con batteria, basso, accordi e voce è il caso più difficile. Il modello non è stato addestrato a distinguere gli strumenti, quindi ottieni un unico insieme misto di note, e la batteria ne aggiunge di spurie. Dividi prima la canzone in stem e converti la parte che vuoi. Il nostro stem splitter lo fa anche nel browser.

Se mancano note, alza la sensibilità o abbassa la nota più breve. Se vedi troppe note piccole, fai il contrario, o restringi l’estensione allo strumento che hai registrato. Per una voce singola o un lead, attiva una nota alla volta: vince la nota più forte quando due si sovrappongono, il che elimina la maggior parte delle note spurie.

Le impostazioni, in parole semplici

La sensibilità decide quanto il modello deve essere sicuro prima di scrivere una nota. Più alta dà più note, comprese alcune che non ci sono. Più bassa tiene solo quelle chiare. La posizione centrale è il valore predefinito di Spotify.

La nota più breve scarta le note più corte di questi millisecondi. Alzarla ripulisce una voce tremolante. Abbassarla mantiene i passaggi veloci. L’estensione disattiva tutto ciò che sta sopra e sotto le note che scegli, il modo più rapido per impedire a una linea di basso di produrre note acute spurie.

Una nota alla volta tiene solo la nota più forte in ogni momento, per linee di voce, basso e lead. I pitch bend aggiungono i piccoli scivolamenti di altezza, fino a due semitoni, come messaggi MIDI di pitch bend, così un glissando cantato o una tirata di chitarra sopravvivono. I bend vengono scritti solo per le note che non si sovrappongono a un’altra, perché un canale MIDI ha un solo bend alla volta.

I quattro punti di partenza, piano, voce o fischiettio, chitarra e basso, sono impostazioni scelte a orecchio. Non sono magia. Scegli il più vicino, poi regola con le tue orecchie.

Cosa si fa con il MIDI

I produttori lo usano per campionare idee senza campionare il suono. Fischietta una linea di basso nello smartphone, convertila e dalla a un sintetizzatore. Registra un’idea di piano, ottieni le note e riassegnale a un altro strumento. Estrai la melodia da un brano di riferimento e cambiala abbastanza da farla tua.

DJ e remixer lo usano per trovare le note di un gancio o di una linea di basso così da scrivere una nuova parte nella stessa tonalità, poi controllano tempo e tonalità con i nostri altri strumenti. Cantanti e autori trasformano una nota vocale in note da mandare a un produttore o per vedere quali note hanno davvero cantato.

Insegnanti e studenti usano il piano roll per vedere una melodia che ascoltano, esercitarsi a orecchio e verificarsi. Gli arrangiatori possono convertire una parte, ripulirla nella DAW e stamparla da lì.

Cosa c’è dentro il file MIDI

Ottieni un file MIDI standard, formato 1, con una traccia del tempo e una parte che contiene tutte le note. La velocity deriva da quanto forte suonava ogni nota. Se attivi i pitch bend, la curva del bend viene scritta a più o meno due semitoni, che è l’estensione predefinita della maggior parte degli strumenti.

Le note sono collocate in tempo reale, quindi si allineano con la tua registrazione originale. Il file porta anche un tempo, così la griglia della tua DAW ha qualcosa da mostrare. Lo stimiamo dall’audio e lo mostriamo in un riquadro su cui puoi scrivere. Se la stima è metà o il doppio del tempo reale, le note suonano comunque al momento giusto, cambia solo come sono disegnate le battute. Trascina il file in Ableton Live, Logic, FL Studio, Cubase, Reaper, GarageBand o qualsiasi altra DAW.

Cosa non può fare

Preferiamo dirtelo che fartelo scoprire. Non trascrive la batteria. Non dà il nome agli accordi né scrive una partitura. Non separa gli strumenti in un mix. Su una canzone intera e densa perderà note e ne aggiungerà di sbagliate. Le note molto basse e molto alte sono meno affidabili, e i passaggi veloci e piano si impastano.

Legge fino a 10 minuti di audio alla volta, un file per volta. È una beta: dicci a info@obra.art cosa sbaglia e ci daremo un’occhiata.