Convertisseur audio en MIDI

Ce que fait la conversion audio en MIDI

L’audio est l’enregistrement de ce qu’un son a fait. Le MIDI est la consigne pour le jouer : quelle note, quand elle commence, combien de temps elle dure et avec quelle force elle a été jouée. Un convertisseur audio en MIDI écoute un enregistrement et réécrit ces consignes. Vous jouez ensuite les mêmes notes avec n’importe quel instrument de votre DAW, vous corrigez une fausse note, vous changez la tonalité ou vous les imprimez en partition.

La conversion de cet outil est polyphonique : elle peut trouver plusieurs notes au même instant. C’est important pour un piano, une guitare avec des accords ou un synthé en couches. Elle marche aussi sur une ligne seule, comme une voix, une basse ou un saxophone.

Vous pouvez l’utiliser comme convertisseur MP3 en MIDI, convertisseur WAV en MIDI, outil voix en MIDI ou outil fredonnement en MIDI. Le type de fichier ne change pas la méthode : l’audio est décodé dans votre navigateur et le même modèle l’écoute.

Comment fonctionne ce convertisseur

Le modèle est Basic Pitch, un modèle open source de l’équipe de recherche de Spotify, publié à l’ICASSP 2022 sous licence Apache 2.0. Il est petit, environ 0,2 Mo. Votre fichier est d’abord mixé en mono et rééchantillonné à 22 050 Hz. Il est ensuite découpé en fenêtres de deux secondes qui se chevauchent un peu, et le modèle lit chaque fenêtre.

Pour chaque tranche de temps (environ 86 par seconde), il donne trois réponses pour les 88 notes d’un piano : quelles notes sonnent, où une note commence, et la courbe exacte de hauteur. Une deuxième étape, que nous avons portée depuis le code publié par Spotify, transforme ces réponses en notes. Elle cherche les débuts au-dessus d’un seuil, suit chacun jusqu’à ce que le son s’éteigne, écarte les notes trop courtes, puis cherche de nouveau les notes longues qui n’avaient pas de début net. La courbe de hauteur fournit les pitch bends, en option.

Tout cela tourne dans un worker de votre navigateur, avec ONNX Runtime Web. La page conserve les matrices issues du modèle : quand vous bougez un curseur, les notes sont décodées de nouveau tout de suite et le modèle ne tourne pas une seconde fois. Votre enregistrement n’est jamais envoyé nulle part.

Obtenir un MIDI plus propre à partir de votre enregistrement

Les meilleurs résultats viennent d’un instrument à la fois, joué clairement et sans trop de reverb : une prise de piano, une ligne de chant, un riff de guitare, une basse. Le bruit, l’écho et les effets qui étalent une note rendent le modèle moins sûr. Si votre enregistrement contient beaucoup de son de pièce, une prise sèche donne presque toujours de meilleures notes.

Un morceau complet, avec batterie, basse, accords et voix, est le cas le plus difficile. Le modèle n’a pas été entraîné à distinguer les instruments : vous obtenez donc un seul ensemble de notes mélangées, et la batterie en ajoute des parasites. Séparez d’abord le morceau en stems et convertissez la partie qui vous intéresse. Notre séparateur de stems le fait aussi dans le navigateur.

S’il manque des notes, augmentez la sensibilité ou diminuez la note la plus courte. Si vous voyez trop de petites notes, faites l’inverse, ou resserrez la plage de hauteurs sur l’instrument enregistré. Pour une voix seule ou un lead, activez une note à la fois : la note la plus forte l’emporte quand deux se chevauchent, ce qui élimine la plupart des notes parasites.

Les réglages, en termes simples

La sensibilité fixe à quel point le modèle doit être sûr avant d’écrire une note. Plus haut, il donne plus de notes, dont certaines qui n’existent pas. Plus bas, il ne garde que les notes nettes. Le milieu correspond au réglage par défaut de Spotify.

La note la plus courte écarte les notes plus brèves que ce nombre de millisecondes. L’augmenter nettoie une voix tremblante. La diminuer conserve les traits rapides. La plage de hauteurs coupe tout ce qui est au-dessus et au-dessous des notes que vous choisissez : c’est le moyen le plus rapide d’empêcher une ligne de basse de produire des notes aiguës parasites.

Une note à la fois ne garde que la note la plus forte à chaque instant, pour les voix, les basses et les lignes de lead. Les pitch bends ajoutent les petits glissements de hauteur, jusqu’à deux demi-tons, sous forme de messages de pitch bend MIDI : un glissando chanté ou un bend de guitare survit ainsi. Les bends ne sont écrits que pour les notes qui n’en chevauchent pas d’autre, car un canal MIDI n’a qu’un seul bend à la fois.

Les quatre points de départ, piano, voix ou fredonnement, guitare et basse, sont des réglages choisis à l’oreille. Ils n’ont rien de magique. Prenez le plus proche, puis ajustez avec vos propres oreilles.

Ce que l’on fait du MIDI

Les producteurs s’en servent pour échantillonner des idées sans échantillonner du son. Fredonnez une ligne de basse dans votre téléphone, convertissez-la et confiez-la à un synthé. Enregistrez une idée au piano, récupérez les notes et rejouez-les avec un autre instrument. Tirez la mélodie d’un morceau de référence et modifiez-la assez pour qu’elle devienne la vôtre.

Les DJ et les remixeurs s’en servent pour trouver les notes d’un hook ou d’une ligne de basse et écrire une nouvelle partie dans la même tonalité, puis vérifier le tempo et la tonalité avec nos autres outils. Les chanteurs et les auteurs-compositeurs transforment un mémo vocal en notes à envoyer à un producteur ou pour voir quelles notes ils ont réellement chantées.

Les professeurs et les élèves se servent du piano roll pour voir une mélodie qu’ils entendent, travailler à l’oreille et se vérifier. Les arrangeurs peuvent convertir une partie, la nettoyer dans le DAW et l’imprimer à partir de là.

Ce que contient le fichier MIDI

Vous obtenez un fichier MIDI standard, de format 1, avec une piste de tempo et une partie qui contient toutes les notes. La vélocité vient de la force avec laquelle chaque note a sonné. Si vous activez les pitch bends, la courbe est écrite à plus ou moins deux demi-tons, la plage par défaut de la plupart des instruments.

Les notes sont placées en temps réel, elles s’alignent donc sur votre enregistrement d’origine. Le fichier contient aussi un tempo, pour que la grille de votre DAW ait quelque chose à afficher. Nous l’estimons à partir de l’audio et l’affichons dans une case que vous pouvez corriger. Si l’estimation fait la moitié ou le double du vrai tempo, les notes sonnent quand même au bon moment, seules les mesures sont dessinées autrement. Glissez le fichier dans Ableton Live, Logic, FL Studio, Cubase, Reaper, GarageBand ou n’importe quel autre DAW.

Ce qu’il ne sait pas faire

Nous préférons vous le dire plutôt que vous le fassiez découvrir. Il ne transcrit pas la batterie. Il ne nomme pas les accords et n’écrit pas de partition. Il ne sépare pas les instruments d’un mix. Sur un morceau complet et dense, il manquera des notes et en ajoutera de fausses. Les notes très graves et très aiguës sont moins fiables, et les passages rapides et faibles se mélangent.

Il lit jusqu’à 10 minutes d’audio à la fois, un fichier à la fois. C’est une bêta : dites-nous à info@obra.art ce qu’il rate et nous regarderons.