Audio zu MIDI Konverter

Was Audio zu MIDI macht

Audio ist die Aufzeichnung dessen, was ein Klang getan hat. MIDI ist die Anweisung, ihn zu spielen: welche Note, wann sie beginnt, wie lange sie dauert und wie hart sie gespielt wurde. Ein Audio-zu-MIDI-Konverter hört eine Aufnahme ab und schreibt diese Anweisungen zurück. Dann spielst du dieselben Noten mit einem beliebigen Instrument in deiner DAW, korrigierst eine falsche, änderst die Tonart oder druckst sie als Partitur.

Die Umwandlung in diesem Tool ist polyphon, das heißt, sie kann mehrere Noten im selben Moment finden. Das ist wichtig bei einem Klavier, einer Gitarre mit Akkorden oder einem geschichteten Synth. Sie funktioniert auch bei einer einzelnen Linie wie einer Stimme, einem Bass oder einem Saxofon.

Du kannst es als MP3-zu-MIDI-Konverter, WAV-zu-MIDI-Konverter, Stimme-zu-MIDI-Tool oder Summen-zu-MIDI-Tool nutzen. Der Dateityp ändert die Methode nicht: Das Audio wird in deinem Browser dekodiert, und dasselbe Modell hört es ab.

So funktioniert dieser Konverter

Das Modell ist Basic Pitch, ein Open-Source-Modell des Forschungsteams von Spotify, veröffentlicht auf der ICASSP 2022 unter der Apache-2.0-Lizenz. Es ist klein, etwa 0,2 MB. Deine Datei wird zuerst auf Mono gemischt und auf 22.050 Hz heruntergerechnet. Dann wird sie in Fenster von zwei Sekunden geschnitten, die sich etwas überlappen, und das Modell liest jedes Fenster.

Für jede Zeitscheibe (etwa 86 pro Sekunde) gibt es drei Antworten für die 88 Töne eines Klaviers: welche Noten klingen, wo eine Note beginnt und die genaue Tonhöhenkurve. Ein zweiter Schritt, den wir aus Spotifys veröffentlichtem Code übernommen haben, macht aus diesen Antworten Noten. Er sucht Anfänge über einem Schwellenwert, verfolgt jeden, bis der Klang verklingt, verwirft zu kurze Noten und sucht dann noch einmal nach langen Noten ohne klaren Anfang. Die Tonhöhenkurve liefert die optionalen Pitch Bends.

Alles läuft in einem Worker in deinem Browser, mit ONNX Runtime Web. Die Seite behält die Matrizen des Modells. Bewegst du einen Regler, werden die Noten also sofort neu dekodiert, und das Modell läuft kein zweites Mal. Deine Aufnahme wird nirgendwohin gesendet.

Sauberere MIDI-Daten aus deiner Aufnahme

Die besten Ergebnisse kommen von einem Instrument nach dem anderen, klar gespielt und ohne viel Hall: eine Klavieraufnahme, eine Gesangslinie, ein Gitarrenriff, ein Bass. Rauschen, Echo und Effekte, die eine Note verschmieren, machen das Modell unsicherer. Hat deine Aufnahme viel Raumklang, liefert ein trockener Take fast immer bessere Noten.

Ein ganzer Song mit Drums, Bass, Akkorden und Gesang ist der schwierigste Fall. Das Modell wurde nicht darauf trainiert, Instrumente zu unterscheiden, du bekommst also einen gemischten Notensatz, und Drums fügen verirrte Noten hinzu. Teile den Song zuerst in Stems und wandle den Part um, den du willst. Unser Stem Splitter macht das auch im Browser.

Fehlen Noten, erhöhe die Empfindlichkeit oder senke die kürzeste Note. Siehst du zu viele kleine Noten, mach das Gegenteil oder verenge den Tonumfang auf das Instrument, das du aufgenommen hast. Für eine einzelne Stimme oder eine Lead-Linie schalte Eine Note gleichzeitig ein: Die stärkste Note gewinnt, wenn zwei überlappen, was die meisten verirrten Noten beseitigt.

Die Einstellungen in einfachen Worten

Die Empfindlichkeit legt fest, wie sicher das Modell sein muss, bevor es eine Note schreibt. Höher ergibt mehr Noten, auch einige, die gar nicht da sind. Niedriger behält nur die klaren. Die Mitte ist Spotifys eigener Standard.

Die kürzeste Note verwirft Noten, die kürzer als diese Zahl an Millisekunden sind. Erhöhst du sie, räumt das eine wackelige Stimme auf. Senkst du sie, bleiben schnelle Läufe erhalten. Der Tonumfang schaltet alles über und unter den gewählten Noten ab, was der schnellste Weg ist, damit eine Basslinie keine hohen verirrten Noten erzeugt.

Eine Note gleichzeitig behält in jedem Moment nur die lauteste Note, für Stimme, Bass und Lead-Linien. Pitch Bends fügen die kleinen Tonhöhen-Gleitbewegungen hinzu, bis zu zwei Halbtöne, als MIDI-Pitch-Bend-Nachrichten, damit ein gesungenes Gleiten oder ein Gitarren-Bend erhalten bleibt. Bends werden nur für Noten geschrieben, die keine andere Note überlappen, weil ein MIDI-Kanal immer nur einen Bend zugleich hat.

Die vier Startpunkte, Klavier, Stimme oder Summen, Gitarre und Bass, sind Einstellungen, die wir nach Gehör gewählt haben. Sie sind keine Magie. Wähle den nächsten und passe dann mit deinen eigenen Ohren an.

Was man mit dem MIDI macht

Produzenten nutzen es, um Ideen zu samplen, ohne Klang zu samplen. Summe eine Basslinie in dein Handy, wandle sie um und gib sie einem Synth. Nimm eine Klavieridee auf, hole die Noten und gib ihnen mit einem anderen Instrument ein neues Voicing. Hole die Melodie aus einem Referenztrack und verändere sie genug, um sie zu deiner zu machen.

DJs und Remixer nutzen es, um die Noten eines Hooks oder einer Basslinie zu finden und einen neuen Part in derselben Tonart zu schreiben, und prüfen dann Tempo und Tonart mit unseren anderen Tools. Sänger und Songwriter machen aus einer Sprachnotiz Noten, um sie einem Produzenten zu schicken oder zu sehen, welche Töne sie wirklich gesungen haben.

Lehrende und Lernende nutzen die Piano Roll, um eine Melodie zu sehen, die sie hören, nach Gehör zu üben und sich selbst zu prüfen. Arrangeure können einen Part umwandeln, ihn in der DAW aufräumen und von dort drucken.

Was in der MIDI-Datei steckt

Du bekommst eine Standard-MIDI-Datei, Format 1, mit einer Tempo-Spur und einem Part, der alle Noten enthält. Die Velocity kommt daher, wie stark jede Note klang. Schaltest du Pitch Bends ein, wird die Bend-Kurve bei plus oder minus zwei Halbtönen geschrieben, dem Standardbereich der meisten Instrumente.

Die Noten werden in Echtzeit platziert, sie liegen also deckungsgleich mit deiner Originalaufnahme. Die Datei enthält auch ein Tempo, damit das Raster deiner DAW etwas zu zeigen hat. Wir schätzen es aus dem Audio und zeigen es in einem Feld, das du überschreiben kannst. Ist die Schätzung halb oder doppelt so schnell wie das echte Tempo, klingen die Noten trotzdem im richtigen Moment, nur die Takte werden anders gezeichnet. Ziehe die Datei in Ableton Live, Logic, FL Studio, Cubase, Reaper, GarageBand oder jede andere DAW.

Was es nicht kann

Wir sagen es dir lieber, als dich es selbst herausfinden zu lassen. Es transkribiert keine Drums. Es benennt keine Akkorde und schreibt keine Partitur. Es trennt keine Instrumente in einem Mix. Bei einem dichten ganzen Song verpasst es Noten und fügt falsche hinzu. Sehr tiefe und sehr hohe Noten sind weniger zuverlässig, und schnelle, leise Passagen verschwimmen.

Es liest bis zu 10 Minuten Audio auf einmal, eine Datei nach der anderen. Das ist eine Beta: Sag uns an info@obra.art, was es falsch macht, und wir schauen es uns an.