Conversor de áudio para MIDI

O que o áudio para MIDI faz

Áudio é a gravação do que um som fez. MIDI é a instrução para tocá-lo: qual nota, quando começa, quanto dura e com que força foi tocada. Um conversor de áudio para MIDI escuta uma gravação e escreve essas instruções de volta. Depois você toca as mesmas notas com qualquer instrumento da sua DAW, corrige uma que está errada, muda o tom ou imprime tudo como partitura.

A conversão desta ferramenta é polifônica, o que quer dizer que ela encontra várias notas no mesmo instante. Isso importa para um piano, um violão com acordes ou um sintetizador em camadas. Também funciona em uma linha única, como uma voz, um baixo ou um saxofone.

Você pode usar como conversor de MP3 para MIDI, conversor de WAV para MIDI, ferramenta de voz para MIDI ou de cantarolar para MIDI. O tipo de arquivo não muda o método: o áudio é decodificado no seu navegador e o mesmo modelo o escuta.

Como este conversor funciona

O modelo é o Basic Pitch, um modelo de código aberto da equipe de pesquisa da Spotify, publicado no ICASSP 2022 sob a licença Apache 2.0. É pequeno, cerca de 0,2 MB. Seu arquivo é primeiro misturado em mono e reamostrado para 22.050 Hz. Depois é cortado em janelas de dois segundos que se sobrepõem um pouco, e o modelo lê cada janela.

Para cada fatia de tempo (cerca de 86 por segundo) ele dá três respostas para as 88 notas de um piano: quais notas estão soando, onde uma nota começa e a curva exata de altura. Uma segunda etapa, que portamos do código publicado pela Spotify, transforma essas respostas em notas. Ela procura inícios acima de um limiar, segue cada um até o som sumir, descarta notas curtas demais e depois procura de novo notas longas que não tiveram um início claro. A curva de altura dá os bends de afinação opcionais.

Tudo isso roda em um worker no seu navegador, usando o ONNX Runtime Web. A página guarda as matrizes do modelo, então quando você mexe em um controle as notas são decodificadas de novo na hora e o modelo não roda uma segunda vez. Sua gravação nunca é enviada para lugar nenhum.

Consiga um MIDI mais limpo a partir da sua gravação

Os melhores resultados vêm de um instrumento por vez, tocado com clareza e sem muito reverb: uma tomada de piano, uma linha de voz, um riff de violão, um baixo. Ruído, eco e efeitos que borram uma nota deixam o modelo menos seguro. Se a sua gravação tem muito som de sala, uma tomada seca quase sempre dá notas melhores.

Uma música inteira com bateria, baixo, acordes e vocais é o caso mais difícil. O modelo não foi treinado para distinguir instrumentos, então você recebe um conjunto misturado de notas, e a bateria acrescenta notas perdidas. Separe a música em stems primeiro e converta a parte que quer. O nosso separador de stems faz isso no navegador também.

Se faltarem notas, aumente a sensibilidade ou diminua a nota mais curta. Se aparecerem notas pequenas demais, faça o contrário, ou estreite a faixa de alturas para o instrumento que você gravou. Para uma voz solo ou um lead, ligue uma nota por vez: a nota mais forte vence quando duas se sobrepõem, o que limpa a maior parte das notas perdidas.

Os ajustes, em palavras simples

A sensibilidade define o quanto o modelo precisa ter certeza antes de escrever uma nota. Mais alta dá mais notas, inclusive algumas que não existem. Mais baixa fica só com as claras. O meio é o padrão da própria Spotify.

A nota mais curta descarta notas menores que esse número de milissegundos. Aumentar limpa uma voz trêmula. Diminuir mantém passagens rápidas. A faixa de alturas desliga tudo acima e abaixo das notas que você escolher, que é o jeito mais rápido de impedir que uma linha de baixo produza notas agudas perdidas.

Uma nota por vez mantém só a nota mais forte em cada instante, para voz, baixo e linhas de lead. Os bends de afinação acrescentam os pequenos deslizes de altura, até dois semitons, como mensagens de pitch bend MIDI, de modo que um glissando cantado ou um bend de guitarra sobrevive. Os bends só são escritos para notas que não se sobrepõem a outra nota, porque um canal MIDI tem um bend por vez.

Os quatro pontos de partida, piano, voz ou cantarolar, violão e baixo, são ajustes que escolhemos de ouvido. Não são mágica. Escolha o mais próximo e depois ajuste com os seus próprios ouvidos.

O que as pessoas fazem com o MIDI

Produtores usam para amostrar ideias sem amostrar som. Cantarole uma linha de baixo no celular, converta e entregue a um sintetizador. Grave uma ideia de piano, pegue as notas e redistribua com outro instrumento. Tire a melodia de uma faixa de referência e mude o bastante para torná-la sua.

DJs e remixers usam para achar as notas de um hook ou de uma linha de baixo e escrever uma parte nova no mesmo tom, e depois conferir o andamento e o tom com as nossas outras ferramentas. Cantores e compositores transformam um áudio de voz em notas para mandar a um produtor ou para ver que notas realmente cantaram.

Professores e alunos usam o piano roll para ver uma melodia que ouvem, treinar de ouvido e se conferir. Arranjadores podem converter uma parte, limpar na DAW e imprimir de lá.

O que há dentro do arquivo MIDI

Você recebe um arquivo MIDI padrão, formato 1, com uma pista de andamento e uma parte que guarda todas as notas. A velocity vem do quanto cada nota soou forte. Se você ligar os bends de afinação, a curva de bend é escrita em mais ou menos dois semitons, que é a faixa padrão da maioria dos instrumentos.

As notas são posicionadas em tempo real, então se alinham com a gravação original. O arquivo também leva um andamento para que a grade da sua DAW tenha algo a mostrar. Nós o estimamos a partir do áudio e o mostramos em uma caixa que você pode sobrescrever. Se a estimativa for a metade ou o dobro do andamento real, as notas continuam soando no momento certo, só os compassos são desenhados de outro jeito. Arraste o arquivo para o Ableton Live, Logic, FL Studio, Cubase, Reaper, GarageBand ou qualquer outra DAW.

O que ele não consegue fazer

Preferimos contar a deixar você descobrir sozinho. Ele não transcreve bateria. Não nomeia acordes nem escreve partitura. Não separa instrumentos de uma mixagem. Em uma música inteira e densa, ele vai perder notas e acrescentar notas erradas. Notas muito graves e muito agudas são menos confiáveis, e passagens rápidas e baixas se misturam.

Lê até 10 minutos de áudio por vez, um arquivo de cada vez. Este é um beta: conte em info@obra.art o que ele erra e vamos olhar.