Por Equipa editorial de whispertranscribe.ai · Última atualização: novembro de 2026 · 13 min de leitura · Categoria: Precisão de transcrição
Qual é a precisão do Whisper? Em inglês lido e nítido, o artigo da OpenAI apresenta uma taxa de erro de palavras (WER) de 2,5% para o Whisper large-v2, pelo que cerca de 97 a 98 palavras em 100 estão corretas. O áudio mais difícil tem piores resultados: 13,6% em chamadas telefónicas, 24,9% num jantar ruidoso e 39,9% numa reunião gravada por um único microfone distante.
O Whisper é o modelo de reconhecimento de fala de código aberto da OpenAI e o motor de muitas aplicações de transcrição, incluindo a nossa. Este guia aborda apenas a precisão: o que mede WER, o que mostram os testes por tipo de áudio e idioma, onde o Whisper falha e como testá-lo. Para conhecer o modelo, consulte a explicação sobre o que é Whisper AI.
A maioria dos valores vem do artigo sobre o Whisper (Radford e outros, 2022), que testou todos os modelos em «zero-shot», sem ajuste nos conjuntos de teste. A ficha do modelo large-v3 mais recente indica menos 10% a 20% de erros do que large-v2 em muitos idiomas, mas sem tabela completa por conjunto. whispertranscribe.ai publica este artigo. Não fizemos testes comparativos para ele e nenhum valor é resultado de um teste nosso.
Precisão do Whisper num relance
Nenhum conjunto de teste responde por si só, pois o áudio altera o resultado mais do que qualquer outro fator. A tabela mostra resultados da OpenAI para large-v2 com pesquisa em feixe e recurso à temperatura (Tabela 9 do apêndice), avaliados após a normalização de texto da OpenAI.
| Tipo de áudio | Conjunto de teste no artigo | WER do Whisper large-v2 | Proporção aproximada de palavras corretas |
|---|---|---|---|
| Audiolivro, leitura nítida | LibriSpeech test-clean | 2,5% | Cerca de 97,5 em 100 |
| Notícias lidas | WSJ | 2,6% | Cerca de 97,4 em 100 |
| Palestras TED | TED-LIUM 3 | 3,7% | Cerca de 96 em 100 |
| Audiolivro, falantes mais difíceis | LibriSpeech test-other | 4,9% | Cerca de 95 em 100 |
| Voluntários com microfones domésticos | Common Voice 5.1 | 8,2% | Cerca de 92 em 100 |
| Conversas telefónicas | Switchboard | 13,6% | Cerca de 86 em 100 |
| Entrevistas sociolinguísticas longas | CORAAL | 14,2% | Cerca de 86 em 100 |
| Chamadas entre família e amigos | CallHome | 16,4% | Cerca de 84 em 100 |
| Reuniões, cada pessoa com microfone de auscultadores | AMI IHM | 17,4% | Cerca de 83 em 100 |
| Jantares, microfones distantes | CHiME-6 | 24,9% | Cerca de 75 em 100 |
| Reuniões, um microfone distante na mesa | AMI SDM1 | 39,9% | Cerca de 60 em 100 |
A «proporção de palavras corretas» é 100 menos WER, uma aproximação, pois WER também conta palavras acrescentadas.
É comum encontrar 2,7%: trata-se do mesmo modelo com descodificação gananciosa mais simples (Tabela 2 do artigo). As linhas AMI representam as mesmas reuniões gravadas de duas formas. Passar dos microfones junto a cada pessoa para um no centro da mesa mais do que duplica a taxa de erro.
O que é a taxa de erro de palavras (WER) e como se calcula?
WER é a proporção de palavras erradas numa transcrição face a uma referência revista por uma pessoa. Conte três tipos de erro e divida pelo número de palavras da referência:
WER = (substituições + omissões + inserções) ÷ palavras na referência
- Substituição: uma palavra errada no lugar da correta («lanche» em vez de «lançamento»).
- Omissão: uma palavra falada que falta na transcrição.
- Inserção: uma palavra na transcrição que ninguém disse.
Eis um exemplo criado para o artigo; pode calcular esta taxa com a biblioteca de código aberto jiwer:
| Linha | Texto |
|---|---|
| Referência (22 palavras) | mudámos o lançamento do produto para nove de março porque o fornecedor falhou dois prazos e a doutora patel pediu novo plano |
| Transcrição | mudámos o lanche do produto para nove de março porque fornecedor falhou dois prazos e a doutora batalha pediu novo plano hoje |
| Erros | 2 substituições (lanche, batalha), 1 omissão (o), 1 inserção (hoje) |
| WER | 4 ÷ 22 = 18,2% |
Três aspetos da WER podem surpreender:
- Pode ultrapassar 100%. As inserções não têm limite e alguns idiomas com poucos recursos no teste Fleurs do artigo ultrapassam 100%.
- A normalização altera o resultado. «Dr.» e «doctor» contam como erro se ambos os textos não forem limpos da mesma forma. A OpenAI indica que o normalizador reduziu WER até 50% em alguns conjuntos, sobretudo ao eliminar diferenças de formatação.
- Alguns idiomas usam taxa de erro de caracteres (CER). Para chinês, japonês, tailandês, laociano e birmanês, que não separam palavras com espaços, o artigo avalia caracteres.
Uma alegação de precisão sem conjunto de teste nem método de avaliação não é uma medição, seja quem for o fornecedor, incluindo nós.
Qual é a precisão do Whisper em inglês?
O Whisper é muito preciso em inglês nítido e continua utilizável em inglês difícil. No artigo, cometeu menos 55,2% de erros em 12 outros conjuntos de inglês do que um modelo wav2vec 2.0 supervisionado com resultado quase igual no LibriSpeech.
Gravações longas
O Whisper lê áudio em janelas de 30 segundos, pelo que o artigo testou ficheiros longos separadamente (Tabela 16 do apêndice, large-v2):
| Conjunto longo | Conteúdo | WER |
|---|---|---|
| TED-LIUM 3 | 11 palestras TED completas | 3,5% |
| Meanwhile | 64 segmentos de televisão noturna com muitas palavras invulgares | 5,1% |
| Kincaid46 | 46 gravações variadas de uma comparação de 2018 | 8,8% |
| Earnings-21 | Chamadas de resultados de empresas | 9,7% |
| Rev16 | 16 episódios de podcast | 11,3% |
| Earnings-22 | Mais chamadas de resultados, muitos sotaques | 12,6% |
| CORAAL | 231 entrevistas completas em inglês afro-americano | 19,6% |
Whisper versus transcritores humanos
A OpenAI pediu a quatro serviços humanos e um assistido por computador que transcrevessem 25 gravações Kincaid46. O serviço assistido teve um resultado 1,15 pontos percentuais melhor do que o Whisper e os serviços exclusivamente humanos apenas uma fração de ponto melhor. A conclusão do artigo: não é perfeito, mas aproxima-se muito da precisão humana.
O tamanho do modelo importa
O Whisper existe em vários tamanhos e as aplicações nem sempre indicam qual usam (Tabela 9 do apêndice):
| Modelo | Parâmetros | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6,7% | 26,1% | 18,3% | 48,0% |
| base | 74M | 4,9% | 19,4% | 15,6% | 40,0% |
| small | 244M | 3,3% | 12,8% | 13,3% | 30,9% |
| medium | 769M | 2,7% | 9,7% | 13,2% | 27,6% |
| large-v2 | 1550M | 2,5% | 8,2% | 13,6% | 24,9% |
A diferença cresce com a dificuldade do áudio: cerca de 4 pontos em audiolivros nítidos e 23 pontos no jantar. O modelo turbo mais recente, um large-v3 otimizado, aceita uma pequena redução de precisão em troca de transcrição muito mais rápida, segundo o README do GitHub da OpenAI.
Qual é a precisão do Whisper noutros idiomas?
Fora do inglês, a precisão depende sobretudo da quantidade de áudio de treino disponível nesse idioma. O artigo encontrou correlação ao quadrado de 0,83 entre o logaritmo das horas de treino e o da WER, e estima que WER cai para metade por cada aumento de 16 vezes nos dados. A maioria dos 96 idiomas além do inglês tinha menos de 1.000 horas.
Resultados selecionados do Fleurs (frases lidas, large-v2, Tabela 13 do apêndice):
| Idioma | WER no Fleurs | Nota |
|---|---|---|
| Espanhol | 3,0% | Mais baixo da tabela |
| Inglês | 4,2% | |
| Português | 4,3% | |
| Alemão | 4,5% | |
| Japonês | 5,3% | Taxa de erro de caracteres |
| Russo | 5,6% | |
| Francês | 8,3% | |
| Coreano | 14,3% | Assinalado como valor atípico |
| Chinês | 14,7% | Taxa de erro de caracteres |
| Árabe | 16,0% | |
| Hindi | 21,5% | |
| Hebraico | 27,1% | Assinalado como valor atípico |
| Suaíli | 39,3% | |
| Telugu | 99,0% | Assinalado como valor atípico |
O artigo assinala hebraico, telugu, chinês e coreano como piores do que os dados de treino previam, possivelmente devido à distância linguística, a um tokenizador pouco adequado a essas escritas ou à qualidade dos dados. Fleurs contém fala lida, pelo que as taxas de erro em conversa podem ser superiores. O README tem um gráfico mais recente para large-v3 e large-v2 em Common Voice 15 e Fleurs.
Os resultados do espanhol são animadores para quem transcreve áudio espanhol para texto. Para idiomas com menos recursos, teste um excerto curto antes de avançar com um projeto completo.
O que afeta a precisão do Whisper?
As condições de gravação são o fator mais importante. Eis as evidências do artigo e da ficha do modelo:
| Fator | O que mostram as evidências | O que fazer |
|---|---|---|
| Ruído de fundo | Com ruído de pub abaixo de 10 dB de relação sinal-ruído, Whisper superou os 14 modelos comparados, mas todos pioraram com mais ruído | Grave numa sala sossegada, longe de ventoinhas e música |
| Distância do microfone | Nas mesmas reuniões AMI: 17,4% com microfone de auscultadores, 39,9% com um microfone de mesa | Mantenha o microfone perto de quem fala |
| Conversa e falas sobrepostas | Chamadas e jantares têm 13,6% a 24,9%, face a 2,5% em fala lida | Uma pessoa de cada vez; um microfone por pessoa |
| Sotaques e dialetos | A ficha do modelo indica precisão desigual entre sotaques e dialetos; entrevistas longas CORAAL obtiveram 19,6% | Teste com vozes semelhantes às das suas gravações |
| Palavras raras e termos técnicos | Bom resultado no conjunto Meanwhile, rico em termos invulgares (5,1%), mas nomes e termos continuam a gerar erros | Verifique nomes e termos com uma lista |
| Recursos do idioma | A WER Fleurs vai de 3,0% (espanhol) a 99,0% (telugu) | Escolha o idioma; preveja mais revisão em idiomas com poucos recursos |
| Tamanho do modelo | tiny tem 48,0% no CHiME-6, large-v2 tem 24,9% | Pergunte que modelo a ferramenta usa ou escolha o maior disponível |
| Formato e frequência de amostragem | O código do Whisper reamostra todo o áudio para mono a 16 kHz | Um WAV a 48 kHz não acrescenta nada face a um ficheiro nítido de 16 kHz |
Converter um MP3 num WAV grande não recupera detalhes perdidos. Uma gravação nítida com taxa de bits moderada supera uma ruidosa com taxa alta.
Problemas conhecidos do Whisper: alucinações, repetições e tempos
A OpenAI documenta cada uma destas falhas, que podem importar mais do que a sua quota na WER sugere.
Texto alucinado
O Whisper pode escrever palavras que ninguém disse. A ficha do modelo indica que as previsões podem incluir texto não falado no áudio, provavelmente porque o modelo também prevê as palavras seguintes mais prováveis. A secção de limitações do artigo menciona até «alucinação completa», ou seja, saída sem relação com o áudio.
Um estudo independente, Careless Whisper (Koenecke e outros, 2024), processou 13.140 segmentos de áudio pela API Whisper da OpenAI em abril e maio de 2023. Cerca de 1% das transcrições (1,4% em média) continham frases ou enunciados totalmente inventados, e 38% desses casos incluíam conteúdo prejudicial, como violência ou associações falsas. Pessoas com pausas mais longas, neste caso pessoas com afasia, desencadearam mais casos. A API mudou desde então; trate estes resultados como uma medição de 2023.
Repetições e palavras omitidas
A ficha do modelo diz que o Whisper tende a gerar texto repetitivo, situação reduzida pela pesquisa em feixe e programação da temperatura, mas não eliminada. O artigo também indica a omissão das primeiras ou últimas palavras de um segmento. As correções de descodificação reduziram a WER média em formato longo de 11,0% para 10,0%: melhorou, mas não ficou resolvido.
Silêncio, música e muletas
Texto inventado tende a aparecer em silêncios longos e música. O artigo concluiu que o sinal «sem fala» do Whisper não era fiável isoladamente, e o código aberto tem agora uma opção para saltar silêncios longos quando deteta uma provável alucinação.
Desvio de tempos e ficheiros longos
O Whisper avança pelo áudio longo numa janela de 30 segundos de cada vez, usando os seus próprios tempos previstos para posicionar a janela seguinte; o artigo indica que um erro numa janela pode passar para a próxima. Os tempos por palavra estão marcados como «experimentais» no código. Para legendas, verifique pontualmente a sincronização em redor de pausas.
Durante o desenvolvimento, a OpenAI também observou o Whisper a adivinhar nomes de intervenientes quase sempre incorretos. Os modelos lançados foram ajustados para reduzir esse comportamento, mas verifique qualquer nome no texto.
10 formas de melhorar a precisão da transcrição Whisper
A maioria das melhorias acontece antes de iniciar a transcrição. Por ordem aproximada de maior para menor efeito:
- Coloque o microfone perto. A distância, por si só, mais do que duplicou a taxa de erro nas reuniões AMI.
- Reduza o ruído na origem. Feche janelas, desligue ventoinhas e pause a música.
- Evite falas sobrepostas. Uma pessoa de cada vez é melhor do que qualquer definição.
- Corte silêncios longos e introduções musicais, onde o texto inventado aparece com maior frequência. Corte nas pausas, não a meio da frase.
- Defina o idioma manualmente. O Whisper identificou o idioma corretamente em 80,3% dos casos em 82 idiomas Fleurs, pelo que a deteção automática pode falhar em excertos curtos ou com sotaque.
- Use o maior modelo disponível, sobretudo para gravações ruidosas.
- Inclua nomes e termos no prompt se executar localmente. O Whisper de código aberto aceita um
--initial_promptcom as grafias esperadas. - Carregue o ficheiro original. Voltar a gravar através de altifalantes ou comprimir repetidamente elimina detalhes.
- Verifique os termos. Pesquise cada nome, número, data e sigla e confirme com o áudio.
- Reveja em duas passagens. Corrija primeiro os erros à velocidade normal. Depois procure sinais de alucinação: linhas repetidas, frases sobre silêncio, despedidas como «Obrigado por assistir». Em trabalho jurídico, médico ou para publicação, peça a uma pessoa que reveja tudo.
Como medir a precisão do Whisper no seu áudio
A melhor estimativa para o seu trabalho é um teste de 30 minutos nas suas gravações. Estes passos são para executar por si; não são um teste de whispertranscribe.ai. O script usa um normalizador de inglês, adequado a referências em inglês; para português ou outro idioma, use uma normalização apropriada ao idioma.
- Escolha três excertos de 2 minutos semelhantes ao trabalho real: um fácil, um típico e um difícil.
- Escreva uma transcrição de referência à mão, palavra por palavra. Defina primeiro as regras: manter ou retirar «hum», números em algarismos ou por extenso.
- Transcreva cada excerto com a ferramenta em teste e guarde texto simples.
- Normalize ambos os textos da mesma forma. O normalizador da OpenAI é fornecido com
openai-whisper. - Calcule WER com jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Conte os erros críticos separadamente. Cinco muletas erradas e cinco nomes de clientes errados dão a mesma WER, mas não são o mesmo problema.
- Registe resultados para comparar ferramentas ou definições:
| Excerto | Condições | Palavras de referência | S | D | I | WER | Erros críticos |
|---|---|---|---|---|---|---|---|
| Excerto A | Sala sossegada, uma pessoa | 310 | |||||
| Excerto B | Videochamada, duas pessoas | 285 | |||||
| Excerto C | Café, pessoa com sotaque | 296 |
As contagens são exemplos. Uma cautela sobre o passo 4: quando executámos o normalizador de inglês da OpenAI numa frase criada para o teste, fez corresponder «Dr.» a «doctor» e «two» a «2», mas ainda avaliou «9th» face a «ninth» como erro. Leia as diferenças assinaladas antes de confiar no resultado.
Qual é a precisão de whispertranscribe.ai?
whispertranscribe.ai é uma ferramenta Web de transcrição com IA baseada no Whisper, com mais de 130 idiomas e carregamentos até 5 GB e 10 horas. A precisão chega a 99% com áudio nítido; ruído de fundo, sotaques fortes e falas sobrepostas reduzem-na, como os testes acima mostram para o próprio Whisper. Não afirmamos igualar ou superar os resultados do artigo e não publicámos um teste nosso; teste os seus excertos com os passos acima.
- Opções Noise / Low-Quality Audio/Video na seleção de idioma para muitos idiomas. Num ficheiro ruidoso, experimente a opção normal e a de ruído e compare.
- Mais de 130 idiomas, opção Multilingual Mix e tradução de áudio para inglês.
- Ficheiros até 5 GB e 10 horas, deteção de intervenientes e marcações de tempo (todas as funcionalidades).
- Entrada nítida: grave no navegador com o microfone próximo ou converta vídeo para MP3 para carregar apenas áudio.
- Exportação para DOCX, PDF, TXT, CSV, SRT e VTT, além de um gerador de legendas para legendas sincronizadas.
Pode começar gratuitamente sem conta. Os planos pagos começam em 9,99 USD por mês, com faturação anual; consulte os preços.
Perguntas frequentes
O Whisper tem 99% de precisão?
Não de forma geral. O melhor resultado publicado do Whisper é uma WER de 2,5% no LibriSpeech test-clean, um conjunto de audiolivros lidos claramente, equivalente a cerca de 97,5% de palavras corretas como aproximação. Em chamadas, reuniões e salas ruidosas, os valores da própria OpenAI vão de cerca de 13% a 40% de WER. Uma alegação de «99%» só tem significado se indicar o áudio em que foi medida. As ferramentas baseadas no Whisper, incluindo whispertranscribe.ai, devem ser avaliadas nas suas gravações, não numa percentagem destacada.
Qual é o modelo Whisper mais preciso?
Os modelos large são os mais precisos. No artigo da OpenAI, large-v2 teve as taxas de erro mais baixas na maioria dos conjuntos, e a ficha de large-v3 indica menos 10% a 20% de erros do que large-v2 em muitos idiomas. turbo é um large-v3 otimizado que, segundo a OpenAI, perde pouca precisão em troca de maior velocidade. O menor modelo, tiny, é muito menos preciso em áudio difícil: 48,0% de WER num jantar ruidoso, face a 24,9% para large-v2.
Porque escreve o Whisper palavras que não foram ditas?
O Whisper pode alucinar porque foi treinado para prever texto provável além de transcrever o som, e a ficha da OpenAI avisa que pode produzir texto ausente do áudio. Acontece sobretudo em silêncios longos, música ou ruído. Um estudo independente de 2023 encontrou frases alucinadas em cerca de 1% das transcrições, sendo mais prováveis nas pausas. Cortar silêncio, definir o idioma e rever trechos silenciosos reduz o risco.
Qual é a precisão do Whisper com sotaques?
O Whisper lida com sotaques melhor do que muitos sistemas antigos, mas não de forma uniforme. A ficha da OpenAI indica que a precisão varia entre sotaques e dialetos do mesmo idioma. No artigo, entrevistas longas em inglês afro-americano (CORAAL) obtiveram 19,6% de WER, face a 3,5% em palestras TED completas, embora as condições de gravação também sejam diferentes. A abordagem fiável é testar um excerto com vozes semelhantes às das suas gravações e prever mais revisão para sotaques fortes.
O Whisper é tão preciso como um transcritor humano?
Em inglês, aproxima-se, mas não iguala os melhores. A OpenAI comparou-o com cinco serviços profissionais em 25 gravações. Um serviço assistido por computador teve WER agregada 1,15 pontos abaixo da do Whisper e quatro serviços totalmente humanos foram melhores por uma fração de ponto. As pessoas continuam a lidar melhor com nomes, falas sobrepostas e fala pouco clara. Para qualquer conteúdo citado, arquivado ou publicado, uma pessoa deve rever a transcrição com a gravação.
Qual é a precisão do Whisper noutros idiomas além do inglês?
Varia muito por idioma. No teste Fleurs, large-v2 obteve 3,0% de WER em espanhol, 4,5% em alemão e 8,3% em francês, mas 27,1% em hebraico e 99,0% em telugu. Chinês e japonês são avaliados por taxa de erro de caracteres: 14,7% e 5,3%. O artigo concluiu que a precisão acompanha a quantidade de áudio de treino de cada idioma. Para idiomas com poucos recursos, teste primeiro um excerto e reserve mais tempo para correções.
Teste a precisão na sua gravação
Os testes descrevem o áudio de outras pessoas. Carregue um excerto em whispertranscribe.ai num dos mais de 130 idiomas e avalie-o com os passos deste guia. Comece gratuitamente sem conta ou compare os planos.
Artigos relacionados: O que é Whisper AI? · Melhor software gratuito de transcrição · Melhores alternativas ao TurboScribe · Como transcrever um vídeo YouTube · O que é um ficheiro SRT? · Legendas incorporadas e separadas
Referências
- Radford e outros, Reconhecimento de fala robusto através de supervisão fraca em grande escala (artigo sobre o Whisper, OpenAI, 2022): Tabelas 2, 9, 13 e 16 e Secções 3 a 6
- OpenAI, openai/whisper no GitHub: tabela de modelos do README, nota sobre turbo e gráfico WER por idioma
- OpenAI e Hugging Face, ficha do modelo whisper-large-v3: alterações do large-v3, utilização avaliada e limitações
- Koenecke e outros, Careless Whisper: danos causados por alucinações de fala para texto (2024)
- jiwer: biblioteca de código aberto para WER e CER
- Hugging Face, Open ASR Leaderboard: comparação independente e atualizada regularmente de modelos abertos de fala
