Quina precisió té Whisper AI? WER, límits reals i consells (2026)

Per l'equip editorial de whispertranscribe.ai · Última actualització: novembre de 2026 · 13 minuts de lectura · Categoria: Precisió de la transcripció

Quina precisió té Whisper? Amb anglès llegit i clar, l'estudi d'OpenAI informa d'una taxa d'error de paraules (WER) del 2.5% per a Whisper large-v2: unes 97 o 98 paraules correctes de cada 100. Amb àudio difícil el resultat empitjora: 13.6% en trucades, 24.9% en un sopar sorollós i 39.9% en una reunió enregistrada amb un sol micròfon distant.

Whisper és el model obert de reconeixement de veu d'OpenAI i el motor de moltes aplicacions, inclosa la nostra. Aquesta guia tracta la precisió: què mesura el WER, els resultats segons l'àudio i la llengua, els errors de Whisper i com provar-lo. Per al context del model consulta què és Whisper AI.

La majoria de xifres provenen de l'estudi de Whisper (Radford i altres, 2022), que va provar tots els models sense ajustament als conjunts de prova («zero-shot»). La fitxa del model large-v3 més recent informa d'un 10% a un 20% menys d'errors que large-v2 en molts idiomes, però sense taula completa per conjunt. whispertranscribe.ai publica aquest article. No hem fet cap prova comparativa i cap xifra és un resultat propi.

Precisió de Whisper d'un cop d'ull

Cap conjunt respon tot sol la pregunta perquè l'àudio influeix més que qualsevol altre factor. La taula mostra els resultats d'OpenAI per a large-v2 amb beam search i temperature fallback (taula 9 de l'apèndix), avaluats després del normalitzador de text d'OpenAI.

Tipus d'àudio Conjunt de prova de l'estudi WER Whisper large-v2 Proporció aproximada de paraules correctes
Audiollibre, lectura clara LibriSpeech test-clean 2.5% Unes 97.5 de cada 100
Notícies llegides WSJ 2.6% Unes 97.4 de cada 100
Conferències TED TED-LIUM 3 3.7% Unes 96 de cada 100
Audiollibre, parlants més difícils LibriSpeech test-other 4.9% Unes 95 de cada 100
Voluntaris amb micròfons domèstics Common Voice 5.1 8.2% Unes 92 de cada 100
Converses telefòniques Switchboard 13.6% Unes 86 de cada 100
Entrevistes sociolingüístiques llargues CORAAL 14.2% Unes 86 de cada 100
Trucades entre familiars i amics CallHome 16.4% Unes 84 de cada 100
Reunions, micròfon d'auriculars per persona AMI IHM 17.4% Unes 83 de cada 100
Sopars, micròfons distants CHiME-6 24.9% Unes 75 de cada 100
Reunions, un micròfon de taula distant AMI SDM1 39.9% Unes 60 de cada 100

«Proporció de paraules correctes» és 100 menys el WER, una aproximació perquè el WER també compta les paraules afegides.

Sovint es cita el 2.7%: és el mateix model amb descodificació greedy més simple (taula 2). Les files AMI són les mateixes reunions enregistrades de dues maneres. Moure el micròfon de cada parlant al mig de la taula duplica amb escreix l'error.

Què és la taxa d'error de paraules (WER) i com es calcula?

El WER és la proporció d'errors d'una transcripció respecte d'una referència revisada per una persona. Compta tres tipus d'error i divideix-los per les paraules de la referència:

WER = (substitucions + omissions + insercions) ÷ paraules de la referència

  • Substitució: una paraula incorrecta en lloc de la correcta («dinar» per «llançament»).
  • Omissió: una paraula pronunciada que falta al text.
  • Inserció: una paraula al text que ningú no ha dit.

Aquest exemple propi és il·lustratiu i es pot puntuar amb la biblioteca oberta jiwer:

Línia Text
Referència (22 paraules) ajornem el llançament del producte al nou de març perquè el proveïdor va fallar dos terminis i la doctora vol proves noves
Transcripció ajornem llançament del producte al nou de març perquè el proveïdor va fallar dos terminis i la doctora vol plans nous avui
Errors 2 substitucions (plans, nous), 1 omissió (el), 1 inserció (avui)
WER 4 ÷ 22 = 18.2%

Tres aspectes del WER solen sorprendre:

  1. Pot superar el 100%. Les insercions no tenen límit i alguns idiomes amb pocs recursos als resultats Fleurs superen el 100%.
  2. La normalització canvia la puntuació. «Dr.» i «doctor» compten com a error si no es netegen igual. OpenAI diu que el normalitzador va reduir el WER fins a un 50% en alguns conjunts, sobretot eliminant diferències de format.
  3. Alguns idiomes fan servir taxa d'error de caràcters (CER). Per al xinès, japonès, tailandès, lao i birmà, que no separen paraules amb espais, l'estudi puntua caràcters.

Una afirmació de precisió sense conjunt ni mètode especificats no és una mesura, qui la faci, nosaltres inclosos.

Quina precisió té Whisper en anglès?

Whisper és molt precís amb anglès clar i continua sent útil amb anglès difícil. A l'estudi va cometre un 55.2% menys d'errors en 12 altres conjunts anglesos que un model supervisat wav2vec 2.0 amb un resultat LibriSpeech gairebé igual.

Enregistraments llargs

Whisper llegeix l'àudio en finestres de 30 segons, per això l'estudi va provar fitxers llargs separadament (taula 16, large-v2):

Conjunt llarg Contingut WER
TED-LIUM 3 11 conferències TED completes 3.5%
Meanwhile 64 segments de televisió nocturna amb moltes paraules inusuals 5.1%
Kincaid46 46 enregistraments variats d'una comparació de 2018 8.8%
Earnings-21 Trucades de resultats empresarials 9.7%
Rev16 16 episodis de pòdcast 11.3%
Earnings-22 Més trucades de resultats amb molts accents 12.6%
CORAAL 231 entrevistes completes en anglès afroamericà 19.6%

Whisper davant dels transcriptors humans

OpenAI va encarregar 25 enregistraments Kincaid46 a quatre serveis humans i un d'assistit per ordinador. L'assistit va obtenir 1.15 punts percentuals menys d'error que Whisper i els purament humans només una fracció de punt menys. L'estudi conclou que no és perfecte, però és molt proper a la precisió humana.

La mida del model importa

Whisper té diverses mides i les aplicacions no sempre indiquen quina fan servir (taula 9):

Model Paràmetres LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

La diferència creix amb la dificultat: uns 4 punts en audiollibres clars i 23 al sopar. El model turbo, un large-v3 optimitzat, accepta una degradació mínima de precisió segons el README de GitHub d'OpenAI a canvi de molta més velocitat.

Quina precisió té Whisper en altres idiomes?

Fora de l'anglès, la precisió depèn sobretot de la quantitat d'àudio d'entrenament en aquella llengua. L'estudi va trobar una correlació al quadrat de 0.83 entre el logaritme d'hores d'entrenament i el logaritme del WER, i estima que el WER es redueix a la meitat cada vegada que les dades augmenten 16 vegades. La majoria dels 96 idiomes no anglesos tenien menys de 1,000 hores.

Resultats Fleurs seleccionats (frases llegides, large-v2, taula 13):

Idioma WER Fleurs Nota
Castellà 3.0% El més baix de la taula
Anglès 4.2%
Portuguès 4.3%
Alemany 4.5%
Japonès 5.3% Taxa d'error de caràcters
Rus 5.6%
Francès 8.3%
Coreà 14.3% Assenyalat com a valor atípic
Xinès 14.7% Taxa d'error de caràcters
Àrab 16.0%
Hindi 21.5%
Hebreu 27.1% Assenyalat com a valor atípic
Suahili 39.3%
Telugu 99.0% Assenyalat com a valor atípic

L'estudi assenyala hebreu, telugu, xinès i coreà com a pitjors del que preveien les dades d'entrenament, potser per distància lingüística, un tokenitzador inadequat o qualitat de dades. Fleurs és parla llegida, així que espera més errors en converses. El README té una gràfica més recent de large-v3 i large-v2 a Common Voice 15 i Fleurs.

Els resultats del castellà són encoratjadors si transcrius àudio en castellà. Per a idiomes amb menys recursos, prova un fragment curt abans de començar tot el projecte.

Què influeix en la precisió de Whisper?

Les condicions d'enregistrament són el factor principal. Dades de l'estudi i la fitxa del model:

Factor Què mostren les dades Què fer
Soroll de fons Amb soroll de bar per sota de 10 dB de relació senyal/soroll, Whisper va superar els 14 models comparats, però tots van empitjorar amb més soroll Enregistra en una sala tranquil·la, lluny de ventiladors i música
Distància del micròfon Mateixes reunions AMI: 17.4% amb micròfons d'auriculars, 39.9% amb un de taula Acosta el micròfon a qui parla
Conversa i solapaments Trucades i sopars donen del 13.6% al 24.9%, davant del 2.5% en lectura Una persona alhora; un micròfon per parlant
Accents i dialectes La fitxa informa de precisió desigual; entrevistes llargues CORAAL van obtenir 19.6% Prova amb parlants semblants als dels teus enregistraments
Paraules rares i argot Bon resultat a Meanwhile amb argot (5.1%), però noms i termes tècnics són errors freqüents Comprova noms i termes amb una llista
Recursos lingüístics WER Fleurs del 3.0% (castellà) al 99.0% (telugu) Tria la llengua i preveu més revisió per a idiomes amb pocs recursos
Mida del model tiny obté 48.0% a CHiME-6, large-v2 24.9% Pregunta quin model usa l'eina o usa el més gran possible
Format i freqüència El codi Whisper converteix tot l'àudio a 16 kHz mono Un WAV de 48 kHz no millora un fitxer net de 16 kHz

Convertir un MP3 en un WAV gran no recupera el detall perdut. Un enregistrament clar amb una taxa moderada és millor que un de sorollós amb taxa alta.

Problemes coneguts de Whisper: al·lucinacions, repeticions i marques de temps

OpenAI documenta cadascun d'aquests errors, més importants del que suggereix el seu pes en el WER.

Text al·lucinat

Whisper pot escriure paraules que ningú ha dit. La fitxa adverteix que les prediccions poden contenir text absent de l'àudio, probablement perquè el model també prediu les paraules següents probables. Les limitacions de l'estudi esmenten fins i tot una al·lucinació completa, sense relació amb l'àudio.

L'estudi independent Careless Whisper (Koenecke i altres, 2024) va processar 13,140 segments amb l'API Whisper d'OpenAI l'abril i maig de 2023. Prop de l'1% de transcripcions (1.4% de mitjana) contenien frases senceres inventades, i el 38% d'aquestes incloïen contingut perjudicial com violència o associacions falses. Els parlants amb pauses més llargues, en aquest cas persones amb afàsia, en provocaven més. L'API ha canviat; considera-ho una mesura de 2023.

Bucles de repetició i omissions

La fitxa diu que Whisper tendeix a repetir text, cosa que beam search i temperature scheduling redueixen però no resolen del tot. L'estudi també assenyala omissions al principi o final d'un segment. Les correccions de descodificació van reduir el WER mitjà llarg de l'11.0% al 10.0%: millor, no resolt.

Silenci, música i mots de farciment

El text inventat tendeix a aparèixer en silencis llargs i música. L'estudi va trobar que el senyal «sense parla» de Whisper no era fiable per si sol, i el codi obert ara té una opció per saltar silencis llargs quan detecta una al·lucinació probable.

Desviació del temps i fitxers llargs

Whisper avança en finestres de 30 segons i utilitza les seves marques previstes per situar la següent; l'estudi indica que un error es pot transmetre a la finestra posterior. Les marques per paraula són «experimentals» al codi. Per als subtítols, comprova el temps al voltant de les pauses.

Durant el desenvolupament OpenAI també va veure que Whisper endevinava noms de parlants gairebé sempre incorrectes. Els models publicats es van ajustar per limitar-ho, però comprova qualsevol nom.

10 maneres de millorar la precisió de Whisper

La majoria de millores arriben abans de transcriure, aproximadament de més a menys efecte:

  1. Acosta el micròfon. La distància va duplicar amb escreix l'error a AMI.
  2. Redueix el soroll a l'origen. Tanca finestres, apaga ventiladors i atura la música.
  3. Evita veus superposades. Una persona alhora és millor que qualsevol ajust.
  4. Retalla silencis llargs i intros musicals, on apareix text inventat. Talla a les pauses, no a mitja frase.
  5. Tria l'idioma. Whisper va identificar correctament la llengua el 80.3% de vegades en 82 idiomes Fleurs, de manera que la detecció pot fallar amb clips curts o accents.
  6. Fes servir el model més gran disponible, sobretot amb soroll.
  7. Proporciona noms i termes si allotges el model. Whisper obert accepta --initial_prompt amb l'ortografia esperada.
  8. Puja l'original. Tornar a enregistrar per altaveus o recomprimir repetidament perd detall.
  9. Comprova termes. Cerca noms, nombres, dates i sigles i verifica'ls amb l'àudio.
  10. Revisa en dues passades. Primer corregeix a velocitat normal. Després busca senyals d'al·lucinació: línies repetides, frases en silenci i comiats com «Gràcies per mirar». En treball jurídic, mèdic o publicat, una persona ha de revisar-ho tot.

Com mesurar la precisió amb el teu àudio

La millor estimació per al teu treball és una prova de 30 minuts amb els teus enregistraments. Són passos per a tu, no una prova de whispertranscribe.ai.

  1. Tria tres fragments de 2 minuts com els teus: un de fàcil, un de típic i un de difícil.
  2. Escriu a mà una transcripció de referència, paraula per paraula. Defineix abans les regles: conservar o eliminar «eh», xifres o paraules per als nombres.
  3. Transcriu cada fragment amb l'eina que proves i desa text pla.
  4. Normalitza tots dos textos de la mateixa manera. El normalitzador d'OpenAI ve amb openai-whisper.
  5. Calcula el WER amb jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Compta els errors crítics a part. Cinc mots de farciment incorrectes i cinc noms de client incorrectes donen el mateix WER, però no són el mateix problema.
  2. Registra els resultats per comparar eines o configuracions:
Fragment Condicions Paraules de referència S D I WER Errors crítics
Fragment A Sala tranquil·la, un parlant 310
Fragment B Videotrucada, dos parlants 285
Fragment C Cafeteria, parlant amb accent 296

El nombre de paraules és orientatiu. Precaució al pas 4: el normalitzador anglès d'OpenAI pot equiparar «Dr.» amb «doctor» i «two» amb «2», però marcar «9th» davant «ninth» com a error. Llegeix les diferències marcades abans de confiar en la puntuació.

Quina precisió té whispertranscribe.ai?

whispertranscribe.ai és una eina web de transcripció amb IA basada en Whisper, amb més de 130 idiomes i fitxers de fins a 5GB i 10 hores. La precisió arriba fins al 99% amb àudio clar; el soroll, els accents forts i els solapaments la redueixen, com mostren les proves anteriors de Whisper. No afirmem igualar o superar les xifres de l'estudi i no hem publicat cap prova pròpia; prova els teus fragments amb els passos anteriors.

Pots començar gratis sense compte. Els plans de pagament comencen a $9.99/mes amb facturació anual; consulta els preus.

Preguntes freqüents

Té Whisper una precisió del 99%?

No en general. El millor resultat publicat de Whisper és un 2.5% de WER a LibriSpeech test-clean, audiollibres llegits clarament, aproximadament un 97.5% de paraules correctes. En trucades, reunions i sales sorolloses les xifres d'OpenAI van d'un 13% a un 40% de WER. Una afirmació del «99%» només té sentit si indica l'àudio mesurat. Les eines basades en Whisper, inclosa whispertranscribe.ai, s'han de jutjar pels teus enregistraments, no per un titular.

Quin model Whisper és el més precís?

Els models grans són els més precisos. A l'estudi large-v2 va tenir menys errors en la majoria de conjunts, i la fitxa large-v3 informa d'un 10% a un 20% menys d'errors en molts idiomes. Turbo és un large-v3 optimitzat que segons OpenAI perd una mica de precisió a canvi de molta velocitat. El petit tiny és molt menys precís amb àudio difícil: 48.0% WER en un sopar sorollós contra 24.9% de large-v2.

Per què Whisper escriu paraules que no s'han dit?

Whisper pot al·lucinar perquè està entrenat per predir text probable a més de transcriure so; la fitxa d'OpenAI adverteix de text absent de l'àudio. Passa més durant silencis llargs, música o soroll. Un estudi independent de 2023 va trobar frases inventades en prop de l'1% de transcripcions, amb més probabilitat per pauses. Retallar silencis, definir la llengua i revisar els fragments silenciosos redueix el risc.

Quina precisió té amb accents?

Whisper gestiona accents millor que molts sistemes antics, però no igualment. La fitxa d'OpenAI diu que la precisió varia entre accents i dialectes d'una llengua. A l'estudi, entrevistes llargues en anglès afroamericà (CORAAL) van obtenir 19.6% WER davant del 3.5% de conferències TED completes, tot i que les condicions també difereixen. Prova fragments amb parlants semblants als teus i preveu més revisió si els accents són forts.

És Whisper tan precís com un transcriptor humà?

En anglès s'hi acosta, però no iguala el millor. OpenAI el va comparar amb cinc serveis professionals en 25 enregistraments. Un servei assistit per ordinador va tenir un WER global 1.15 punts inferior i quatre serveis humans van ser millors per una fracció de punt. Les persones tendeixen a gestionar millor noms, solapaments i parla poc clara. Per a cites, documents o publicacions, una persona ha de revisar el text amb l'àudio.

Quina precisió té en idiomes diferents de l'anglès?

Varia molt. A Fleurs, large-v2 va obtenir 3.0% WER en castellà, 4.5% en alemany i 8.3% en francès, però 27.1% en hebreu i 99.0% en telugu. Xinès i japonès es mesuren per caràcters: 14.7% i 5.3%. L'estudi va trobar una relació amb la quantitat d'àudio d'entrenament. Per a llengües amb menys recursos, prova un fragment curt i reserva més temps per corregir.

Prova la precisió amb el teu enregistrament

Les proves descriuen àudio d'altres persones. Puja un fragment a whispertranscribe.ai en un dels més de 130 idiomes i puntua'l amb els passos de la guia. Comença gratis sense compte o compara plans.

Articles relacionats: Què és Whisper AI? · Millor programari gratuït de transcripció · Millors alternatives a TurboScribe · Com transcriure un vídeo de YouTube · Què és un fitxer SRT? · Subtítols incrustats i independents

Referències

Vols convertir les teves gravacions en text?

Transcriu àudio i vídeo amb whispertranscribe.ai.

Comença a transcriure ↗