Per l'equip editorial de whispertranscribe.ai · Última actualització: novembre de 2026 · 13 minuts de lectura · Categoria: Precisió de la transcripció
Quina precisió té Whisper? Amb anglès llegit i clar, l'estudi d'OpenAI informa d'una taxa d'error de paraules (WER) del 2.5% per a Whisper large-v2: unes 97 o 98 paraules correctes de cada 100. Amb àudio difícil el resultat empitjora: 13.6% en trucades, 24.9% en un sopar sorollós i 39.9% en una reunió enregistrada amb un sol micròfon distant.
Whisper és el model obert de reconeixement de veu d'OpenAI i el motor de moltes aplicacions, inclosa la nostra. Aquesta guia tracta la precisió: què mesura el WER, els resultats segons l'àudio i la llengua, els errors de Whisper i com provar-lo. Per al context del model consulta què és Whisper AI.
La majoria de xifres provenen de l'estudi de Whisper (Radford i altres, 2022), que va provar tots els models sense ajustament als conjunts de prova («zero-shot»). La fitxa del model large-v3 més recent informa d'un 10% a un 20% menys d'errors que large-v2 en molts idiomes, però sense taula completa per conjunt. whispertranscribe.ai publica aquest article. No hem fet cap prova comparativa i cap xifra és un resultat propi.
Precisió de Whisper d'un cop d'ull
Cap conjunt respon tot sol la pregunta perquè l'àudio influeix més que qualsevol altre factor. La taula mostra els resultats d'OpenAI per a large-v2 amb beam search i temperature fallback (taula 9 de l'apèndix), avaluats després del normalitzador de text d'OpenAI.
| Tipus d'àudio | Conjunt de prova de l'estudi | WER Whisper large-v2 | Proporció aproximada de paraules correctes |
|---|---|---|---|
| Audiollibre, lectura clara | LibriSpeech test-clean | 2.5% | Unes 97.5 de cada 100 |
| Notícies llegides | WSJ | 2.6% | Unes 97.4 de cada 100 |
| Conferències TED | TED-LIUM 3 | 3.7% | Unes 96 de cada 100 |
| Audiollibre, parlants més difícils | LibriSpeech test-other | 4.9% | Unes 95 de cada 100 |
| Voluntaris amb micròfons domèstics | Common Voice 5.1 | 8.2% | Unes 92 de cada 100 |
| Converses telefòniques | Switchboard | 13.6% | Unes 86 de cada 100 |
| Entrevistes sociolingüístiques llargues | CORAAL | 14.2% | Unes 86 de cada 100 |
| Trucades entre familiars i amics | CallHome | 16.4% | Unes 84 de cada 100 |
| Reunions, micròfon d'auriculars per persona | AMI IHM | 17.4% | Unes 83 de cada 100 |
| Sopars, micròfons distants | CHiME-6 | 24.9% | Unes 75 de cada 100 |
| Reunions, un micròfon de taula distant | AMI SDM1 | 39.9% | Unes 60 de cada 100 |
«Proporció de paraules correctes» és 100 menys el WER, una aproximació perquè el WER també compta les paraules afegides.
Sovint es cita el 2.7%: és el mateix model amb descodificació greedy més simple (taula 2). Les files AMI són les mateixes reunions enregistrades de dues maneres. Moure el micròfon de cada parlant al mig de la taula duplica amb escreix l'error.
Què és la taxa d'error de paraules (WER) i com es calcula?
El WER és la proporció d'errors d'una transcripció respecte d'una referència revisada per una persona. Compta tres tipus d'error i divideix-los per les paraules de la referència:
WER = (substitucions + omissions + insercions) ÷ paraules de la referència
- Substitució: una paraula incorrecta en lloc de la correcta («dinar» per «llançament»).
- Omissió: una paraula pronunciada que falta al text.
- Inserció: una paraula al text que ningú no ha dit.
Aquest exemple propi és il·lustratiu i es pot puntuar amb la biblioteca oberta jiwer:
| Línia | Text |
|---|---|
| Referència (22 paraules) | ajornem el llançament del producte al nou de març perquè el proveïdor va fallar dos terminis i la doctora vol proves noves |
| Transcripció | ajornem llançament del producte al nou de març perquè el proveïdor va fallar dos terminis i la doctora vol plans nous avui |
| Errors | 2 substitucions (plans, nous), 1 omissió (el), 1 inserció (avui) |
| WER | 4 ÷ 22 = 18.2% |
Tres aspectes del WER solen sorprendre:
- Pot superar el 100%. Les insercions no tenen límit i alguns idiomes amb pocs recursos als resultats Fleurs superen el 100%.
- La normalització canvia la puntuació. «Dr.» i «doctor» compten com a error si no es netegen igual. OpenAI diu que el normalitzador va reduir el WER fins a un 50% en alguns conjunts, sobretot eliminant diferències de format.
- Alguns idiomes fan servir taxa d'error de caràcters (CER). Per al xinès, japonès, tailandès, lao i birmà, que no separen paraules amb espais, l'estudi puntua caràcters.
Una afirmació de precisió sense conjunt ni mètode especificats no és una mesura, qui la faci, nosaltres inclosos.
Quina precisió té Whisper en anglès?
Whisper és molt precís amb anglès clar i continua sent útil amb anglès difícil. A l'estudi va cometre un 55.2% menys d'errors en 12 altres conjunts anglesos que un model supervisat wav2vec 2.0 amb un resultat LibriSpeech gairebé igual.
Enregistraments llargs
Whisper llegeix l'àudio en finestres de 30 segons, per això l'estudi va provar fitxers llargs separadament (taula 16, large-v2):
| Conjunt llarg | Contingut | WER |
|---|---|---|
| TED-LIUM 3 | 11 conferències TED completes | 3.5% |
| Meanwhile | 64 segments de televisió nocturna amb moltes paraules inusuals | 5.1% |
| Kincaid46 | 46 enregistraments variats d'una comparació de 2018 | 8.8% |
| Earnings-21 | Trucades de resultats empresarials | 9.7% |
| Rev16 | 16 episodis de pòdcast | 11.3% |
| Earnings-22 | Més trucades de resultats amb molts accents | 12.6% |
| CORAAL | 231 entrevistes completes en anglès afroamericà | 19.6% |
Whisper davant dels transcriptors humans
OpenAI va encarregar 25 enregistraments Kincaid46 a quatre serveis humans i un d'assistit per ordinador. L'assistit va obtenir 1.15 punts percentuals menys d'error que Whisper i els purament humans només una fracció de punt menys. L'estudi conclou que no és perfecte, però és molt proper a la precisió humana.
La mida del model importa
Whisper té diverses mides i les aplicacions no sempre indiquen quina fan servir (taula 9):
| Model | Paràmetres | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
La diferència creix amb la dificultat: uns 4 punts en audiollibres clars i 23 al sopar. El model turbo, un large-v3 optimitzat, accepta una degradació mínima de precisió segons el README de GitHub d'OpenAI a canvi de molta més velocitat.
Quina precisió té Whisper en altres idiomes?
Fora de l'anglès, la precisió depèn sobretot de la quantitat d'àudio d'entrenament en aquella llengua. L'estudi va trobar una correlació al quadrat de 0.83 entre el logaritme d'hores d'entrenament i el logaritme del WER, i estima que el WER es redueix a la meitat cada vegada que les dades augmenten 16 vegades. La majoria dels 96 idiomes no anglesos tenien menys de 1,000 hores.
Resultats Fleurs seleccionats (frases llegides, large-v2, taula 13):
| Idioma | WER Fleurs | Nota |
|---|---|---|
| Castellà | 3.0% | El més baix de la taula |
| Anglès | 4.2% | |
| Portuguès | 4.3% | |
| Alemany | 4.5% | |
| Japonès | 5.3% | Taxa d'error de caràcters |
| Rus | 5.6% | |
| Francès | 8.3% | |
| Coreà | 14.3% | Assenyalat com a valor atípic |
| Xinès | 14.7% | Taxa d'error de caràcters |
| Àrab | 16.0% | |
| Hindi | 21.5% | |
| Hebreu | 27.1% | Assenyalat com a valor atípic |
| Suahili | 39.3% | |
| Telugu | 99.0% | Assenyalat com a valor atípic |
L'estudi assenyala hebreu, telugu, xinès i coreà com a pitjors del que preveien les dades d'entrenament, potser per distància lingüística, un tokenitzador inadequat o qualitat de dades. Fleurs és parla llegida, així que espera més errors en converses. El README té una gràfica més recent de large-v3 i large-v2 a Common Voice 15 i Fleurs.
Els resultats del castellà són encoratjadors si transcrius àudio en castellà. Per a idiomes amb menys recursos, prova un fragment curt abans de començar tot el projecte.
Què influeix en la precisió de Whisper?
Les condicions d'enregistrament són el factor principal. Dades de l'estudi i la fitxa del model:
| Factor | Què mostren les dades | Què fer |
|---|---|---|
| Soroll de fons | Amb soroll de bar per sota de 10 dB de relació senyal/soroll, Whisper va superar els 14 models comparats, però tots van empitjorar amb més soroll | Enregistra en una sala tranquil·la, lluny de ventiladors i música |
| Distància del micròfon | Mateixes reunions AMI: 17.4% amb micròfons d'auriculars, 39.9% amb un de taula | Acosta el micròfon a qui parla |
| Conversa i solapaments | Trucades i sopars donen del 13.6% al 24.9%, davant del 2.5% en lectura | Una persona alhora; un micròfon per parlant |
| Accents i dialectes | La fitxa informa de precisió desigual; entrevistes llargues CORAAL van obtenir 19.6% | Prova amb parlants semblants als dels teus enregistraments |
| Paraules rares i argot | Bon resultat a Meanwhile amb argot (5.1%), però noms i termes tècnics són errors freqüents | Comprova noms i termes amb una llista |
| Recursos lingüístics | WER Fleurs del 3.0% (castellà) al 99.0% (telugu) | Tria la llengua i preveu més revisió per a idiomes amb pocs recursos |
| Mida del model | tiny obté 48.0% a CHiME-6, large-v2 24.9% | Pregunta quin model usa l'eina o usa el més gran possible |
| Format i freqüència | El codi Whisper converteix tot l'àudio a 16 kHz mono | Un WAV de 48 kHz no millora un fitxer net de 16 kHz |
Convertir un MP3 en un WAV gran no recupera el detall perdut. Un enregistrament clar amb una taxa moderada és millor que un de sorollós amb taxa alta.
Problemes coneguts de Whisper: al·lucinacions, repeticions i marques de temps
OpenAI documenta cadascun d'aquests errors, més importants del que suggereix el seu pes en el WER.
Text al·lucinat
Whisper pot escriure paraules que ningú ha dit. La fitxa adverteix que les prediccions poden contenir text absent de l'àudio, probablement perquè el model també prediu les paraules següents probables. Les limitacions de l'estudi esmenten fins i tot una al·lucinació completa, sense relació amb l'àudio.
L'estudi independent Careless Whisper (Koenecke i altres, 2024) va processar 13,140 segments amb l'API Whisper d'OpenAI l'abril i maig de 2023. Prop de l'1% de transcripcions (1.4% de mitjana) contenien frases senceres inventades, i el 38% d'aquestes incloïen contingut perjudicial com violència o associacions falses. Els parlants amb pauses més llargues, en aquest cas persones amb afàsia, en provocaven més. L'API ha canviat; considera-ho una mesura de 2023.
Bucles de repetició i omissions
La fitxa diu que Whisper tendeix a repetir text, cosa que beam search i temperature scheduling redueixen però no resolen del tot. L'estudi també assenyala omissions al principi o final d'un segment. Les correccions de descodificació van reduir el WER mitjà llarg de l'11.0% al 10.0%: millor, no resolt.
Silenci, música i mots de farciment
El text inventat tendeix a aparèixer en silencis llargs i música. L'estudi va trobar que el senyal «sense parla» de Whisper no era fiable per si sol, i el codi obert ara té una opció per saltar silencis llargs quan detecta una al·lucinació probable.
Desviació del temps i fitxers llargs
Whisper avança en finestres de 30 segons i utilitza les seves marques previstes per situar la següent; l'estudi indica que un error es pot transmetre a la finestra posterior. Les marques per paraula són «experimentals» al codi. Per als subtítols, comprova el temps al voltant de les pauses.
Durant el desenvolupament OpenAI també va veure que Whisper endevinava noms de parlants gairebé sempre incorrectes. Els models publicats es van ajustar per limitar-ho, però comprova qualsevol nom.
10 maneres de millorar la precisió de Whisper
La majoria de millores arriben abans de transcriure, aproximadament de més a menys efecte:
- Acosta el micròfon. La distància va duplicar amb escreix l'error a AMI.
- Redueix el soroll a l'origen. Tanca finestres, apaga ventiladors i atura la música.
- Evita veus superposades. Una persona alhora és millor que qualsevol ajust.
- Retalla silencis llargs i intros musicals, on apareix text inventat. Talla a les pauses, no a mitja frase.
- Tria l'idioma. Whisper va identificar correctament la llengua el 80.3% de vegades en 82 idiomes Fleurs, de manera que la detecció pot fallar amb clips curts o accents.
- Fes servir el model més gran disponible, sobretot amb soroll.
- Proporciona noms i termes si allotges el model. Whisper obert accepta
--initial_promptamb l'ortografia esperada. - Puja l'original. Tornar a enregistrar per altaveus o recomprimir repetidament perd detall.
- Comprova termes. Cerca noms, nombres, dates i sigles i verifica'ls amb l'àudio.
- Revisa en dues passades. Primer corregeix a velocitat normal. Després busca senyals d'al·lucinació: línies repetides, frases en silenci i comiats com «Gràcies per mirar». En treball jurídic, mèdic o publicat, una persona ha de revisar-ho tot.
Com mesurar la precisió amb el teu àudio
La millor estimació per al teu treball és una prova de 30 minuts amb els teus enregistraments. Són passos per a tu, no una prova de whispertranscribe.ai.
- Tria tres fragments de 2 minuts com els teus: un de fàcil, un de típic i un de difícil.
- Escriu a mà una transcripció de referència, paraula per paraula. Defineix abans les regles: conservar o eliminar «eh», xifres o paraules per als nombres.
- Transcriu cada fragment amb l'eina que proves i desa text pla.
- Normalitza tots dos textos de la mateixa manera. El normalitzador d'OpenAI ve amb
openai-whisper. - Calcula el WER amb jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Compta els errors crítics a part. Cinc mots de farciment incorrectes i cinc noms de client incorrectes donen el mateix WER, però no són el mateix problema.
- Registra els resultats per comparar eines o configuracions:
| Fragment | Condicions | Paraules de referència | S | D | I | WER | Errors crítics |
|---|---|---|---|---|---|---|---|
| Fragment A | Sala tranquil·la, un parlant | 310 | |||||
| Fragment B | Videotrucada, dos parlants | 285 | |||||
| Fragment C | Cafeteria, parlant amb accent | 296 |
El nombre de paraules és orientatiu. Precaució al pas 4: el normalitzador anglès d'OpenAI pot equiparar «Dr.» amb «doctor» i «two» amb «2», però marcar «9th» davant «ninth» com a error. Llegeix les diferències marcades abans de confiar en la puntuació.
Quina precisió té whispertranscribe.ai?
whispertranscribe.ai és una eina web de transcripció amb IA basada en Whisper, amb més de 130 idiomes i fitxers de fins a 5GB i 10 hores. La precisió arriba fins al 99% amb àudio clar; el soroll, els accents forts i els solapaments la redueixen, com mostren les proves anteriors de Whisper. No afirmem igualar o superar les xifres de l'estudi i no hem publicat cap prova pròpia; prova els teus fragments amb els passos anteriors.
- Opcions Noise / Low-Quality Audio/Video al selector per a molts idiomes. En un fitxer sorollós, compara la normal i la de soroll.
- Més de 130 idiomes, Multilingual Mix i traducció d'àudio a l'anglès.
- Fitxers fins a 5GB i 10 hores, detecció de parlants i marques de temps (totes les funcions).
- Entrada clara: enregistra al navegador amb el micròfon a prop i el consentiment necessari, o converteix vídeo a MP3 per pujar només l'àudio.
- Exportacions DOCX, PDF, TXT, CSV, SRT i VTT, més un generador de subtítols sincronitzats.
Pots començar gratis sense compte. Els plans de pagament comencen a $9.99/mes amb facturació anual; consulta els preus.
Preguntes freqüents
Té Whisper una precisió del 99%?
No en general. El millor resultat publicat de Whisper és un 2.5% de WER a LibriSpeech test-clean, audiollibres llegits clarament, aproximadament un 97.5% de paraules correctes. En trucades, reunions i sales sorolloses les xifres d'OpenAI van d'un 13% a un 40% de WER. Una afirmació del «99%» només té sentit si indica l'àudio mesurat. Les eines basades en Whisper, inclosa whispertranscribe.ai, s'han de jutjar pels teus enregistraments, no per un titular.
Quin model Whisper és el més precís?
Els models grans són els més precisos. A l'estudi large-v2 va tenir menys errors en la majoria de conjunts, i la fitxa large-v3 informa d'un 10% a un 20% menys d'errors en molts idiomes. Turbo és un large-v3 optimitzat que segons OpenAI perd una mica de precisió a canvi de molta velocitat. El petit tiny és molt menys precís amb àudio difícil: 48.0% WER en un sopar sorollós contra 24.9% de large-v2.
Per què Whisper escriu paraules que no s'han dit?
Whisper pot al·lucinar perquè està entrenat per predir text probable a més de transcriure so; la fitxa d'OpenAI adverteix de text absent de l'àudio. Passa més durant silencis llargs, música o soroll. Un estudi independent de 2023 va trobar frases inventades en prop de l'1% de transcripcions, amb més probabilitat per pauses. Retallar silencis, definir la llengua i revisar els fragments silenciosos redueix el risc.
Quina precisió té amb accents?
Whisper gestiona accents millor que molts sistemes antics, però no igualment. La fitxa d'OpenAI diu que la precisió varia entre accents i dialectes d'una llengua. A l'estudi, entrevistes llargues en anglès afroamericà (CORAAL) van obtenir 19.6% WER davant del 3.5% de conferències TED completes, tot i que les condicions també difereixen. Prova fragments amb parlants semblants als teus i preveu més revisió si els accents són forts.
És Whisper tan precís com un transcriptor humà?
En anglès s'hi acosta, però no iguala el millor. OpenAI el va comparar amb cinc serveis professionals en 25 enregistraments. Un servei assistit per ordinador va tenir un WER global 1.15 punts inferior i quatre serveis humans van ser millors per una fracció de punt. Les persones tendeixen a gestionar millor noms, solapaments i parla poc clara. Per a cites, documents o publicacions, una persona ha de revisar el text amb l'àudio.
Quina precisió té en idiomes diferents de l'anglès?
Varia molt. A Fleurs, large-v2 va obtenir 3.0% WER en castellà, 4.5% en alemany i 8.3% en francès, però 27.1% en hebreu i 99.0% en telugu. Xinès i japonès es mesuren per caràcters: 14.7% i 5.3%. L'estudi va trobar una relació amb la quantitat d'àudio d'entrenament. Per a llengües amb menys recursos, prova un fragment curt i reserva més temps per corregir.
Prova la precisió amb el teu enregistrament
Les proves descriuen àudio d'altres persones. Puja un fragment a whispertranscribe.ai en un dels més de 130 idiomes i puntua'l amb els passos de la guia. Comença gratis sense compte o compara plans.
Articles relacionats: Què és Whisper AI? · Millor programari gratuït de transcripció · Millors alternatives a TurboScribe · Com transcriure un vídeo de YouTube · Què és un fitxer SRT? · Subtítols incrustats i independents
Referències
- Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision (the Whisper paper, OpenAI, 2022): Tables 2, 9, 13, and 16 and Sections 3 to 6
- OpenAI, openai/whisper on GitHub: README model table, turbo note, and per-language WER chart
- OpenAI and Hugging Face, whisper-large-v3 model card: large-v3 changes, evaluated use, and limitations
- Koenecke et al., Careless Whisper: Speech-to-Text Hallucination Harms (2024)
- jiwer: open-source library for WER and CER
- Hugging Face, Open ASR Leaderboard: independent, regularly updated comparison of open speech models
