Af whispertranscribe.ai-redaktionen · Senest opdateret: november 2026 · 13 minutters læsning · Kategori: Transskriptionsnøjagtighed
Hvor nøjagtig er Whisper? På tydelig, oplæst engelsk rapporterer OpenAI en ordfejlrate (WER) på 2.5 % for Whisper large-v2, så cirka 97–98 af 100 ord er rigtige. Vanskeligere lyd giver dårligere resultater: 13.6 % ved telefonsamtaler, 24.9 % ved et støjende middagsselskab og 39.9 % ved et møde med én fjern mikrofon.
Whisper er OpenAI's åbne talegenkendelsesmodel og motoren bag mange transskriptionsapps, herunder vores. Guiden handler om nøjagtighed: hvad WER måler, resultater efter lydtype og sprog, Whisper-fejl og hvordan du selv tester. For baggrunden, se hvad Whisper AI er.
De fleste tal kommer fra Whisper-artiklen (Radford m.fl., 2022), som testede modellerne „zero-shot” uden finjustering på testsættene. Det nyere large-v3-modelkort rapporterer 10–20 % færre fejl end large-v2 på mange sprog, men uden fuld tabel for hvert datasæt. whispertranscribe.ai udgiver artiklen. Vi har ikke udført et benchmark; tallene er ikke resultater af vores egne tests.
Whisper-nøjagtighed kort fortalt
Intet enkelt testsæt besvarer spørgsmålet, fordi lydtypen påvirker tallet mest. Tabellen viser OpenAI's resultater for large-v2 med beam search og temperature fallback (tabel 9 i appendiks), vurderet efter OpenAI's tekstnormalisering.
| Lydtype | Testsæt i artiklen | Whisper large-v2 WER | Omtrent korrekt andel ord |
|---|---|---|---|
| Lydbog, tydelig oplæsning | LibriSpeech test-clean | 2.5% | Ca. 97.5 af 100 |
| Oplæst nyhedstekst | WSJ | 2.6% | Ca. 97.4 af 100 |
| TED-foredrag | TED-LIUM 3 | 3.7% | Ca. 96 af 100 |
| Lydbog, vanskeligere talere | LibriSpeech test-other | 4.9% | Ca. 95 af 100 |
| Frivillige med hjemmemikrofoner | Common Voice 5.1 | 8.2% | Ca. 92 af 100 |
| Telefonsamtaler | Switchboard | 13.6% | Ca. 86 af 100 |
| Lange sociolingvistiske interviews | CORAAL | 14.2% | Ca. 86 af 100 |
| Telefonopkald mellem familie og venner | CallHome | 16.4% | Ca. 84 af 100 |
| Møder med headsetmikrofon til hver person | AMI IHM | 17.4% | Ca. 83 af 100 |
| Middagsselskaber, fjerne mikrofoner | CHiME-6 | 24.9% | Ca. 75 af 100 |
| Møder, én fjern bordmikrofon | AMI SDM1 | 39.9% | Ca. 60 af 100 |
„Korrekt andel” er 100 minus WER og er en tilnærmelse, fordi WER også tæller indsatte ord.
Du ser ofte 2.7 % nævnt: Det er samme model med enklere greedy-dekodning (artiklens tabel 2). AMI-rækkerne er de samme møder optaget på to måder. At flytte mikrofonen fra hver taler til midten af bordet mere end fordobler fejlprocenten.
Hvad er ordfejlrate (WER), og hvordan beregnes den?
Ordfejlrate er andelen af fejl i en transskription sammenlignet med en menneskekontrolleret reference. Tæl tre fejltyper, og dividér med antallet af ord i referencen:
WER = (erstatninger + udeladelser + indsættelser) ÷ ord i referencen
- Erstatning: et forkert ord i stedet for det rigtige („hus” i stedet for „mus”).
- Udeladelse: et talt ord mangler i transskriptionen.
- Indsættelse: et ord i transskriptionen blev ikke sagt.
Her er et selvopfundet eksempel, illustreret med WER-beregningen og det åbne bibliotek jiwer:
| Linje | Tekst |
|---|---|
| Reference (22 ord) | vi flyttede produktets lancering til ni marts fordi leverandøren overskred to frister og doktor patel ønsker en testplan inden mødet i morgen |
| Transskription | vi flyttede produktets frokost til ni marts fordi leverandøren overskred to frister doktor badal ønsker en testplan inden mødet i morgen straks |
| Fejl | 2 erstatninger (frokost, badal), 1 udeladelse (og), 1 indsættelse (straks) |
| WER | 4 ÷ 22 = 18.2% |
Tre ting ved WER overrasker ofte:
- Den kan overstige 100 %. Indsættelser har ingen øvre grænse, og enkelte sprog med få ressourcer i Fleurs-resultaterne ligger over 100 %.
- Normalisering ændrer resultatet. „Dr.” og „doktor” tæller som fejl, medmindre begge tekster renses ens. OpenAI siger, at normalisering sænkede WER med op til 50 % på visse datasæt, primært ved at fjerne formateringsforskelle.
- Nogle sprog bruger tegnfejlrate (CER). For kinesisk, japansk, thai, lao og burmesisk, hvor ord ikke adskilles med mellemrum, vurderer artiklen tegn.
En påstand om nøjagtighed uden navngivet testsæt og scoringsmetode er ikke en måling, uanset hvem der fremsætter den, inklusive os.
Hvor nøjagtig er Whisper på engelsk?
Whisper er meget nøjagtig på klar engelsk og kan stadig bruges ved vanskelig lyd. I artiklen lavede den 55.2 % færre fejl på 12 andre engelske datasæt end en superviseret wav2vec 2.0-model med næsten samme LibriSpeech-resultat.
Lange optagelser
Whisper læser lyd i vinduer på 30 sekunder, så artiklen testede lange filer separat (tabel 16 i appendiks, large-v2):
| Langt testsæt | Indhold | WER |
|---|---|---|
| TED-LIUM 3 | 11 hele TED-foredrag | 3.5% |
| Meanwhile | 64 tv-indslag med mange usædvanlige ord | 5.1% |
| Kincaid46 | 46 blandede optagelser fra en sammenligning i 2018 | 8.8% |
| Earnings-21 | Virksomheders regnskabsopkald | 9.7% |
| Rev16 | 16 podcastafsnit | 11.3% |
| Earnings-22 | Flere regnskabsopkald, mange accenter | 12.6% |
| CORAAL | 231 hele interviews på afroamerikansk engelsk | 19.6% |
Whisper sammenlignet med menneskelige transskribenter
OpenAI fik 25 Kincaid46-optagelser transskriberet af fire menneskelige tjenester og én computerassisteret tjeneste. Den computerassisterede tjeneste havde en samlet WER 1.15 procentpoint bedre end Whisper, og de rent menneskelige tjenester var en brøkdel af et point bedre. Artiklen konkluderer, at resultatet ikke er perfekt, men tæt på menneskelig nøjagtighed.
Modelstørrelsen betyder noget
Whisper findes i flere størrelser, og apps oplyser ikke altid hvilken (appendiks tabel 9):
| Model | Parametre | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
Forskellen vokser med lydens sværhedsgrad: ca. 4 point ved klare lydbøger og 23 ved middagsselskabet. Den nyere turbo-model er en optimeret large-v3, som ifølge OpenAI's GitHub README accepterer en minimal reduktion i nøjagtighed mod meget hurtigere transskription.
Hvor nøjagtig er Whisper på andre sprog?
Uden for engelsk afhænger nøjagtigheden primært af mængden af træningslyd på sproget. Artiklen fandt en kvadreret korrelation på 0.83 mellem logaritmen af træningstimer og logaritmen af WER og anslår, at WER halveres, hver gang datamængden øges 16 gange. De fleste af de 96 ikke-engelske sprog havde under 1.000 timer.
Udvalgte Fleurs-resultater (oplæste sætninger, large-v2, appendiks tabel 13):
| Sprog | Fleurs WER | Bemærkning |
|---|---|---|
| Spansk | 3.0% | Lavest i tabellen |
| Engelsk | 4.2% | |
| Portugisisk | 4.3% | |
| Tysk | 4.5% | |
| Japansk | 5.3% | Tegnfejlrate |
| Russisk | 5.6% | |
| Fransk | 8.3% | |
| Koreansk | 14.3% | Markeret som afviger |
| Kinesisk | 14.7% | Tegnfejlrate |
| Arabisk | 16.0% | |
| Hindi | 21.5% | |
| Hebraisk | 27.1% | Markeret som afviger |
| Swahili | 39.3% | |
| Telugu | 99.0% | Markeret som afviger |
Artiklen markerer hebraisk, telugu, kinesisk og koreansk som dårligere end træningsdataene forudsagde, muligvis på grund af sproglig afstand, en tokenizer der passer dårligt til skriftsystemerne, eller datakvalitet. Fleurs er oplæst tale, så forvent flere fejl i samtale. README har en nyere graf for large-v3 og large-v2 på Common Voice 15 og Fleurs.
Spanske resultater er lovende, hvis du transskriberer spansk lyd til tekst. For sprog med færre ressourcer bør du teste et kort klip før hele projektet.
Hvad påvirker Whisper-nøjagtigheden?
Optageforhold betyder mest. Dokumentation fra artiklen og modelkortet:
| Faktor | Hvad dokumentationen viser | Hvad du kan gøre |
|---|---|---|
| Baggrundsstøj | Ved pubstøj under 10 dB signal-støj-forhold slog Whisper alle 14 sammenligningsmodeller, men alle blev dårligere ved mere støj | Optag i et stille rum væk fra ventilatorer og musik |
| Mikrofonafstand | Samme AMI-møder: 17.4% med headset, 39.9% med én bordmikrofon | Hold mikrofonen nær taleren |
| Samtale og overlap | Telefonopkald og middagsselskaber giver 13.6–24.9% mod 2.5% for oplæst tale | Én taler ad gangen; én mikrofon pr. taler |
| Accenter og dialekter | Modelkortet rapporterer ujævn nøjagtighed; lange CORAAL-interviews gav 19.6% | Test med talere, der lyder som dem i dine optagelser |
| Sjældne ord og fagudtryk | Godt resultat på fagordstunge Meanwhile (5.1%), men navne og tekniske termer er stadig almindelige fejl | Kontrollér navne og termer mod en liste |
| Sprogresurser | Fleurs WER spænder fra 3.0% (spansk) til 99.0% (telugu) | Vælg sproget selv, og afsæt mere korrektur til sprog med få ressourcer |
| Modelstørrelse | tiny får 48.0% på CHiME-6, large-v2 24.9% | Spørg hvilken model værktøjet bruger, eller vælg den største du kan |
| Filformat og sampling | Whisper-koden omsampler alt til 16 kHz mono | En WAV på 48 kHz giver intet ekstra i forhold til en ren 16 kHz-fil |
At konvertere MP3 til en stor WAV genskaber ikke tabte detaljer. En ren optagelse med moderat bitrate er bedre end en støjende med høj bitrate.
Kendte Whisper-problemer: hallucinationer, gentagelser og tidskoder
OpenAI dokumenterer hver af disse fejltyper, som kan betyde mere end deres andel af WER antyder.
Opdigtet tekst
Whisper kan skrive ord, ingen har sagt. Modelkortet advarer om, at forudsigelser kan indeholde tekst, der ikke tales i lyden, muligvis fordi modellen også forudsiger sandsynlige næste ord. Artiklen nævner endda fuldstændig hallucination, hvor output er uden forbindelse til lyden.
Et uafhængigt studie, Careless Whisper (Koenecke m.fl., 2024), kørte 13.140 lydsegmenter gennem OpenAI's Whisper API i april og maj 2023. Omkring 1 % af transskriptionerne (1.4 % i gennemsnit) indeholdt hele opdigtede udtryk eller sætninger, og 38 % af disse indeholdt skadeligt indhold som vold eller falske associationer. Længere pauser, her hos personer med afasi, øgede forekomsten. API'et er siden ændret, så betragt det som en måling fra 2023.
Gentagelsesløkker og udeladte ord
Modelkortet siger, at Whisper har tendens til gentagen tekst, som beam search og temperaturplanlægning reducerer, men ikke fjerner helt. Artiklen nævner også udeladelse af første eller sidste ord i et segment. Dekodningsrettelser sænkede gennemsnitlig WER for lange optagelser fra 11.0% til 10.0%, men løste ikke problemet.
Tavshed, musik og fyldord
Opdigtet tekst optræder ofte under lange pauser og musik. Artiklen fandt Whisper's eget signal for ingen tale upålideligt alene, og den åbne kode har nu en mulighed for at springe lange pauser over, når en mulig hallucination opdages.
Forskudte tidskoder og lange filer
Whisper behandler lang lyd i 30-sekunders vinduer og bruger sine egne forudsagte tidskoder til at placere næste vindue. Artiklen bemærker derfor, at en fejl kan følge med til næste vindue. Tidskoder på ordniveau er markeret som eksperimentelle i koden. Kontrollér underteksters timing omkring pauser.
Under udviklingen så OpenAI også Whisper gætte talernavne næsten altid forkert. De udgivne modeller blev finjusteret for at reducere problemet, men kontrollér alle navne i teksten.
10 måder at forbedre Whisper-transskription på
De fleste forbedringer sker før transskription. Omtrent fra størst til mindst effekt:
- Placér mikrofonen tæt på. Afstand alene mere end fordoblede fejlprocenten i AMI-møderne.
- Fjern støj ved kilden. Luk vinduer, sluk ventilatorer, og stands musik.
- Undgå overlappende tale. Én person ad gangen hjælper mere end enhver indstilling.
- Klip lange pauser og musikintroer væk, hvor opdigtet tekst ofte opstår. Klip ved pauser, ikke midt i en sætning.
- Vælg sproget selv. Whisper identificerede sproget korrekt i 80.3 % af tilfældene på 82 Fleurs-sprog, så automatisk registrering kan fejle ved korte klip eller accenter.
- Brug den største tilgængelige model, især ved støj.
- Angiv navne og fagudtryk i prompten, hvis du selv driver modellen. Åben Whisper accepterer forventede stavemåder via
--initial_prompt. - Upload originalfilen. Genoptagelse gennem højttalere eller gentagen komprimering fjerner detaljer.
- Kontrollér termer. Søg efter hvert navn, tal, dato og akronym, og sammenlign med lyden.
- Gennemgå i to omgange. Ret først ved normal hastighed. Se derefter efter hallucinationer: gentagne linjer, sætninger over tavshed og afslutninger som „Tak fordi du så med”. Ved juridisk, medicinsk eller udgivet arbejde bør et menneske kontrollere alt.
Sådan måler du Whisper på din egen lyd
Det bedste overslag er en 30-minutters test på dine egne optagelser. Trinene er til dig; de er ikke en whispertranscribe.ai-test.
- Vælg tre klip på 2 minutter som i dit virkelige arbejde: ét let, ét typisk og ét svært.
- Skriv en reference manuelt, ord for ord. Fastlæg først regler: behold eller fjern fyldord, og skriv tal som cifre eller ord.
- Transskriber hvert klip med værktøjet, og gem ren tekst.
- Normalisér begge tekster ens. OpenAI's normalisator følger med
openai-whisper. - Beregn WER med jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Tæl kritiske fejl separat. Fem forkerte fyldord og fem forkerte kundenavne giver samme WER, men er ikke samme problem.
- Registrér resultaterne, så du kan sammenligne værktøjer og indstillinger:
| Klip | Forhold | Ord i reference | S | D | I | WER | Kritiske fejl |
|---|---|---|---|---|---|---|---|
| Klip A | Stille rum, én taler | 310 | |||||
| Klip B | Videoopkald, to talere | 285 | |||||
| Klip C | Café, taler med accent | 296 |
Ordantallene er pladsholdere. Bemærk ved trin 4, at OpenAI's engelske normalisator kan behandle forkortelser og talformer forskelligt. Læs de markerede forskelle, før du stoler på resultatet.
Hvor nøjagtig er whispertranscribe.ai?
whispertranscribe.ai er et browserbaseret AI-transskriptionsværktøj baseret på Whisper, som understøtter over 130 sprog og uploads op til 5 GB og 10 timer. Nøjagtigheden kan nå 99 % ved klar lyd; baggrundsstøj, stærke accenter og overlap reducerer den, som Whisper-resultaterne ovenfor viser. Vi hævder ikke at matche eller overgå artiklens tal og har ikke offentliggjort eget benchmark, så test dine egne klip med trinene ovenfor.
- Noise / Low-Quality Audio/Video-indstillinger i sprogvalget for mange sprog. Prøv standard og støjindstillingen på en støjende fil, og sammenlign.
- Over 130 sprog, Multilingual Mix og oversættelse af lyd til engelsk.
- Filer på op til 5 GB og 10 timer, talergenkendelse og tidskoder (alle funktioner).
- Ren lyd: Indhent nødvendigt samtykke og arrangørens tilladelse, og optag i browseren med mikrofonen tæt på, eller konvertér video til MP3 for kun at uploade lyd.
- Eksport til DOCX, PDF, TXT, CSV, SRT og VTT samt en undertekstgenerator til tidskodede undertekster.
Du kan starte gratis uden konto. Betalte abonnementer starter ved 9,99 USD/måned årligt; se priser.
Ofte stillede spørgsmål
Er Whisper 99 % nøjagtig?
Ikke generelt. Whisper's bedste offentliggjorte resultat er 2.5 % WER på LibriSpeech test-clean, tydeligt oplæste lydbøger, svarende til ca. 97.5 % korrekte ord. Ved opkald, møder og støjende rum spænder OpenAI's egne tal fra ca. 13 % til 40 % WER. En påstand om 99 % er kun meningsfuld, hvis den angiver den målte lyd. Bedøm Whisper-baserede værktøjer, herunder whispertranscribe.ai, på dine egne optagelser.
Hvilken Whisper-model er mest nøjagtig?
Large-modellerne er mest nøjagtige. I OpenAI's artikel havde large-v2 lavest fejlrate på de fleste testsæt, og large-v3-modelkortet rapporterer 10–20 % færre fejl end large-v2 på mange sprog. Turbo er en optimeret large-v3, som ifølge OpenAI mister lidt nøjagtighed mod meget højere hastighed. Den mindste model, tiny, er langt mindre nøjagtig ved vanskelig lyd: 48.0 % WER ved et støjende middagsselskab mod 24.9 % for large-v2.
Hvorfor skriver Whisper ord, der ikke blev sagt?
Whisper kan hallucinere, fordi den også er trænet til at forudsige sandsynlig tekst, og OpenAI's modelkort advarer om tekst uden for lyden. Det sker især ved lange pauser, musik eller støj. Et uafhængigt studie fra 2023 fandt opdigtede udtryk i ca. 1 % af transskriptionerne, og pauser øgede sandsynligheden. At klippe tavshed, vælge sprog og kontrollere stille passager mindsker risikoen.
Hvor nøjagtig er Whisper med accenter?
Whisper håndterer accenter bedre end mange ældre systemer, men ikke ensartet. OpenAI's modelkort siger, at nøjagtigheden varierer mellem accenter og dialekter. I artiklen gav lange interviews på afroamerikansk engelsk (CORAAL) 19.6 % WER mod 3.5 % for hele TED-foredrag, men optageforholdene er også forskellige. Test med talere, der ligner dine faktiske optagelser, og afsæt mere korrekturtid ved stærke accenter.
Er Whisper lige så nøjagtig som et menneske?
På engelsk kommer Whisper tæt på, men matcher ikke de bedste. OpenAI sammenlignede med fem professionelle tjenester på 25 optagelser. En computerassisteret tjeneste havde samlet WER 1.15 point lavere end Whisper, og fire rent menneskelige tjenester var en brøkdel af et point bedre. Mennesker håndterer stadig ofte navne, overlap og utydelig tale bedre. Alt, der citeres, indgives eller udgives, bør kontrolleres af et menneske mod optagelsen.
Hvor nøjagtig er Whisper på andre sprog end engelsk?
Det varierer meget. På Fleurs fik large-v2 3.0 % WER på spansk, 4.5 % på tysk og 8.3 % på fransk, men 27.1 % på hebraisk og 99.0 % på telugu. Kinesisk og japansk måles med tegnfejlrate: 14.7 % og 5.3 %. Artiklen fandt, at nøjagtighed følger mængden af træningslyd pr. sprog. Test først et kort klip på sprog med få ressourcer, og afsæt mere tid til rettelser.
Test nøjagtigheden på din egen optagelse
Benchmarks beskriver andres lyd. Upload et klip til whispertranscribe.ai på et af over 130 sprog, og vurder det med vejledningens trin. Start gratis uden konto, eller sammenlign abonnementer.
Relaterede artikler: Hvad er Whisper AI? · Bedste gratis transskriptionssoftware · Bedste TurboScribe-alternativer · Sådan transskriberer du YouTube-video · Hvad er en SRT-fil? · Fastbrændte eller separate undertekster
Kilder
- Radford m.fl., Robust Speech Recognition via Large-Scale Weak Supervision (Whisper-artiklen, OpenAI, 2022): tabel 2, 9, 13 og 16 og afsnit 3–6
- OpenAI, openai/whisper på GitHub: modeltabel, turbo-note og WER-graf pr. sprog
- OpenAI og Hugging Face, whisper-large-v3-modelkort: ændringer, evalueret brug og begrænsninger
- Koenecke m.fl., Careless Whisper: Speech-to-Text Hallucination Harms (2024)
- jiwer: åbent bibliotek til WER og CER
- Hugging Face, Open ASR Leaderboard: uafhængig, regelmæssigt opdateret sammenligning af åbne talemodeller
