Hvor nøjagtig er Whisper AI? WER, begrænsninger og råd (2026)

Af whispertranscribe.ai-redaktionen · Senest opdateret: november 2026 · 13 minutters læsning · Kategori: Transskriptionsnøjagtighed

Hvor nøjagtig er Whisper? På tydelig, oplæst engelsk rapporterer OpenAI en ordfejlrate (WER) på 2.5 % for Whisper large-v2, så cirka 97–98 af 100 ord er rigtige. Vanskeligere lyd giver dårligere resultater: 13.6 % ved telefonsamtaler, 24.9 % ved et støjende middagsselskab og 39.9 % ved et møde med én fjern mikrofon.

Whisper er OpenAI's åbne talegenkendelsesmodel og motoren bag mange transskriptionsapps, herunder vores. Guiden handler om nøjagtighed: hvad WER måler, resultater efter lydtype og sprog, Whisper-fejl og hvordan du selv tester. For baggrunden, se hvad Whisper AI er.

De fleste tal kommer fra Whisper-artiklen (Radford m.fl., 2022), som testede modellerne „zero-shot” uden finjustering på testsættene. Det nyere large-v3-modelkort rapporterer 10–20 % færre fejl end large-v2 på mange sprog, men uden fuld tabel for hvert datasæt. whispertranscribe.ai udgiver artiklen. Vi har ikke udført et benchmark; tallene er ikke resultater af vores egne tests.

Whisper-nøjagtighed kort fortalt

Intet enkelt testsæt besvarer spørgsmålet, fordi lydtypen påvirker tallet mest. Tabellen viser OpenAI's resultater for large-v2 med beam search og temperature fallback (tabel 9 i appendiks), vurderet efter OpenAI's tekstnormalisering.

Lydtype Testsæt i artiklen Whisper large-v2 WER Omtrent korrekt andel ord
Lydbog, tydelig oplæsning LibriSpeech test-clean 2.5% Ca. 97.5 af 100
Oplæst nyhedstekst WSJ 2.6% Ca. 97.4 af 100
TED-foredrag TED-LIUM 3 3.7% Ca. 96 af 100
Lydbog, vanskeligere talere LibriSpeech test-other 4.9% Ca. 95 af 100
Frivillige med hjemmemikrofoner Common Voice 5.1 8.2% Ca. 92 af 100
Telefonsamtaler Switchboard 13.6% Ca. 86 af 100
Lange sociolingvistiske interviews CORAAL 14.2% Ca. 86 af 100
Telefonopkald mellem familie og venner CallHome 16.4% Ca. 84 af 100
Møder med headsetmikrofon til hver person AMI IHM 17.4% Ca. 83 af 100
Middagsselskaber, fjerne mikrofoner CHiME-6 24.9% Ca. 75 af 100
Møder, én fjern bordmikrofon AMI SDM1 39.9% Ca. 60 af 100

„Korrekt andel” er 100 minus WER og er en tilnærmelse, fordi WER også tæller indsatte ord.

Du ser ofte 2.7 % nævnt: Det er samme model med enklere greedy-dekodning (artiklens tabel 2). AMI-rækkerne er de samme møder optaget på to måder. At flytte mikrofonen fra hver taler til midten af bordet mere end fordobler fejlprocenten.

Hvad er ordfejlrate (WER), og hvordan beregnes den?

Ordfejlrate er andelen af fejl i en transskription sammenlignet med en menneskekontrolleret reference. Tæl tre fejltyper, og dividér med antallet af ord i referencen:

WER = (erstatninger + udeladelser + indsættelser) ÷ ord i referencen

  • Erstatning: et forkert ord i stedet for det rigtige („hus” i stedet for „mus”).
  • Udeladelse: et talt ord mangler i transskriptionen.
  • Indsættelse: et ord i transskriptionen blev ikke sagt.

Her er et selvopfundet eksempel, illustreret med WER-beregningen og det åbne bibliotek jiwer:

Linje Tekst
Reference (22 ord) vi flyttede produktets lancering til ni marts fordi leverandøren overskred to frister og doktor patel ønsker en testplan inden mødet i morgen
Transskription vi flyttede produktets frokost til ni marts fordi leverandøren overskred to frister doktor badal ønsker en testplan inden mødet i morgen straks
Fejl 2 erstatninger (frokost, badal), 1 udeladelse (og), 1 indsættelse (straks)
WER 4 ÷ 22 = 18.2%

Tre ting ved WER overrasker ofte:

  1. Den kan overstige 100 %. Indsættelser har ingen øvre grænse, og enkelte sprog med få ressourcer i Fleurs-resultaterne ligger over 100 %.
  2. Normalisering ændrer resultatet. „Dr.” og „doktor” tæller som fejl, medmindre begge tekster renses ens. OpenAI siger, at normalisering sænkede WER med op til 50 % på visse datasæt, primært ved at fjerne formateringsforskelle.
  3. Nogle sprog bruger tegnfejlrate (CER). For kinesisk, japansk, thai, lao og burmesisk, hvor ord ikke adskilles med mellemrum, vurderer artiklen tegn.

En påstand om nøjagtighed uden navngivet testsæt og scoringsmetode er ikke en måling, uanset hvem der fremsætter den, inklusive os.

Hvor nøjagtig er Whisper på engelsk?

Whisper er meget nøjagtig på klar engelsk og kan stadig bruges ved vanskelig lyd. I artiklen lavede den 55.2 % færre fejl på 12 andre engelske datasæt end en superviseret wav2vec 2.0-model med næsten samme LibriSpeech-resultat.

Lange optagelser

Whisper læser lyd i vinduer på 30 sekunder, så artiklen testede lange filer separat (tabel 16 i appendiks, large-v2):

Langt testsæt Indhold WER
TED-LIUM 3 11 hele TED-foredrag 3.5%
Meanwhile 64 tv-indslag med mange usædvanlige ord 5.1%
Kincaid46 46 blandede optagelser fra en sammenligning i 2018 8.8%
Earnings-21 Virksomheders regnskabsopkald 9.7%
Rev16 16 podcastafsnit 11.3%
Earnings-22 Flere regnskabsopkald, mange accenter 12.6%
CORAAL 231 hele interviews på afroamerikansk engelsk 19.6%

Whisper sammenlignet med menneskelige transskribenter

OpenAI fik 25 Kincaid46-optagelser transskriberet af fire menneskelige tjenester og én computerassisteret tjeneste. Den computerassisterede tjeneste havde en samlet WER 1.15 procentpoint bedre end Whisper, og de rent menneskelige tjenester var en brøkdel af et point bedre. Artiklen konkluderer, at resultatet ikke er perfekt, men tæt på menneskelig nøjagtighed.

Modelstørrelsen betyder noget

Whisper findes i flere størrelser, og apps oplyser ikke altid hvilken (appendiks tabel 9):

Model Parametre LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

Forskellen vokser med lydens sværhedsgrad: ca. 4 point ved klare lydbøger og 23 ved middagsselskabet. Den nyere turbo-model er en optimeret large-v3, som ifølge OpenAI's GitHub README accepterer en minimal reduktion i nøjagtighed mod meget hurtigere transskription.

Hvor nøjagtig er Whisper på andre sprog?

Uden for engelsk afhænger nøjagtigheden primært af mængden af træningslyd på sproget. Artiklen fandt en kvadreret korrelation på 0.83 mellem logaritmen af træningstimer og logaritmen af WER og anslår, at WER halveres, hver gang datamængden øges 16 gange. De fleste af de 96 ikke-engelske sprog havde under 1.000 timer.

Udvalgte Fleurs-resultater (oplæste sætninger, large-v2, appendiks tabel 13):

Sprog Fleurs WER Bemærkning
Spansk 3.0% Lavest i tabellen
Engelsk 4.2%
Portugisisk 4.3%
Tysk 4.5%
Japansk 5.3% Tegnfejlrate
Russisk 5.6%
Fransk 8.3%
Koreansk 14.3% Markeret som afviger
Kinesisk 14.7% Tegnfejlrate
Arabisk 16.0%
Hindi 21.5%
Hebraisk 27.1% Markeret som afviger
Swahili 39.3%
Telugu 99.0% Markeret som afviger

Artiklen markerer hebraisk, telugu, kinesisk og koreansk som dårligere end træningsdataene forudsagde, muligvis på grund af sproglig afstand, en tokenizer der passer dårligt til skriftsystemerne, eller datakvalitet. Fleurs er oplæst tale, så forvent flere fejl i samtale. README har en nyere graf for large-v3 og large-v2 på Common Voice 15 og Fleurs.

Spanske resultater er lovende, hvis du transskriberer spansk lyd til tekst. For sprog med færre ressourcer bør du teste et kort klip før hele projektet.

Hvad påvirker Whisper-nøjagtigheden?

Optageforhold betyder mest. Dokumentation fra artiklen og modelkortet:

Faktor Hvad dokumentationen viser Hvad du kan gøre
Baggrundsstøj Ved pubstøj under 10 dB signal-støj-forhold slog Whisper alle 14 sammenligningsmodeller, men alle blev dårligere ved mere støj Optag i et stille rum væk fra ventilatorer og musik
Mikrofonafstand Samme AMI-møder: 17.4% med headset, 39.9% med én bordmikrofon Hold mikrofonen nær taleren
Samtale og overlap Telefonopkald og middagsselskaber giver 13.6–24.9% mod 2.5% for oplæst tale Én taler ad gangen; én mikrofon pr. taler
Accenter og dialekter Modelkortet rapporterer ujævn nøjagtighed; lange CORAAL-interviews gav 19.6% Test med talere, der lyder som dem i dine optagelser
Sjældne ord og fagudtryk Godt resultat på fagordstunge Meanwhile (5.1%), men navne og tekniske termer er stadig almindelige fejl Kontrollér navne og termer mod en liste
Sprogresurser Fleurs WER spænder fra 3.0% (spansk) til 99.0% (telugu) Vælg sproget selv, og afsæt mere korrektur til sprog med få ressourcer
Modelstørrelse tiny får 48.0% på CHiME-6, large-v2 24.9% Spørg hvilken model værktøjet bruger, eller vælg den største du kan
Filformat og sampling Whisper-koden omsampler alt til 16 kHz mono En WAV på 48 kHz giver intet ekstra i forhold til en ren 16 kHz-fil

At konvertere MP3 til en stor WAV genskaber ikke tabte detaljer. En ren optagelse med moderat bitrate er bedre end en støjende med høj bitrate.

Kendte Whisper-problemer: hallucinationer, gentagelser og tidskoder

OpenAI dokumenterer hver af disse fejltyper, som kan betyde mere end deres andel af WER antyder.

Opdigtet tekst

Whisper kan skrive ord, ingen har sagt. Modelkortet advarer om, at forudsigelser kan indeholde tekst, der ikke tales i lyden, muligvis fordi modellen også forudsiger sandsynlige næste ord. Artiklen nævner endda fuldstændig hallucination, hvor output er uden forbindelse til lyden.

Et uafhængigt studie, Careless Whisper (Koenecke m.fl., 2024), kørte 13.140 lydsegmenter gennem OpenAI's Whisper API i april og maj 2023. Omkring 1 % af transskriptionerne (1.4 % i gennemsnit) indeholdt hele opdigtede udtryk eller sætninger, og 38 % af disse indeholdt skadeligt indhold som vold eller falske associationer. Længere pauser, her hos personer med afasi, øgede forekomsten. API'et er siden ændret, så betragt det som en måling fra 2023.

Gentagelsesløkker og udeladte ord

Modelkortet siger, at Whisper har tendens til gentagen tekst, som beam search og temperaturplanlægning reducerer, men ikke fjerner helt. Artiklen nævner også udeladelse af første eller sidste ord i et segment. Dekodningsrettelser sænkede gennemsnitlig WER for lange optagelser fra 11.0% til 10.0%, men løste ikke problemet.

Tavshed, musik og fyldord

Opdigtet tekst optræder ofte under lange pauser og musik. Artiklen fandt Whisper's eget signal for ingen tale upålideligt alene, og den åbne kode har nu en mulighed for at springe lange pauser over, når en mulig hallucination opdages.

Forskudte tidskoder og lange filer

Whisper behandler lang lyd i 30-sekunders vinduer og bruger sine egne forudsagte tidskoder til at placere næste vindue. Artiklen bemærker derfor, at en fejl kan følge med til næste vindue. Tidskoder på ordniveau er markeret som eksperimentelle i koden. Kontrollér underteksters timing omkring pauser.

Under udviklingen så OpenAI også Whisper gætte talernavne næsten altid forkert. De udgivne modeller blev finjusteret for at reducere problemet, men kontrollér alle navne i teksten.

10 måder at forbedre Whisper-transskription på

De fleste forbedringer sker før transskription. Omtrent fra størst til mindst effekt:

  1. Placér mikrofonen tæt på. Afstand alene mere end fordoblede fejlprocenten i AMI-møderne.
  2. Fjern støj ved kilden. Luk vinduer, sluk ventilatorer, og stands musik.
  3. Undgå overlappende tale. Én person ad gangen hjælper mere end enhver indstilling.
  4. Klip lange pauser og musikintroer væk, hvor opdigtet tekst ofte opstår. Klip ved pauser, ikke midt i en sætning.
  5. Vælg sproget selv. Whisper identificerede sproget korrekt i 80.3 % af tilfældene på 82 Fleurs-sprog, så automatisk registrering kan fejle ved korte klip eller accenter.
  6. Brug den største tilgængelige model, især ved støj.
  7. Angiv navne og fagudtryk i prompten, hvis du selv driver modellen. Åben Whisper accepterer forventede stavemåder via --initial_prompt.
  8. Upload originalfilen. Genoptagelse gennem højttalere eller gentagen komprimering fjerner detaljer.
  9. Kontrollér termer. Søg efter hvert navn, tal, dato og akronym, og sammenlign med lyden.
  10. Gennemgå i to omgange. Ret først ved normal hastighed. Se derefter efter hallucinationer: gentagne linjer, sætninger over tavshed og afslutninger som „Tak fordi du så med”. Ved juridisk, medicinsk eller udgivet arbejde bør et menneske kontrollere alt.

Sådan måler du Whisper på din egen lyd

Det bedste overslag er en 30-minutters test på dine egne optagelser. Trinene er til dig; de er ikke en whispertranscribe.ai-test.

  1. Vælg tre klip på 2 minutter som i dit virkelige arbejde: ét let, ét typisk og ét svært.
  2. Skriv en reference manuelt, ord for ord. Fastlæg først regler: behold eller fjern fyldord, og skriv tal som cifre eller ord.
  3. Transskriber hvert klip med værktøjet, og gem ren tekst.
  4. Normalisér begge tekster ens. OpenAI's normalisator følger med openai-whisper.
  5. Beregn WER med jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Tæl kritiske fejl separat. Fem forkerte fyldord og fem forkerte kundenavne giver samme WER, men er ikke samme problem.
  2. Registrér resultaterne, så du kan sammenligne værktøjer og indstillinger:
Klip Forhold Ord i reference S D I WER Kritiske fejl
Klip A Stille rum, én taler 310
Klip B Videoopkald, to talere 285
Klip C Café, taler med accent 296

Ordantallene er pladsholdere. Bemærk ved trin 4, at OpenAI's engelske normalisator kan behandle forkortelser og talformer forskelligt. Læs de markerede forskelle, før du stoler på resultatet.

Hvor nøjagtig er whispertranscribe.ai?

whispertranscribe.ai er et browserbaseret AI-transskriptionsværktøj baseret på Whisper, som understøtter over 130 sprog og uploads op til 5 GB og 10 timer. Nøjagtigheden kan nå 99 % ved klar lyd; baggrundsstøj, stærke accenter og overlap reducerer den, som Whisper-resultaterne ovenfor viser. Vi hævder ikke at matche eller overgå artiklens tal og har ikke offentliggjort eget benchmark, så test dine egne klip med trinene ovenfor.

  • Noise / Low-Quality Audio/Video-indstillinger i sprogvalget for mange sprog. Prøv standard og støjindstillingen på en støjende fil, og sammenlign.
  • Over 130 sprog, Multilingual Mix og oversættelse af lyd til engelsk.
  • Filer på op til 5 GB og 10 timer, talergenkendelse og tidskoder (alle funktioner).
  • Ren lyd: Indhent nødvendigt samtykke og arrangørens tilladelse, og optag i browseren med mikrofonen tæt på, eller konvertér video til MP3 for kun at uploade lyd.
  • Eksport til DOCX, PDF, TXT, CSV, SRT og VTT samt en undertekstgenerator til tidskodede undertekster.

Du kan starte gratis uden konto. Betalte abonnementer starter ved 9,99 USD/måned årligt; se priser.

Ofte stillede spørgsmål

Er Whisper 99 % nøjagtig?

Ikke generelt. Whisper's bedste offentliggjorte resultat er 2.5 % WER på LibriSpeech test-clean, tydeligt oplæste lydbøger, svarende til ca. 97.5 % korrekte ord. Ved opkald, møder og støjende rum spænder OpenAI's egne tal fra ca. 13 % til 40 % WER. En påstand om 99 % er kun meningsfuld, hvis den angiver den målte lyd. Bedøm Whisper-baserede værktøjer, herunder whispertranscribe.ai, på dine egne optagelser.

Hvilken Whisper-model er mest nøjagtig?

Large-modellerne er mest nøjagtige. I OpenAI's artikel havde large-v2 lavest fejlrate på de fleste testsæt, og large-v3-modelkortet rapporterer 10–20 % færre fejl end large-v2 på mange sprog. Turbo er en optimeret large-v3, som ifølge OpenAI mister lidt nøjagtighed mod meget højere hastighed. Den mindste model, tiny, er langt mindre nøjagtig ved vanskelig lyd: 48.0 % WER ved et støjende middagsselskab mod 24.9 % for large-v2.

Hvorfor skriver Whisper ord, der ikke blev sagt?

Whisper kan hallucinere, fordi den også er trænet til at forudsige sandsynlig tekst, og OpenAI's modelkort advarer om tekst uden for lyden. Det sker især ved lange pauser, musik eller støj. Et uafhængigt studie fra 2023 fandt opdigtede udtryk i ca. 1 % af transskriptionerne, og pauser øgede sandsynligheden. At klippe tavshed, vælge sprog og kontrollere stille passager mindsker risikoen.

Hvor nøjagtig er Whisper med accenter?

Whisper håndterer accenter bedre end mange ældre systemer, men ikke ensartet. OpenAI's modelkort siger, at nøjagtigheden varierer mellem accenter og dialekter. I artiklen gav lange interviews på afroamerikansk engelsk (CORAAL) 19.6 % WER mod 3.5 % for hele TED-foredrag, men optageforholdene er også forskellige. Test med talere, der ligner dine faktiske optagelser, og afsæt mere korrekturtid ved stærke accenter.

Er Whisper lige så nøjagtig som et menneske?

På engelsk kommer Whisper tæt på, men matcher ikke de bedste. OpenAI sammenlignede med fem professionelle tjenester på 25 optagelser. En computerassisteret tjeneste havde samlet WER 1.15 point lavere end Whisper, og fire rent menneskelige tjenester var en brøkdel af et point bedre. Mennesker håndterer stadig ofte navne, overlap og utydelig tale bedre. Alt, der citeres, indgives eller udgives, bør kontrolleres af et menneske mod optagelsen.

Hvor nøjagtig er Whisper på andre sprog end engelsk?

Det varierer meget. På Fleurs fik large-v2 3.0 % WER på spansk, 4.5 % på tysk og 8.3 % på fransk, men 27.1 % på hebraisk og 99.0 % på telugu. Kinesisk og japansk måles med tegnfejlrate: 14.7 % og 5.3 %. Artiklen fandt, at nøjagtighed følger mængden af træningslyd pr. sprog. Test først et kort klip på sprog med få ressourcer, og afsæt mere tid til rettelser.

Test nøjagtigheden på din egen optagelse

Benchmarks beskriver andres lyd. Upload et klip til whispertranscribe.ai på et af over 130 sprog, og vurder det med vejledningens trin. Start gratis uden konto, eller sammenlign abonnementer.

Relaterede artikler: Hvad er Whisper AI? · Bedste gratis transskriptionssoftware · Bedste TurboScribe-alternativer · Sådan transskriberer du YouTube-video · Hvad er en SRT-fil? · Fastbrændte eller separate undertekster

Kilder

Vil du lave dine optagelser om til tekst?

Transskriber lyd og video med whispertranscribe.ai.

Start transskription ↗