Hvor nøyaktig er Whisper AI? WER, faktiske begrensninger og tips (2026)

Av redaksjonen i whispertranscribe.ai · Sist oppdatert: november 2026 · 13 minutters lesning · Kategori: transkripsjonsnøyaktighet

Hvor nøyaktig er Whisper? På klar, opplest engelsk rapporterer OpenAIs artikkel en ordfeilrate (WER) på 2,5 % for Whisper large-v2, altså omtrent 97 til 98 riktige ord av 100. Vanskeligere lyd gir dårligere resultater: 13,6 % på telefonsamtaler, 24,9 % i et støyende middagsselskap og 39,9 % i et møte tatt opp med én fjern mikrofon.

Whisper er OpenAIs talegjenkjenningsmodell med åpen kildekode og motoren bak mange transkripsjonsapper, inkludert vår. Denne guiden handler bare om nøyaktighet: hva WER måler, hva testene viser etter lydtype og språk, hvor Whisper feiler og hvordan du tester selv. For modellens bakgrunn, se forklaringen av hva Whisper AI er.

De fleste tall kommer fra Whisper-artikkelen (Radford mfl., 2022), som testet alle modeller «zero-shot», uten finjustering på testsettene. Det nyere large-v3-modellkortet rapporterer 10–20 % færre feil enn large-v2 på mange språk, men uten en full tabell per datasett. whispertranscribe.ai utgir artikkelen. Vi har ikke utført en test for den, og ingen tall er våre egne testresultater.

Whisper-nøyaktighet på et øyeblikk

Ingen enkelt test svarer på spørsmålet, fordi lyden påvirker tallet mer enn noe annet. Tabellen viser OpenAIs resultater for large-v2 med beam search og temperature fallback (vedleggstabell 9), målt etter OpenAIs tekstnormalisering.

Lydtype Testsett i artikkelen Whisper large-v2 WER Omtrentlig andel riktige ord
Lydbok, tydelig oppleser LibriSpeech test-clean 2,5 % Omtrent 97,5 av 100
Opplest nyhetstekst WSJ 2,6 % Omtrent 97,4 av 100
TED-foredrag TED-LIUM 3 3,7 % Omtrent 96 av 100
Lydbok, vanskeligere talere LibriSpeech test-other 4,9 % Omtrent 95 av 100
Frivillige med hjemmemikrofoner Common Voice 5.1 8,2 % Omtrent 92 av 100
Telefonsamtaler Switchboard 13,6 % Omtrent 86 av 100
Lange sosiolingvistiske intervjuer CORAAL 14,2 % Omtrent 86 av 100
Telefonsamtaler mellom familie og venner CallHome 16,4 % Omtrent 84 av 100
Møter, hver person med headsetmikrofon AMI IHM 17,4 % Omtrent 83 av 100
Middagsselskaper, fjerne mikrofoner CHiME-6 24,9 % Omtrent 75 av 100
Møter, én fjern bordmikrofon AMI SDM1 39,9 % Omtrent 60 av 100

«Andel riktige ord» er 100 minus WER, en forenkling fordi WER også teller ekstra ord.

Du ser ofte 2,7 % sitert i stedet: Det er samme modell med enklere greedy-dekoding (artikkelens tabell 2). AMI-radene er også de samme møtene tatt opp på to måter. Å flytte mikrofonen fra hver talers hode til midten av bordet mer enn dobler feilraten.

Hva er ordfeilrate (WER), og hvordan beregnes den?

Ordfeilrate er andelen ord en transkripsjon får feil sammenlignet med en menneskekontrollert referanse. Tell tre typer feil og del på antall ord i referansen:

WER = (erstatninger + utelatelser + innsettinger) ÷ ord i referansen

  • Erstatning: et feil ord i stedet for riktig ord («lunsj» i stedet for «lansering»).
  • Utelatelse: et talt ord mangler i transkripsjonen.
  • Innsetting: et ord i transkripsjonen som ingen sa.

Her er et illustrerende eksempel for biblioteket jiwer med åpen kildekode:

Linje Tekst
Referanse (22 ord) vi flyttet produktlanseringen til niende mars fordi leverandøren ikke overholdt to frister og doktor Patel ønsker en helt ny testplan for prosjektet
Transkripsjon vi flyttet produktlunsjen til niende mars fordi leverandøren ikke overholdt to frister og doktor portal ønsker helt ny testplan for prosjektet idag
Feil 2 erstatninger (produktlunsjen, portal), 1 utelatelse (en), 1 innsetting (idag)
WER 4 ÷ 22 = 18,2 %

Tre ting ved WER overrasker ofte:

  1. Den kan overstige 100 %. Innsettinger har intet tak, og noen lavressursspråk i artikkelens Fleurs-resultater har over 100 %.
  2. Normalisering endrer resultatet. «Dr.» mot «doktor» teller som feil hvis ikke begge tekster renses likt. OpenAI sier at normaliseringen reduserte WER med opptil 50 % på noen datasett, hovedsakelig ved å fjerne formateringsforskjeller.
  3. Noen språk bruker tegnfeilrate (CER). For kinesisk, japansk, thai, lao og burmesisk, som ikke skiller ord med mellomrom, måler artikkelen tegn i stedet.

En nøyaktighetspåstand uten navngitt testsett og målemetode er ikke en måling, uansett hvem som fremsetter den, også oss.

Hvor nøyaktig er Whisper på engelsk?

Whisper er svært nøyaktig på klar engelsk og forblir brukbar på utydeligere engelsk. I artikkelen gjorde den 55,2 % færre feil på 12 andre engelske datasett enn en supervisert wav2vec 2.0-modell med nesten samme LibriSpeech-resultat.

Lange opptak

Whisper leser lyd i vinduer på 30 sekunder, så artikkelen testet lange filer separat (vedleggstabell 16, large-v2):

Langt testsett Innhold WER
TED-LIUM 3 11 hele TED-foredrag 3,5 %
Meanwhile 64 TV-segmenter fra sent på kvelden, med mange uvanlige ord 5,1 %
Kincaid46 46 blandede opptak fra en sammenligning i 2018 8,8 %
Earnings-21 Selskapers resultatsamtaler 9,7 %
Rev16 16 podkastepisoder 11,3 %
Earnings-22 Flere resultatsamtaler, mange aksenter 12,6 %
CORAAL 231 hele intervjuer på afroamerikansk engelsk 19,6 %

Whisper mot menneskelige transkriptører

OpenAI fikk 25 Kincaid46-opptak transkribert av fire menneskelige tjenester og én datamaskinassistert tjeneste. Den datamaskinassisterte tjenesten fikk 1,15 prosentpoeng bedre resultat enn Whisper, og de rent menneskelige tjenestene bare en brøkdel av et poeng bedre. Artikkelens vurdering var at resultatet ikke var perfekt, men svært nær menneskelig nivå.

Modellstørrelsen betyr noe

Whisper finnes i flere størrelser, og apper sier ikke alltid hvilken de bruker (vedleggstabell 9):

Modell Parametre LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6,7 % 26,1 % 18,3 % 48,0 %
base 74M 4,9 % 19,4 % 15,6 % 40,0 %
small 244M 3,3 % 12,8 % 13,3 % 30,9 %
medium 769M 2,7 % 9,7 % 13,2 % 27,6 %
large-v2 1550M 2,5 % 8,2 % 13,6 % 24,9 %

Forskjellen øker når lyden blir vanskeligere: omtrent 4 poeng på rene lydbøker og 23 poeng ved middagsselskapet. Den nyere turbo-modellen, en optimalisert large-v3, aksepterer det OpenAIs GitHub README kaller en minimal reduksjon i nøyaktighet mot langt raskere transkripsjon.

Hvor nøyaktig er Whisper på andre språk?

Utenfor engelsk avhenger nøyaktigheten mest av hvor mye treningslyd Whisper hadde på språket. Artikkelen fant en kvadrert korrelasjon på 0,83 mellom logaritmen av treningstimer og logaritmen av WER, og anslår at WER halveres for hver 16-dobling av data. De fleste av de 96 ikke-engelske språkene hadde under 1 000 timer.

Utvalgte Fleurs-resultater (oppleste setninger, large-v2, vedleggstabell 13):

Språk Fleurs WER Merknad
Spansk 3,0 % Lavest i tabellen
Engelsk 4,2 %
Portugisisk 4,3 %
Tysk 4,5 %
Japansk 5,3 % Tegnfeilrate
Russisk 5,6 %
Fransk 8,3 %
Koreansk 14,3 % Markert som avvik
Kinesisk 14,7 % Tegnfeilrate
Arabisk 16,0 %
Hindi 21,5 %
Hebraisk 27,1 % Markert som avvik
Swahili 39,3 %
Telugu 99,0 % Markert som avvik

Artikkelen markerer hebraisk, telugu, kinesisk og koreansk som dårligere enn treningsdataene forutsa, muligens på grunn av språklig avstand, en tokenizer som passer skriftsystemene dårlig eller datakvalitet. Fleurs er opplest tale, så forvent høyere feilrate for samtaler. README-en har et nyere diagram for large-v3 og large-v2 på Common Voice 15 og Fleurs.

Spanske resultater er lovende hvis du transkriberer spansk lyd til tekst. For lavressursspråk, test et kort klipp før du forplikter et helt prosjekt.

Hva påvirker Whispers nøyaktighet?

Opptaksforhold betyr mer enn noe annet. Dokumentasjon fra artikkelen og modellkortet:

Faktor Hva dokumentasjonen viser Hva du gjør
Bakgrunnsstøy Ved pubstøy under 10 dB signal-støy-forhold slo Whisper alle 14 sammenligningsmodellene, men alle ble dårligere når støyen økte Ta opp i et stille rom, borte fra vifter og musikk
Mikrofonavstand Samme AMI-møter: 17,4 % med headsetmikrofoner, 39,9 % med én bordmikrofon Hold mikrofonen nær den som snakker
Samtale og overlappende tale Telefonsamtaler og middagsselskaper fikk 13,6–24,9 %, mot 2,5 % for opplest tale Én taler om gangen; én mikrofon per taler
Aksenter og dialekter Modellkortet rapporterer ujevn nøyaktighet mellom aksenter og dialekter; lange CORAAL-intervjuer fikk 19,6 % Test med talere som ligner dem i de faktiske opptakene
Sjeldne ord og faguttrykk Godt resultat på fagspråktunge Meanwhile (5,1 %), men navn og faguttrykk er fortsatt vanlige feil Kontroller navn og uttrykk mot en liste
Språkressurser Fleurs WER går fra 3,0 % (spansk) til 99,0 % (telugu) Velg språket selv; planlegg mer kontroll for lavressursspråk
Modellstørrelse tiny får 48,0 % på CHiME-6, large-v2 24,9 % Spør hvilken modell verktøyet bruker, eller bruk den største du kan
Filformat og samplingsfrekvens Whispers kode omsampler all lyd til 16 kHz mono En 48 kHz WAV gir ingen gevinst over en ren 16 kHz-fil

Å konvertere MP3 til en stor WAV gjenoppretter ikke tapte detaljer. Et rent opptak med moderat bitrate er bedre enn et støyende med høy bitrate.

Kjente Whisper-problemer: hallusinasjoner, repetisjoner og tidsstempler

OpenAI dokumenterer alle disse feiltypene, som er viktigere enn WER-andelen antyder.

Hallusinert tekst

Whisper kan skrive ord ingen sa. Modellkortet sier at forutsigelser kan inneholde tekst som ikke ble sagt i lydinngangen, trolig fordi modellen også forutsier sannsynlige neste ord. Artikkelens begrensningsdel nevner til og med fullstendig hallusinasjon: utdata uten sammenheng med lyden.

En uavhengig studie, Careless Whisper (Koenecke mfl., 2024), kjørte 13 140 lydsegmenter gjennom OpenAIs Whisper API i april og mai 2023. Omtrent 1 % av transkripsjonene (1,4 % i gjennomsnitt) inneholdt hele oppdiktede vendinger eller setninger, og 38 % av disse inneholdt skadelig innhold som vold eller falske assosiasjoner. Talere med lengre pauser, her personer med afasi, utløste flere. API-et har endret seg siden, så betrakt dette som en måling fra 2023.

Gjentakelsesløkker og utelatte ord

Modellkortet sier at Whisper har tendens til å generere gjentatt tekst, noe beam search og temperaturstyring reduserer, men ikke fullstendig. Artikkelen nevner også at de første eller siste ordene i et segment kan utelates. Dekodingsforbedringene reduserte gjennomsnittlig WER for lange opptak fra 11,0 % til 10,0 %: bedre, men ikke løst.

Stillhet, musikk og fyllord

Oppdiktet tekst dukker ofte opp under lang stillhet og musikk. Artikkelen fant at Whispers eget «ingen tale»-signal alene var upålitelig, og koden med åpen kildekode har nå et alternativ for å hoppe over lange pauser når en sannsynlig hallusinasjon oppdages.

Tidsforskyvning og lange filer

Whisper går gjennom lang lyd ett 30-sekundersvindu om gangen og bruker sine egne forutsagte tidsstempler til å plassere neste vindu. Artikkelen bemerker derfor at en feil i ett vindu kan overføres til det neste. Tidsstempler per ord er merket «eksperimentelle» i koden. For undertekster, kontroller timing rundt pauser.

Under utviklingen så OpenAI også at Whisper gjettet talernavn som nesten alltid var feil. De utgitte modellene ble finjustert for å dempe dette, men kontroller alle navn i teksten.

10 måter å forbedre Whispers transkripsjonsnøyaktighet på

De fleste forbedringene skjer før du trykker på transkriber. Omtrent rangert fra størst til minst effekt:

  1. Plasser mikrofonen nær. Avstand alene mer enn doblet feilraten i AMI-møtene.
  2. Reduser støy ved kilden. Lukk vinduer, slå av vifter og sett musikk på pause.
  3. Unngå overlappende tale. Én person om gangen er bedre enn enhver innstilling.
  4. Klipp bort lange pauser og musikkintroer, der oppdiktet tekst oftest oppstår. Klipp ved pauser, ikke midt i setninger.
  5. Velg språk selv. Whisper identifiserte riktig språk i 80,3 % av tilfellene på 82 Fleurs-språk, så automatisk gjenkjenning kan feile på korte klipp eller aksenter.
  6. Bruk den største tilgjengelige modellen, særlig ved støyende opptak.
  7. Oppgi navn og uttrykk i en prompt ved egen drift. Whisper med åpen kildekode godtar --initial_prompt med forventede stavemåter.
  8. Last opp originalfilen. Nytt opptak gjennom høyttalere eller gjentatt komprimering fjerner detaljer.
  9. Kontroller faguttrykk. Søk etter alle navn, tall, datoer og forkortelser og kontroller mot lyden.
  10. Gjennomgå i to runder. Rett først feil ved normal hastighet. Se deretter etter hallusinasjonstegn: gjentatte linjer, setninger over stillhet og avslutninger som «Takk for at du så på». Ved juridisk, medisinsk eller publisert arbeid bør et menneske kontrollere alt.

Slik måler du Whispers nøyaktighet på egen lyd

Det beste anslaget for arbeidet ditt er en 30-minutters test på egne opptak. Disse trinnene skal du utføre selv; de er ikke en whispertranscribe.ai-test.

  1. Velg tre klipp på 2 minutter som ligner arbeidet ditt: ett lett, ett typisk og ett vanskelig.
  2. Skriv en referansetranskripsjon for hånd, ord for ord. Bestem regler først: behold eller fjern «eh», og skriv tall med sifre eller ord.
  3. Transkriber hvert klipp med verktøyet du tester, og lagre ren tekst.
  4. Normaliser begge tekstene på samme måte. OpenAIs normaliserer følger med openai-whisper.
  5. Beregn WER med jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Tell kritiske feil separat. Fem feil fyllord og fem feil kundenavn gir samme WER, men er ikke samme problem.
  2. Loggfør resultatene slik at du kan sammenligne verktøy eller innstillinger:
Klipp Forhold Referanseord S D I WER Kritiske feil
Klipp A Stille rom, én taler 310
Klipp B Videosamtale, to talere 285
Klipp C Kafé, taler med aksent 296

Ordtallene er plassholdere. Forbehold til trinn 4: Eksemplet med OpenAIs engelske normaliserer er ikke kjørt i denne gjennomgangen; ulike skrivemåter som «Dr.» og «doctor», «two» og «2» eller «9th» og «ninth» kan håndteres ulikt. Les markerte forskjeller før du stoler på resultatet.

Hvor nøyaktig er whispertranscribe.ai?

whispertranscribe.ai er et nettbasert AI-transkripsjonsverktøy drevet av Whisper som støtter over 130 språk og opplastinger på opptil 5 GB og 10 timer. Nøyaktigheten når opptil 99 % ved klar lyd; bakgrunnsstøy, sterke aksenter og overlappende tale reduserer den, slik testene ovenfor viser for Whisper selv. Vi hevder ikke å matche eller slå artikkelens tall og har ikke publisert vår egen benchmark, så test egne klipp med trinnene ovenfor.

  • Alternativer for støy eller lav lyd-/videokvalitet i språkvelgeren for mange språk. Prøv standard- og støyvalget på en støyende fil og sammenlign.
  • Over 130 språk, Multilingual Mix og oversettelse av lyd til engelsk.
  • Filer på opptil 5 GB og 10 timer, talergjenkjenning og tidsstempler (alle funksjoner).
  • Ren lyd: Ta opp i nettleseren med mikrofonen nær, eller konverter video til MP3 for bare å laste opp lyd. Innhent nødvendig samtykke og vertens tillatelse før opptak.
  • Eksport til DOCX, PDF, TXT, CSV, SRT og VTT samt en undertekstgenerator for tidskodede undertekster.

Du kan starte gratis uten konto. Betalte abonnementer starter fra $9.99/måned ved årlig betaling; se priser.

Vanlige spørsmål

Er Whisper 99 % nøyaktig?

Ikke generelt. Whispers beste publiserte resultat er 2,5 % ordfeilrate på LibriSpeech test-clean, et sett tydelig oppleste lydbøker, omtrent 97,5 % riktige ord. På telefonsamtaler, møter og støyende rom varierer OpenAIs egne tall fra omtrent 13 % til 40 % WER. En påstand om «99 %» betyr bare noe hvis den navngir lyden den ble målt på. Verktøy bygget på Whisper, inkludert whispertranscribe.ai, bør vurderes på dine opptak, ikke en overskriftsprosent.

Hvilken Whisper-modell er mest nøyaktig?

Large-modellene er mest nøyaktige. I OpenAIs artikkel hadde large-v2 lavest feilrate på de fleste testsett, og large-v3-modellkortet rapporterer 10–20 % færre feil enn large-v2 på mange språk. Turbo er en optimalisert large-v3 som ifølge OpenAI bare mister litt nøyaktighet mot mye høyere hastighet. Den minste modellen, tiny, er langt mindre nøyaktig på vanskelig lyd: 48,0 % WER i et støyende middagsselskap mot 24,9 % for large-v2.

Hvorfor skriver Whisper ord som ikke ble sagt?

Whisper kan hallusinere fordi den er trent til å forutsi sannsynlig tekst i tillegg til å transkribere lyd, og OpenAIs modellkort advarer om at den kan produsere tekst som ikke finnes i lyden. Det skjer oftest ved lang stillhet, musikk eller støy. En uavhengig studie med data fra 2023 fant hallusinerte vendinger i omtrent 1 % av transkripsjonene, og pauser gjorde dem mer sannsynlige. Å klippe stillhet, angi språk og kontrollere stille partier reduserer risikoen.

Hvor nøyaktig er Whisper med aksenter?

Whisper håndterer aksenter bedre enn mange eldre systemer, men ikke jevnt. OpenAIs modellkort sier at nøyaktigheten varierer mellom aksenter og dialekter av samme språk. I artikkelen fikk lange intervjuer på afroamerikansk engelsk (CORAAL) 19,6 % WER mot 3,5 % for hele TED-foredrag, selv om opptaksforholdene også var ulike. Test et klipp med talere som ligner dem i dine faktiske opptak, og planlegg mer kontroll ved sterke aksenter.

Er Whisper like nøyaktig som en menneskelig transkriptør?

For engelsk kommer Whisper nær, men matcher ikke de beste. OpenAI sammenlignet den med fem profesjonelle tjenester på 25 opptak. En datamaskinassistert tjeneste hadde samlet WER 1,15 poeng lavere enn Whisper, og fire fullt menneskelige tjenester var en brøkdel av et poeng bedre. Mennesker håndterer fortsatt ofte navn, overlappende og utydelig tale bedre. For alt som siteres, leveres inn eller publiseres, bør et menneske kontrollere transkripsjonen mot opptaket.

Hvor nøyaktig er Whisper på andre språk enn engelsk?

Det varierer sterkt. På Fleurs-testen fikk large-v2 3,0 % WER på spansk, 4,5 % på tysk og 8,3 % på fransk, men 27,1 % på hebraisk og 99,0 % på telugu. Kinesisk og japansk måles med tegnfeilrate: 14,7 % og 5,3 %. Artikkelen fant at nøyaktigheten følger mengden treningslyd per språk. For lavressursspråk, test først et kort klipp og sett av mer tid til rettelser.

Test nøyaktigheten på ditt eget opptak

Tester beskriver andres lyd. Last opp et klipp til whispertranscribe.ai på ett av over 130 språk og mål det med trinnene i denne guiden. Start gratis uten konto, eller sammenlign abonnementer.

Relaterte artikler: Hva er Whisper AI? · Beste gratis transkripsjonsprogrammer · Beste TurboScribe-alternativer · Slik transkriberer du en YouTube-video · Hva er en SRT-fil? · Harde eller myke undertekster

Referanser

Vil du gjøre opptakene dine om til tekst?

Transkriber lyd og video med whispertranscribe.ai.

Start transkribering ↗