Av redaksjonen i whispertranscribe.ai · Sist oppdatert: november 2026 · 13 minutters lesning · Kategori: transkripsjonsnøyaktighet
Hvor nøyaktig er Whisper? På klar, opplest engelsk rapporterer OpenAIs artikkel en ordfeilrate (WER) på 2,5 % for Whisper large-v2, altså omtrent 97 til 98 riktige ord av 100. Vanskeligere lyd gir dårligere resultater: 13,6 % på telefonsamtaler, 24,9 % i et støyende middagsselskap og 39,9 % i et møte tatt opp med én fjern mikrofon.
Whisper er OpenAIs talegjenkjenningsmodell med åpen kildekode og motoren bak mange transkripsjonsapper, inkludert vår. Denne guiden handler bare om nøyaktighet: hva WER måler, hva testene viser etter lydtype og språk, hvor Whisper feiler og hvordan du tester selv. For modellens bakgrunn, se forklaringen av hva Whisper AI er.
De fleste tall kommer fra Whisper-artikkelen (Radford mfl., 2022), som testet alle modeller «zero-shot», uten finjustering på testsettene. Det nyere large-v3-modellkortet rapporterer 10–20 % færre feil enn large-v2 på mange språk, men uten en full tabell per datasett. whispertranscribe.ai utgir artikkelen. Vi har ikke utført en test for den, og ingen tall er våre egne testresultater.
Whisper-nøyaktighet på et øyeblikk
Ingen enkelt test svarer på spørsmålet, fordi lyden påvirker tallet mer enn noe annet. Tabellen viser OpenAIs resultater for large-v2 med beam search og temperature fallback (vedleggstabell 9), målt etter OpenAIs tekstnormalisering.
| Lydtype | Testsett i artikkelen | Whisper large-v2 WER | Omtrentlig andel riktige ord |
|---|---|---|---|
| Lydbok, tydelig oppleser | LibriSpeech test-clean | 2,5 % | Omtrent 97,5 av 100 |
| Opplest nyhetstekst | WSJ | 2,6 % | Omtrent 97,4 av 100 |
| TED-foredrag | TED-LIUM 3 | 3,7 % | Omtrent 96 av 100 |
| Lydbok, vanskeligere talere | LibriSpeech test-other | 4,9 % | Omtrent 95 av 100 |
| Frivillige med hjemmemikrofoner | Common Voice 5.1 | 8,2 % | Omtrent 92 av 100 |
| Telefonsamtaler | Switchboard | 13,6 % | Omtrent 86 av 100 |
| Lange sosiolingvistiske intervjuer | CORAAL | 14,2 % | Omtrent 86 av 100 |
| Telefonsamtaler mellom familie og venner | CallHome | 16,4 % | Omtrent 84 av 100 |
| Møter, hver person med headsetmikrofon | AMI IHM | 17,4 % | Omtrent 83 av 100 |
| Middagsselskaper, fjerne mikrofoner | CHiME-6 | 24,9 % | Omtrent 75 av 100 |
| Møter, én fjern bordmikrofon | AMI SDM1 | 39,9 % | Omtrent 60 av 100 |
«Andel riktige ord» er 100 minus WER, en forenkling fordi WER også teller ekstra ord.
Du ser ofte 2,7 % sitert i stedet: Det er samme modell med enklere greedy-dekoding (artikkelens tabell 2). AMI-radene er også de samme møtene tatt opp på to måter. Å flytte mikrofonen fra hver talers hode til midten av bordet mer enn dobler feilraten.
Hva er ordfeilrate (WER), og hvordan beregnes den?
Ordfeilrate er andelen ord en transkripsjon får feil sammenlignet med en menneskekontrollert referanse. Tell tre typer feil og del på antall ord i referansen:
WER = (erstatninger + utelatelser + innsettinger) ÷ ord i referansen
- Erstatning: et feil ord i stedet for riktig ord («lunsj» i stedet for «lansering»).
- Utelatelse: et talt ord mangler i transkripsjonen.
- Innsetting: et ord i transkripsjonen som ingen sa.
Her er et illustrerende eksempel for biblioteket jiwer med åpen kildekode:
| Linje | Tekst |
|---|---|
| Referanse (22 ord) | vi flyttet produktlanseringen til niende mars fordi leverandøren ikke overholdt to frister og doktor Patel ønsker en helt ny testplan for prosjektet |
| Transkripsjon | vi flyttet produktlunsjen til niende mars fordi leverandøren ikke overholdt to frister og doktor portal ønsker helt ny testplan for prosjektet idag |
| Feil | 2 erstatninger (produktlunsjen, portal), 1 utelatelse (en), 1 innsetting (idag) |
| WER | 4 ÷ 22 = 18,2 % |
Tre ting ved WER overrasker ofte:
- Den kan overstige 100 %. Innsettinger har intet tak, og noen lavressursspråk i artikkelens Fleurs-resultater har over 100 %.
- Normalisering endrer resultatet. «Dr.» mot «doktor» teller som feil hvis ikke begge tekster renses likt. OpenAI sier at normaliseringen reduserte WER med opptil 50 % på noen datasett, hovedsakelig ved å fjerne formateringsforskjeller.
- Noen språk bruker tegnfeilrate (CER). For kinesisk, japansk, thai, lao og burmesisk, som ikke skiller ord med mellomrom, måler artikkelen tegn i stedet.
En nøyaktighetspåstand uten navngitt testsett og målemetode er ikke en måling, uansett hvem som fremsetter den, også oss.
Hvor nøyaktig er Whisper på engelsk?
Whisper er svært nøyaktig på klar engelsk og forblir brukbar på utydeligere engelsk. I artikkelen gjorde den 55,2 % færre feil på 12 andre engelske datasett enn en supervisert wav2vec 2.0-modell med nesten samme LibriSpeech-resultat.
Lange opptak
Whisper leser lyd i vinduer på 30 sekunder, så artikkelen testet lange filer separat (vedleggstabell 16, large-v2):
| Langt testsett | Innhold | WER |
|---|---|---|
| TED-LIUM 3 | 11 hele TED-foredrag | 3,5 % |
| Meanwhile | 64 TV-segmenter fra sent på kvelden, med mange uvanlige ord | 5,1 % |
| Kincaid46 | 46 blandede opptak fra en sammenligning i 2018 | 8,8 % |
| Earnings-21 | Selskapers resultatsamtaler | 9,7 % |
| Rev16 | 16 podkastepisoder | 11,3 % |
| Earnings-22 | Flere resultatsamtaler, mange aksenter | 12,6 % |
| CORAAL | 231 hele intervjuer på afroamerikansk engelsk | 19,6 % |
Whisper mot menneskelige transkriptører
OpenAI fikk 25 Kincaid46-opptak transkribert av fire menneskelige tjenester og én datamaskinassistert tjeneste. Den datamaskinassisterte tjenesten fikk 1,15 prosentpoeng bedre resultat enn Whisper, og de rent menneskelige tjenestene bare en brøkdel av et poeng bedre. Artikkelens vurdering var at resultatet ikke var perfekt, men svært nær menneskelig nivå.
Modellstørrelsen betyr noe
Whisper finnes i flere størrelser, og apper sier ikke alltid hvilken de bruker (vedleggstabell 9):
| Modell | Parametre | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6,7 % | 26,1 % | 18,3 % | 48,0 % |
| base | 74M | 4,9 % | 19,4 % | 15,6 % | 40,0 % |
| small | 244M | 3,3 % | 12,8 % | 13,3 % | 30,9 % |
| medium | 769M | 2,7 % | 9,7 % | 13,2 % | 27,6 % |
| large-v2 | 1550M | 2,5 % | 8,2 % | 13,6 % | 24,9 % |
Forskjellen øker når lyden blir vanskeligere: omtrent 4 poeng på rene lydbøker og 23 poeng ved middagsselskapet. Den nyere turbo-modellen, en optimalisert large-v3, aksepterer det OpenAIs GitHub README kaller en minimal reduksjon i nøyaktighet mot langt raskere transkripsjon.
Hvor nøyaktig er Whisper på andre språk?
Utenfor engelsk avhenger nøyaktigheten mest av hvor mye treningslyd Whisper hadde på språket. Artikkelen fant en kvadrert korrelasjon på 0,83 mellom logaritmen av treningstimer og logaritmen av WER, og anslår at WER halveres for hver 16-dobling av data. De fleste av de 96 ikke-engelske språkene hadde under 1 000 timer.
Utvalgte Fleurs-resultater (oppleste setninger, large-v2, vedleggstabell 13):
| Språk | Fleurs WER | Merknad |
|---|---|---|
| Spansk | 3,0 % | Lavest i tabellen |
| Engelsk | 4,2 % | |
| Portugisisk | 4,3 % | |
| Tysk | 4,5 % | |
| Japansk | 5,3 % | Tegnfeilrate |
| Russisk | 5,6 % | |
| Fransk | 8,3 % | |
| Koreansk | 14,3 % | Markert som avvik |
| Kinesisk | 14,7 % | Tegnfeilrate |
| Arabisk | 16,0 % | |
| Hindi | 21,5 % | |
| Hebraisk | 27,1 % | Markert som avvik |
| Swahili | 39,3 % | |
| Telugu | 99,0 % | Markert som avvik |
Artikkelen markerer hebraisk, telugu, kinesisk og koreansk som dårligere enn treningsdataene forutsa, muligens på grunn av språklig avstand, en tokenizer som passer skriftsystemene dårlig eller datakvalitet. Fleurs er opplest tale, så forvent høyere feilrate for samtaler. README-en har et nyere diagram for large-v3 og large-v2 på Common Voice 15 og Fleurs.
Spanske resultater er lovende hvis du transkriberer spansk lyd til tekst. For lavressursspråk, test et kort klipp før du forplikter et helt prosjekt.
Hva påvirker Whispers nøyaktighet?
Opptaksforhold betyr mer enn noe annet. Dokumentasjon fra artikkelen og modellkortet:
| Faktor | Hva dokumentasjonen viser | Hva du gjør |
|---|---|---|
| Bakgrunnsstøy | Ved pubstøy under 10 dB signal-støy-forhold slo Whisper alle 14 sammenligningsmodellene, men alle ble dårligere når støyen økte | Ta opp i et stille rom, borte fra vifter og musikk |
| Mikrofonavstand | Samme AMI-møter: 17,4 % med headsetmikrofoner, 39,9 % med én bordmikrofon | Hold mikrofonen nær den som snakker |
| Samtale og overlappende tale | Telefonsamtaler og middagsselskaper fikk 13,6–24,9 %, mot 2,5 % for opplest tale | Én taler om gangen; én mikrofon per taler |
| Aksenter og dialekter | Modellkortet rapporterer ujevn nøyaktighet mellom aksenter og dialekter; lange CORAAL-intervjuer fikk 19,6 % | Test med talere som ligner dem i de faktiske opptakene |
| Sjeldne ord og faguttrykk | Godt resultat på fagspråktunge Meanwhile (5,1 %), men navn og faguttrykk er fortsatt vanlige feil | Kontroller navn og uttrykk mot en liste |
| Språkressurser | Fleurs WER går fra 3,0 % (spansk) til 99,0 % (telugu) | Velg språket selv; planlegg mer kontroll for lavressursspråk |
| Modellstørrelse | tiny får 48,0 % på CHiME-6, large-v2 24,9 % | Spør hvilken modell verktøyet bruker, eller bruk den største du kan |
| Filformat og samplingsfrekvens | Whispers kode omsampler all lyd til 16 kHz mono | En 48 kHz WAV gir ingen gevinst over en ren 16 kHz-fil |
Å konvertere MP3 til en stor WAV gjenoppretter ikke tapte detaljer. Et rent opptak med moderat bitrate er bedre enn et støyende med høy bitrate.
Kjente Whisper-problemer: hallusinasjoner, repetisjoner og tidsstempler
OpenAI dokumenterer alle disse feiltypene, som er viktigere enn WER-andelen antyder.
Hallusinert tekst
Whisper kan skrive ord ingen sa. Modellkortet sier at forutsigelser kan inneholde tekst som ikke ble sagt i lydinngangen, trolig fordi modellen også forutsier sannsynlige neste ord. Artikkelens begrensningsdel nevner til og med fullstendig hallusinasjon: utdata uten sammenheng med lyden.
En uavhengig studie, Careless Whisper (Koenecke mfl., 2024), kjørte 13 140 lydsegmenter gjennom OpenAIs Whisper API i april og mai 2023. Omtrent 1 % av transkripsjonene (1,4 % i gjennomsnitt) inneholdt hele oppdiktede vendinger eller setninger, og 38 % av disse inneholdt skadelig innhold som vold eller falske assosiasjoner. Talere med lengre pauser, her personer med afasi, utløste flere. API-et har endret seg siden, så betrakt dette som en måling fra 2023.
Gjentakelsesløkker og utelatte ord
Modellkortet sier at Whisper har tendens til å generere gjentatt tekst, noe beam search og temperaturstyring reduserer, men ikke fullstendig. Artikkelen nevner også at de første eller siste ordene i et segment kan utelates. Dekodingsforbedringene reduserte gjennomsnittlig WER for lange opptak fra 11,0 % til 10,0 %: bedre, men ikke løst.
Stillhet, musikk og fyllord
Oppdiktet tekst dukker ofte opp under lang stillhet og musikk. Artikkelen fant at Whispers eget «ingen tale»-signal alene var upålitelig, og koden med åpen kildekode har nå et alternativ for å hoppe over lange pauser når en sannsynlig hallusinasjon oppdages.
Tidsforskyvning og lange filer
Whisper går gjennom lang lyd ett 30-sekundersvindu om gangen og bruker sine egne forutsagte tidsstempler til å plassere neste vindu. Artikkelen bemerker derfor at en feil i ett vindu kan overføres til det neste. Tidsstempler per ord er merket «eksperimentelle» i koden. For undertekster, kontroller timing rundt pauser.
Under utviklingen så OpenAI også at Whisper gjettet talernavn som nesten alltid var feil. De utgitte modellene ble finjustert for å dempe dette, men kontroller alle navn i teksten.
10 måter å forbedre Whispers transkripsjonsnøyaktighet på
De fleste forbedringene skjer før du trykker på transkriber. Omtrent rangert fra størst til minst effekt:
- Plasser mikrofonen nær. Avstand alene mer enn doblet feilraten i AMI-møtene.
- Reduser støy ved kilden. Lukk vinduer, slå av vifter og sett musikk på pause.
- Unngå overlappende tale. Én person om gangen er bedre enn enhver innstilling.
- Klipp bort lange pauser og musikkintroer, der oppdiktet tekst oftest oppstår. Klipp ved pauser, ikke midt i setninger.
- Velg språk selv. Whisper identifiserte riktig språk i 80,3 % av tilfellene på 82 Fleurs-språk, så automatisk gjenkjenning kan feile på korte klipp eller aksenter.
- Bruk den største tilgjengelige modellen, særlig ved støyende opptak.
- Oppgi navn og uttrykk i en prompt ved egen drift. Whisper med åpen kildekode godtar
--initial_promptmed forventede stavemåter. - Last opp originalfilen. Nytt opptak gjennom høyttalere eller gjentatt komprimering fjerner detaljer.
- Kontroller faguttrykk. Søk etter alle navn, tall, datoer og forkortelser og kontroller mot lyden.
- Gjennomgå i to runder. Rett først feil ved normal hastighet. Se deretter etter hallusinasjonstegn: gjentatte linjer, setninger over stillhet og avslutninger som «Takk for at du så på». Ved juridisk, medisinsk eller publisert arbeid bør et menneske kontrollere alt.
Slik måler du Whispers nøyaktighet på egen lyd
Det beste anslaget for arbeidet ditt er en 30-minutters test på egne opptak. Disse trinnene skal du utføre selv; de er ikke en whispertranscribe.ai-test.
- Velg tre klipp på 2 minutter som ligner arbeidet ditt: ett lett, ett typisk og ett vanskelig.
- Skriv en referansetranskripsjon for hånd, ord for ord. Bestem regler først: behold eller fjern «eh», og skriv tall med sifre eller ord.
- Transkriber hvert klipp med verktøyet du tester, og lagre ren tekst.
- Normaliser begge tekstene på samme måte. OpenAIs normaliserer følger med
openai-whisper. - Beregn WER med jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Tell kritiske feil separat. Fem feil fyllord og fem feil kundenavn gir samme WER, men er ikke samme problem.
- Loggfør resultatene slik at du kan sammenligne verktøy eller innstillinger:
| Klipp | Forhold | Referanseord | S | D | I | WER | Kritiske feil |
|---|---|---|---|---|---|---|---|
| Klipp A | Stille rom, én taler | 310 | |||||
| Klipp B | Videosamtale, to talere | 285 | |||||
| Klipp C | Kafé, taler med aksent | 296 |
Ordtallene er plassholdere. Forbehold til trinn 4: Eksemplet med OpenAIs engelske normaliserer er ikke kjørt i denne gjennomgangen; ulike skrivemåter som «Dr.» og «doctor», «two» og «2» eller «9th» og «ninth» kan håndteres ulikt. Les markerte forskjeller før du stoler på resultatet.
Hvor nøyaktig er whispertranscribe.ai?
whispertranscribe.ai er et nettbasert AI-transkripsjonsverktøy drevet av Whisper som støtter over 130 språk og opplastinger på opptil 5 GB og 10 timer. Nøyaktigheten når opptil 99 % ved klar lyd; bakgrunnsstøy, sterke aksenter og overlappende tale reduserer den, slik testene ovenfor viser for Whisper selv. Vi hevder ikke å matche eller slå artikkelens tall og har ikke publisert vår egen benchmark, så test egne klipp med trinnene ovenfor.
- Alternativer for støy eller lav lyd-/videokvalitet i språkvelgeren for mange språk. Prøv standard- og støyvalget på en støyende fil og sammenlign.
- Over 130 språk, Multilingual Mix og oversettelse av lyd til engelsk.
- Filer på opptil 5 GB og 10 timer, talergjenkjenning og tidsstempler (alle funksjoner).
- Ren lyd: Ta opp i nettleseren med mikrofonen nær, eller konverter video til MP3 for bare å laste opp lyd. Innhent nødvendig samtykke og vertens tillatelse før opptak.
- Eksport til DOCX, PDF, TXT, CSV, SRT og VTT samt en undertekstgenerator for tidskodede undertekster.
Du kan starte gratis uten konto. Betalte abonnementer starter fra $9.99/måned ved årlig betaling; se priser.
Vanlige spørsmål
Er Whisper 99 % nøyaktig?
Ikke generelt. Whispers beste publiserte resultat er 2,5 % ordfeilrate på LibriSpeech test-clean, et sett tydelig oppleste lydbøker, omtrent 97,5 % riktige ord. På telefonsamtaler, møter og støyende rom varierer OpenAIs egne tall fra omtrent 13 % til 40 % WER. En påstand om «99 %» betyr bare noe hvis den navngir lyden den ble målt på. Verktøy bygget på Whisper, inkludert whispertranscribe.ai, bør vurderes på dine opptak, ikke en overskriftsprosent.
Hvilken Whisper-modell er mest nøyaktig?
Large-modellene er mest nøyaktige. I OpenAIs artikkel hadde large-v2 lavest feilrate på de fleste testsett, og large-v3-modellkortet rapporterer 10–20 % færre feil enn large-v2 på mange språk. Turbo er en optimalisert large-v3 som ifølge OpenAI bare mister litt nøyaktighet mot mye høyere hastighet. Den minste modellen, tiny, er langt mindre nøyaktig på vanskelig lyd: 48,0 % WER i et støyende middagsselskap mot 24,9 % for large-v2.
Hvorfor skriver Whisper ord som ikke ble sagt?
Whisper kan hallusinere fordi den er trent til å forutsi sannsynlig tekst i tillegg til å transkribere lyd, og OpenAIs modellkort advarer om at den kan produsere tekst som ikke finnes i lyden. Det skjer oftest ved lang stillhet, musikk eller støy. En uavhengig studie med data fra 2023 fant hallusinerte vendinger i omtrent 1 % av transkripsjonene, og pauser gjorde dem mer sannsynlige. Å klippe stillhet, angi språk og kontrollere stille partier reduserer risikoen.
Hvor nøyaktig er Whisper med aksenter?
Whisper håndterer aksenter bedre enn mange eldre systemer, men ikke jevnt. OpenAIs modellkort sier at nøyaktigheten varierer mellom aksenter og dialekter av samme språk. I artikkelen fikk lange intervjuer på afroamerikansk engelsk (CORAAL) 19,6 % WER mot 3,5 % for hele TED-foredrag, selv om opptaksforholdene også var ulike. Test et klipp med talere som ligner dem i dine faktiske opptak, og planlegg mer kontroll ved sterke aksenter.
Er Whisper like nøyaktig som en menneskelig transkriptør?
For engelsk kommer Whisper nær, men matcher ikke de beste. OpenAI sammenlignet den med fem profesjonelle tjenester på 25 opptak. En datamaskinassistert tjeneste hadde samlet WER 1,15 poeng lavere enn Whisper, og fire fullt menneskelige tjenester var en brøkdel av et poeng bedre. Mennesker håndterer fortsatt ofte navn, overlappende og utydelig tale bedre. For alt som siteres, leveres inn eller publiseres, bør et menneske kontrollere transkripsjonen mot opptaket.
Hvor nøyaktig er Whisper på andre språk enn engelsk?
Det varierer sterkt. På Fleurs-testen fikk large-v2 3,0 % WER på spansk, 4,5 % på tysk og 8,3 % på fransk, men 27,1 % på hebraisk og 99,0 % på telugu. Kinesisk og japansk måles med tegnfeilrate: 14,7 % og 5,3 %. Artikkelen fant at nøyaktigheten følger mengden treningslyd per språk. For lavressursspråk, test først et kort klipp og sett av mer tid til rettelser.
Test nøyaktigheten på ditt eget opptak
Tester beskriver andres lyd. Last opp et klipp til whispertranscribe.ai på ett av over 130 språk og mål det med trinnene i denne guiden. Start gratis uten konto, eller sammenlign abonnementer.
Relaterte artikler: Hva er Whisper AI? · Beste gratis transkripsjonsprogrammer · Beste TurboScribe-alternativer · Slik transkriberer du en YouTube-video · Hva er en SRT-fil? · Harde eller myke undertekster
Referanser
- Radford mfl., Robust Speech Recognition via Large-Scale Weak Supervision (Whisper-artikkelen, OpenAI, 2022): tabell 2, 9, 13 og 16 og avsnitt 3 til 6
- OpenAI, openai/whisper på GitHub: README-modelltabell, turbo-merknad og WER-diagram per språk
- OpenAI og Hugging Face, whisper-large-v3-modellkort: large-v3-endringer, evaluert bruk og begrensninger
- Koenecke mfl., Careless Whisper: Speech-to-Text Hallucination Harms (2024)
- jiwer: bibliotek med åpen kildekode for WER og CER
- Hugging Face, Open ASR Leaderboard: uavhengig, regelmessig oppdatert sammenligning av åpne talemodeller
