Door de redactie van whispertranscribe.ai · Laatst bijgewerkt: november 2026 · 13 minuten leestijd · Categorie: Transcriptienauwkeurigheid
Hoe nauwkeurig is Whisper? Bij helder voorgelezen Engels rapporteert OpenAI's paper een woordfoutpercentage (WER) van 2.5% voor Whisper large-v2, dus ongeveer 97 tot 98 van de 100 woorden zijn correct. Moeilijkere audio scoort slechter: 13.6% bij telefoongesprekken, 24.9% bij een lawaaiig etentje en 39.9% bij een vergadering opgenomen met één verre microfoon.
Whisper is OpenAI's open-source spraakherkenningsmodel en de motor achter veel transcriptieapps, waaronder de onze. Deze gids gaat alleen over nauwkeurigheid: wat WER meet, wat benchmarks zeggen per audiotype en taal, waar Whisper faalt en hoe je zelf test. Voor de achtergrond van het model zie onze uitleg over wat Whisper AI is.
De meeste cijfers komen uit de Whisper-paper (Radford et al., 2022), die elk model “zero-shot” testte, zonder fijnafstemming op de testsets. De nieuwere modelkaart van large-v3 rapporteert 10% tot 20% minder fouten dan large-v2 in veel talen, maar zonder volledige tabel per dataset. whispertranscribe.ai publiceert dit artikel. We voerden hiervoor geen benchmark uit en geen enkel getal hier is een eigen testresultaat.
Whisper-nauwkeurigheid in één oogopslag
Geen enkele testset beantwoordt de vraag, omdat audio het getal sterker beïnvloedt dan iets anders. De tabel toont OpenAI's resultaten voor large-v2 met beam search en temperature fallback (bijlage tabel 9), beoordeeld na OpenAI's tekstnormalisatie.
| Audiotype | Testset in de paper | Whisper large-v2 WER | Geschat aandeel correcte woorden |
|---|---|---|---|
| Audioboek, duidelijke lezer | LibriSpeech test-clean | 2.5% | Ongeveer 97.5 van de 100 |
| Voorgelezen nieuwstekst | WSJ | 2.6% | Ongeveer 97.4 van de 100 |
| TED-lezingen | TED-LIUM 3 | 3.7% | Ongeveer 96 van de 100 |
| Audioboek, moeilijkere sprekers | LibriSpeech test-other | 4.9% | Ongeveer 95 van de 100 |
| Vrijwilligers met thuismicrofoons | Common Voice 5.1 | 8.2% | Ongeveer 92 van de 100 |
| Telefoongesprekken | Switchboard | 13.6% | Ongeveer 86 van de 100 |
| Lange sociolinguïstische interviews | CORAAL | 14.2% | Ongeveer 86 van de 100 |
| Telefoongesprekken tussen familie en vrienden | CallHome | 16.4% | Ongeveer 84 van de 100 |
| Vergaderingen, ieder een headsetmicrofoon | AMI IHM | 17.4% | Ongeveer 83 van de 100 |
| Etentjes, microfoons op afstand | CHiME-6 | 24.9% | Ongeveer 75 van de 100 |
| Vergaderingen, één verre tafelmicrofoon | AMI SDM1 | 39.9% | Ongeveer 60 van de 100 |
“Aandeel correcte woorden” is 100 min WER als benadering, omdat WER ook extra woorden telt.
Je ziet vaak 2.7% geciteerd: dat is hetzelfde model met eenvoudigere greedy decoding (tabel 2 van de paper). De AMI-rijen betreffen ook dezelfde vergaderingen op twee manieren opgenomen. De microfoon van het hoofd van elke spreker naar het midden van de tafel verplaatsen verdubbelt het foutpercentage ruim.
Wat is woordfoutpercentage (WER) en hoe bereken je het?
Woordfoutpercentage is het aandeel woorden dat een transcriptie verkeerd heeft vergeleken met een door een mens gecontroleerde referentie. Tel drie soorten fouten en deel door de woorden in de referentie:
WER = (vervangingen + weglatingen + toevoegingen) ÷ woorden in de referentie
- Vervanging: een verkeerd woord in plaats van het juiste (“lunch” voor “launch”).
- Weglating: een uitgesproken woord dat ontbreekt in de transcriptie.
- Toevoeging: een woord in de transcriptie dat niemand zei.
Hier is een zelfgemaakt voorbeeld dat kan worden beoordeeld met de open-sourcebibliotheek jiwer:
| Regel | Tekst |
|---|---|
| Referentie (22 woorden) | we hebben de productlancering verplaatst naar negen maart omdat de leverancier twee deadlines miste en dokter patel een nieuw testplan wil vandaag |
| Transcriptie | we hebben de lunch verplaatst naar negen maart omdat leverancier twee deadlines miste en dokter badal een nieuw testplan wil vandaag morgen |
| Fouten | 2 vervangingen (lunch, badal), 1 weglating (de), 1 toevoeging (morgen) |
| WER | 4 ÷ 22 = 18.2% |
Drie dingen over WER verrassen mensen vaak:
- Het kan boven 100% komen. Toevoegingen hebben geen bovengrens en enkele talen met weinig middelen in de Fleurs-resultaten van de paper scoren boven 100%.
- Normalisatie verandert de score. “Dr.” versus “doctor” telt als fout tenzij beide teksten op dezelfde manier zijn opgeschoond. OpenAI zegt dat zijn normalisatie WER op sommige datasets tot 50% verlaagde, vooral door opmaakverschillen te verwijderen.
- Sommige talen gebruiken tekenfoutpercentage (CER). Voor Chinees, Japans, Thai, Laotiaans en Birmaans, die woorden niet met spaties scheiden, beoordeelt de paper tekens.
Een nauwkeurigheidsclaim zonder genoemde testset en beoordelingsmethode is geen meting, wie die ook maakt, wijzelf inbegrepen.
Hoe nauwkeurig is Whisper in het Engels?
Whisper is zeer nauwkeurig bij helder Engels en blijft bruikbaar bij rommelig Engels. In de paper maakte het over 12 andere Engelse datasets 55.2% minder fouten dan een onder toezicht getraind wav2vec 2.0-model met bijna dezelfde LibriSpeech-score.
Lange opnamen
Whisper leest audio in vensters van 30 seconden; daarom testte de paper lange bestanden afzonderlijk (bijlage tabel 16, large-v2):
| Lange testset | Inhoud | WER |
|---|---|---|
| TED-LIUM 3 | 11 volledige TED-lezingen | 3.5% |
| Meanwhile | 64 late-night-tvsegmenten met veel ongebruikelijke woorden | 5.1% |
| Kincaid46 | 46 gemengde opnamen uit een vergelijking uit 2018 | 8.8% |
| Earnings-21 | Bedrijfsgesprekken over kwartaalresultaten | 9.7% |
| Rev16 | 16 podcastafleveringen | 11.3% |
| Earnings-22 | Meer resultatengesprekken, veel accenten | 12.6% |
| CORAAL | 231 volledige interviews in Afro-Amerikaans Engels | 19.6% |
Whisper versus menselijke transcribenten
OpenAI liet 25 Kincaid46-opnamen transcriberen door vier menselijke diensten en één computerondersteunde dienst. De computerondersteunde dienst scoorde 1.15 procentpunt beter dan Whisper en de volledig menselijke diensten slechts een fractie van een punt beter. De conclusie van de paper: niet perfect, maar zeer dicht bij menselijke nauwkeurigheid.
Modelgrootte is belangrijk
Whisper bestaat in verschillende groottes en apps zeggen niet altijd welke ze gebruiken (bijlage tabel 9):
| Model | Parameters | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
Het verschil groeit naarmate audio moeilijker wordt: ongeveer 4 punten bij heldere audioboeken, 23 punten bij het etentje. Het nieuwere turbo-model, een geoptimaliseerde large-v3, accepteert volgens OpenAI's GitHub-README een minimale achteruitgang in nauwkeurigheid voor veel snellere transcriptie.
Hoe nauwkeurig is Whisper in andere talen?
Buiten het Engels hangt nauwkeurigheid vooral af van hoeveel trainingsaudio Whisper in die taal had. De paper vond een gekwadrateerde correlatie van 0.83 tussen logaritmische trainingsuren en logaritmische WER en schat dat WER halveert bij elke zestienvoudige toename van gegevens. De meeste van de 96 niet-Engelse talen hadden minder dan 1,000 uur.
Geselecteerde Fleurs-resultaten (voorgelezen zinnen, large-v2, bijlage tabel 13):
| Taal | Fleurs WER | Opmerking |
|---|---|---|
| Spaans | 3.0% | Laagste in de tabel |
| Engels | 4.2% | |
| Portugees | 4.3% | |
| Duits | 4.5% | |
| Japans | 5.3% | Tekenfoutpercentage |
| Russisch | 5.6% | |
| Frans | 8.3% | |
| Koreaans | 14.3% | Aangemerkt als uitschieter |
| Chinees | 14.7% | Tekenfoutpercentage |
| Arabisch | 16.0% | |
| Hindi | 21.5% | |
| Hebreeuws | 27.1% | Aangemerkt als uitschieter |
| Swahili | 39.3% | |
| Telugu | 99.0% | Aangemerkt als uitschieter |
De paper merkt Hebreeuws, Telugu, Chinees en Koreaans aan als slechter presterend dan op basis van hun trainingsgegevens verwacht, mogelijk door taalkundige afstand, een tokenizer die minder goed bij die schriften past of datakwaliteit. Fleurs bestaat uit voorgelezen spraak, dus verwacht hogere foutpercentages bij gesprekken. De README heeft een nieuwere grafiek voor large-v3 en large-v2 op Common Voice 15 en Fleurs.
De Spaanse resultaten zijn bemoedigend als je Spaanse audio naar tekst transcribeert. Test bij talen met minder middelen eerst een korte clip voordat je een heel project start.
Wat beïnvloedt de nauwkeurigheid van Whisper?
Opnameomstandigheden zijn het belangrijkst. Bewijs uit de paper en modelkaart:
| Factor | Wat het bewijs laat zien | Wat te doen |
|---|---|---|
| Achtergrondgeluid | Bij kroeggeluid onder een signaal-ruisverhouding van 10 dB versloeg Whisper alle 14 vergelijkingsmodellen, maar elk model werd slechter bij meer lawaai | Neem op in een stille kamer, weg van ventilatoren en muziek |
| Microfoonafstand | Dezelfde AMI-vergaderingen: 17.4% met headsetmicrofoons, 39.9% met één tafelmicrofoon | Houd de microfoon dicht bij degene die spreekt |
| Gesprek en overlappende spraak | Telefoongesprekken en etentjes scoren 13.6% tot 24.9%, tegenover 2.5% voor voorgelezen spraak | Eén spreker tegelijk; één microfoon per spreker |
| Accenten en dialecten | De modelkaart meldt ongelijke nauwkeurigheid tussen accenten en dialecten; lange CORAAL-interviews scoorden 19.6% | Test met sprekers die klinken als je echte opnamen |
| Zeldzame woorden en vaktermen | Goed op de vaktermrijke Meanwhile-set (5.1%), maar namen en technische termen blijven vaak fout | Controleer namen en termen tegen een lijst |
| Taalmiddelen | Fleurs-WER loopt van 3.0% (Spaans) tot 99.0% (Telugu) | Kies zelf de taal; plan meer controle voor talen met weinig middelen |
| Modelgrootte | tiny scoort 48.0% op CHiME-6, large-v2 24.9% | Vraag welk model een tool gebruikt of gebruik het grootste dat je kunt draaien |
| Bestandsformaat en samplefrequentie | Whispers code resampelt alle audio naar 16 kHz mono | Een WAV van 48 kHz biedt niets extra boven een helder bestand van 16 kHz |
Een MP3 omzetten naar een grote WAV herstelt geen verloren details. Een heldere opname met gemiddelde bitrate is beter dan een lawaaiige met hoge bitrate.
Bekende Whisper-problemen: hallucinaties, herhaling en tijdstempels
OpenAI documenteert elk van deze fouten, die belangrijker zijn dan hun aandeel in WER doet vermoeden.
Gehallucineerde tekst
Whisper kan woorden schrijven die niemand zei. De modelkaart zegt dat voorspellingen tekst kunnen bevatten die niet werkelijk in de audio is uitgesproken, vermoedelijk omdat het model ook waarschijnlijke volgende woorden voorspelt. Het onderdeel over beperkingen noemt zelfs “volledige hallucinatie”: uitvoer zonder verband met de audio.
Een onafhankelijk onderzoek, Careless Whisper (Koenecke et al., 2024), verwerkte 13,140 audiosegmenten via OpenAI's Whisper API in april en mei 2023. Ongeveer 1% van de transcripties (gemiddeld 1.4%) bevatte volledig verzonnen zinnen of zinsdelen; 38% daarvan bevatte schadelijke inhoud zoals geweld of valse associaties. Bij sprekers met langere pauzes, in dit onderzoek mensen met afasie, kwam dit vaker voor. De API is sindsdien veranderd, dus behandel dit als een meting uit 2023.
Herhalingslussen en weggelaten woorden
De modelkaart zegt dat Whisper geneigd is herhalende tekst te genereren; beam search en temperatuurplanning verminderen dit maar lossen het niet volledig op. De paper noemt ook het overslaan van eerste of laatste woorden van een segment. De decodingaanpassingen verlaagden gemiddelde WER voor lange audio van 11.0% naar 10.0%: beter, niet opgelost.
Stilte, muziek en stopwoorden
Verzonnen tekst verschijnt vaak tijdens lange stiltes en muziek. De paper vond Whispers eigen signaal “geen spraak” op zichzelf onbetrouwbaar en de open-sourcecode heeft nu een optie om lange stiltes over te slaan wanneer een waarschijnlijke hallucinatie wordt gedetecteerd.
Verschuivende tijdstempels en lange bestanden
Whisper verwerkt lange audio in vensters van telkens 30 seconden en gebruikt eigen voorspelde tijdstempels om het volgende venster te plaatsen. De paper merkt daarom op dat een fout in één venster kan doorwerken in het volgende. Tijdstempels per woord zijn in de code als “experimenteel” gemarkeerd. Controleer bij ondertitels steekproefsgewijs de timing rond pauzes.
Tijdens ontwikkeling zag OpenAI Whisper ook sprekernamen raden die bijna altijd onjuist waren. De uitgebrachte modellen zijn verder afgesteld om dit te beperken, maar controleer elke naam in de tekst.
10 manieren om de transcriptienauwkeurigheid van Whisper te verbeteren
De meeste winst ontstaat voordat je op transcriberen drukt. Grofweg van grootste naar kleinste effect:
- Plaats de microfoon dichtbij. Afstand alleen verdubbelde het foutpercentage ruim in de AMI-vergaderingen.
- Verminder lawaai bij de bron. Sluit ramen, zet ventilatoren uit, pauzeer muziek.
- Vermijd overlappende spraak. Eén persoon tegelijk is beter dan elke instelling.
- Knip lange stiltes en muziekinleidingen weg, waar verzonnen tekst het vaakst verschijnt. Knip bij pauzes, niet midden in een zin.
- Stel zelf de taal in. Whisper herkende de taal in 80.3% van de gevallen correct over 82 Fleurs-talen; automatische detectie kan bij korte clips of accenten missen.
- Gebruik het grootste beschikbare model, vooral voor lawaaiige opnamen.
- Geef namen en termen mee in een prompt als je zelf host. Open-source Whisper accepteert een
--initial_promptmet verwachte spellingen. - Upload het originele bestand. Opnieuw opnemen via luidsprekers of herhaald comprimeren verwijdert details.
- Controleer termen. Zoek elke naam, elk getal, elke datum en afkorting en verifieer tegen de audio.
- Controleer in twee rondes. Herstel eerst fouten op normale snelheid. Zoek daarna tekenen van hallucinatie: herhaalde regels, zinnen tijdens stilte, afsluiters zoals “Bedankt voor het kijken.” Laat bij juridisch, medisch of gepubliceerd werk een mens alles controleren.
Whispers nauwkeurigheid op je eigen audio meten
De beste schatting voor jouw werk is een test van 30 minuten op je eigen opnamen. Deze stappen voer je zelf uit; het is geen test van whispertranscribe.ai.
- Kies drie clips van 2 minuten zoals je echte werk: één eenvoudig, één gemiddeld, één moeilijk.
- Schrijf met de hand een referentietranscriptie, woord voor woord. Stel vooraf regels vast: “eh” behouden of weglaten, cijfers of woorden voor getallen.
- Transcribeer elke clip met de tool die je test en sla platte tekst op.
- Normaliseer beide teksten op dezelfde manier. OpenAI's normalizer wordt geleverd met
openai-whisper. - Bereken WER met jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Tel kritieke fouten afzonderlijk. Vijf verkeerde stopwoorden en vijf verkeerde klantnamen geven dezelfde WER maar zijn niet hetzelfde probleem.
- Leg resultaten vast zodat je tools of instellingen kunt vergelijken:
| Clip | Omstandigheden | Referentiewoorden | S | D | I | WER | Kritieke fouten |
|---|---|---|---|---|---|---|---|
| Clip A | Stille kamer, één spreker | 310 | |||||
| Clip B | Videogesprek, twee sprekers | 285 | |||||
| Clip C | Café, spreker met accent | 296 |
Woordenaantallen zijn voorbeelden. Let op bij stap 4: OpenAI's Engelse normalizer kan “Dr.” met “doctor” en “two” met “2” gelijkstellen, maar verschillen zoals “9th” en “ninth” nog als fout tellen. Lees gemarkeerde verschillen voordat je de score vertrouwt.
Hoe nauwkeurig is whispertranscribe.ai?
whispertranscribe.ai is een webgebaseerde AI-transcriptietool aangedreven door Whisper, met ondersteuning voor 130+ talen en uploads tot 5GB en 10 uur. Nauwkeurigheid bereikt tot 99% bij heldere audio; achtergrondgeluid, sterke accenten en overlappende spraak verlagen die, zoals de bovenstaande benchmarks voor Whisper zelf laten zien. We claimen niet de cijfers van de paper te evenaren of te overtreffen en hebben geen eigen benchmark gepubliceerd; test je clips dus met de stappen hierboven.
- Noise / Low-Quality Audio/Video-opties in de taalkiezer voor veel talen. Probeer bij een lawaaiig bestand standaard en ruisoptie en vergelijk.
- 130+ talen, een Multilingual Mix-optie en audio naar Engels vertalen.
- Bestanden tot 5GB en 10 uur, sprekerdetectie en tijdstempels (alle functies).
- Heldere invoer: neem op in je browser met de microfoon dichtbij, of zet video om naar MP3 om alleen audio te uploaden. Verkrijg vóór opname de vereiste toestemming.
- Exports naar DOCX, PDF, TXT, CSV, SRT en VTT, plus een ondertitelgenerator voor getimede captions.
Je kunt gratis beginnen zonder account. Betaalde abonnementen beginnen bij $9.99/maand bij jaarbetaling; bekijk prijzen.
Veelgestelde vragen
Is Whisper 99% nauwkeurig?
Niet in het algemeen. Whispers beste gepubliceerde resultaat is 2.5% woordfoutpercentage op LibriSpeech test-clean, een set duidelijk voorgelezen audioboeken, oftewel ongeveer 97.5% correcte woorden. Bij telefoongesprekken, vergaderingen en lawaaiige ruimtes lopen OpenAI's eigen cijfers van ongeveer 13% tot 40% WER. Een claim van “99%” betekent alleen iets als de gemeten audio is genoemd. Tools op basis van Whisper, waaronder whispertranscribe.ai, moet je op jouw opnamen beoordelen, niet op een koppercentage.
Welk Whisper-model is het nauwkeurigst?
De large-modellen zijn het nauwkeurigst. In OpenAI's paper had large-v2 de laagste foutpercentages op de meeste testsets en de modelkaart van large-v3 rapporteert 10% tot 20% minder fouten dan large-v2 in veel talen. Het turbo-model is een geoptimaliseerde large-v3 die volgens OpenAI weinig nauwkeurigheid verliest voor veel meer snelheid. Het kleinste model, tiny, is veel minder nauwkeurig op moeilijke audio: 48.0% WER bij een lawaaiig etentje tegenover 24.9% voor large-v2.
Waarom schrijft Whisper woorden die niet zijn gezegd?
Whisper kan hallucineren omdat het is getraind om waarschijnlijke tekst te voorspellen en geluid te transcriberen; OpenAI's modelkaart waarschuwt dat het tekst kan produceren die niet in de audio zit. Dat gebeurt vaak tijdens lange stiltes, muziek of lawaai. Een onafhankelijk onderzoek uit 2023 vond gehallucineerde zinnen in ongeveer 1% van de transcripties en pauzes verhoogden de kans. Stilte inkorten, de taal instellen en stille delen van de transcriptie controleren beperken het risico.
Hoe nauwkeurig is Whisper bij accenten?
Whisper gaat beter met accenten om dan veel oudere systemen, maar niet gelijkmatig. OpenAI's modelkaart zegt dat nauwkeurigheid verschilt tussen accenten en dialecten van dezelfde taal. In de paper scoorden lange interviews in Afro-Amerikaans Engels (CORAAL) 19.6% WER tegenover 3.5% voor volledige TED-lezingen, al verschillen ook de opnameomstandigheden. Test een clip met sprekers die klinken als je echte opnamen en plan meer controle bij sterke accenten.
Is Whisper even nauwkeurig als een menselijke transcribent?
Voor Engels komt Whisper dichtbij maar evenaart het de beste niet. OpenAI vergeleek het met vijf professionele diensten op 25 opnamen. Een computerondersteunde dienst had een totale WER die 1.15 punt lager lag dan die van Whisper en vier volledig menselijke diensten waren een fractie van een punt beter. Mensen verwerken namen, overlappende spraak en onduidelijke spraak nog vaak beter. Laat een mens de transcriptie tegen de opname controleren bij alles wat wordt geciteerd, ingediend of gepubliceerd.
Hoe nauwkeurig is Whisper voor andere talen dan Engels?
Dat verschilt sterk per taal. Op de Fleurs-benchmark scoorde large-v2 3.0% WER in het Spaans, 4.5% in het Duits en 8.3% in het Frans, maar 27.1% in het Hebreeuws en 99.0% in het Telugu. Chinees en Japans worden beoordeeld met tekenfoutpercentage: 14.7% en 5.3%. De paper vond dat nauwkeurigheid samenhangt met de hoeveelheid trainingsaudio per taal. Test bij talen met weinig middelen eerst een korte clip en reserveer meer tijd voor correcties.
Test nauwkeurigheid op je eigen opname
Benchmarks beschrijven de audio van anderen. Upload een clip naar whispertranscribe.ai in één van 130+ talen en beoordeel die met de stappen in deze gids. Begin gratis zonder account of vergelijk abonnementen.
Gerelateerde artikelen: Wat is Whisper AI? · Beste gratis transcriptiesoftware · Beste TurboScribe-alternatieven · Een YouTube-video transcriberen · Wat is een SRT-bestand? · Harde versus zachte ondertitels
Bronnen
- Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision (de Whisper-paper, OpenAI, 2022): tabellen 2, 9, 13 en 16 en secties 3 tot 6
- OpenAI, openai/whisper op GitHub: modeltabel in README, turbo-opmerking en WER-grafiek per taal
- OpenAI en Hugging Face, modelkaart whisper-large-v3: wijzigingen in large-v3, geëvalueerd gebruik en beperkingen
- Koenecke et al., Careless Whisper: Speech-to-Text Hallucination Harms (2024)
- jiwer: open-sourcebibliotheek voor WER en CER
- Hugging Face, Open ASR Leaderboard: onafhankelijke, regelmatig bijgewerkte vergelijking van open spraakmodellen
