Gaano Katumpak ang Whisper AI? WER, Mga Limitasyon, at Tip (2026)

Pangkat Editoryal ng whispertranscribe.ai · Huling na-update: Nobyembre 2026 · 13 minutong basahin · Kategorya: Accuracy ng transkripsyon

Gaano katumpak ang Whisper? Sa malinaw na binabasang Ingles, iniulat ng papel ng OpenAI ang 2.5% word error rate (WER) para sa Whisper large-v2, kaya mga 97 hanggang 98 sa bawat 100 salita ang tama. Mas mahirap ang ibang audio: 13.6% sa phone calls, 24.9% sa maingay na dinner party, at 39.9% sa meeting na ni-record gamit ang isang malayong mikropono.

Ang Whisper ay open-source speech recognition model ng OpenAI at ginagamit sa maraming transcription app, kabilang ang amin. Accuracy lamang ang sakop ng gabay: ano ang sinusukat ng WER, benchmark ayon sa uri ng audio at wika, mga pagkakamali ng Whisper, at kung paano ito subukan. Para sa pinagmulan ng modelo, tingnan ang ano ang Whisper AI.

Mula sa Whisper paper (Radford at mga kasama, 2022) ang karamihan ng bilang; sinubukan nito ang bawat modelo nang “zero-shot”, walang fine-tuning sa test sets. Nag-uulat ang mas bagong large-v3 model card ng 10% hanggang 20% na mas kaunting error kaysa large-v2 sa maraming wika, ngunit walang buong talahanayan kada dataset. Inilathala ng whispertranscribe.ai ang artikulong ito. Hindi kami nagsagawa ng benchmark para rito at walang bilang dito ang resulta ng sarili naming test.

Accuracy ng Whisper sa isang tingin

Walang iisang test set na sasagot sa tanong dahil malaki ang epekto ng uri ng audio. Ipinapakita ng talahanayan ang resulta ng OpenAI para sa large-v2 na may beam search at temperature fallback (appendix Table 9), matapos gamitin ang text normalizer ng OpenAI.

Uri ng audio Test set sa papel Whisper large-v2 WER Tinatayang bahagi ng tamang salita
Audiobook, malinaw na nagbabasa LibriSpeech test-clean 2.5% Mga 97.5 sa 100
Binabasang balita WSJ 2.6% Mga 97.4 sa 100
TED talks TED-LIUM 3 3.7% Mga 96 sa 100
Audiobook, mas mahirap na speaker LibriSpeech test-other 4.9% Mga 95 sa 100
Mga boluntaryo sa mikropono sa bahay Common Voice 5.1 8.2% Mga 92 sa 100
Usapan sa telepono Switchboard 13.6% Mga 86 sa 100
Mahahabang sociolinguistic interview CORAAL 14.2% Mga 86 sa 100
Tawag ng pamilya at kaibigan CallHome 16.4% Mga 84 sa 100
Meeting na bawat tao ay may headset mic AMI IHM 17.4% Mga 83 sa 100
Dinner party, malalayong mikropono CHiME-6 24.9% Mga 75 sa 100
Meeting, isang malayong mikropono sa mesa AMI SDM1 39.9% Mga 60 sa 100

Ang “bahagi ng tamang salita” ay 100 minus WER, isang pagtatantya lamang dahil binibilang din ng WER ang mga idinagdag na salita.

Madalas ding sipiin ang 2.7%: parehong modelo iyon gamit ang mas simpleng greedy decoding (Table 2 ng papel). Ang mga hanay ng AMI ay parehong meeting na ni-record sa dalawang paraan. Ang paglipat ng mikropono mula sa ulo ng bawat speaker patungo sa gitna ng mesa ay higit sa nagdoble ng error rate.

Ano ang word error rate (WER), at paano ito kinakalkula?

Ang word error rate ay bahagi ng mga salitang mali sa transcript kumpara sa reference na sinuri ng tao. Bilangin ang tatlong uri ng error at hatiin sa bilang ng salita sa reference:

WER = (pagpapalit + pagtanggal + pagdaragdag) ÷ salita sa reference

  • Pagpapalit: maling salita sa halip na tama, gaya ng “bukas” sa halip na “lakad”.
  • Pagtanggal: salitang sinabi ngunit wala sa transcript.
  • Pagdaragdag: salitang nasa transcript na walang nagsabi.

Narito ang isang halimbawang maaaring sukatin gamit ang open-source jiwer library:

Linya Teksto
Reference (25 salita) inilipat namin ang paglunsad ng produkto sa ikasiyam ng marso dahil hindi natapos ng supplier ang dalawang gawain at kailangan ni doktor santos ng pagsubok
Transcript inilipat namin ang tanghalian ng produkto sa ikasiyam ng marso dahil hindi natapos ng supplier dalawang gawain at kailangan ni doktor santos ng pagsubok ngayon
Mga error 1 pagpapalit (tanghalian), 1 pagtanggal (ang), 1 pagdaragdag (ngayon)
WER 3 ÷ 25 = 12.0%

Tatlong bagay tungkol sa WER ang madalas ikagulat:

  1. Maaari itong lumampas sa 100%. Walang limitasyon ang pagdaragdag, at ilang wikang kakaunti ang datos sa Fleurs results ng papel ay lumampas sa 100%.
  2. Binabago ng normalization ang resulta. Binibilang na error ang “Dr.” kumpara sa “doctor” kung hindi pareho ang paglilinis sa dalawang teksto. Ayon sa OpenAI, binawasan ng normalizer ang WER nang hanggang 50% sa ilang dataset, pangunahin sa pag-alis ng pagkakaiba sa format.
  3. Character error rate (CER) ang gamit sa ilang wika. Sa Chinese, Japanese, Thai, Lao, at Burmese, na hindi naghihiwalay ng salita gamit ang spaces, character ang binibilang sa papel.

Ang claim ng accuracy na walang pinangalanang test set at paraan ng pagsukat ay hindi sukat, sinuman ang nagsabi nito, kabilang kami.

Gaano katumpak ang Whisper sa Ingles?

Napakatumpak ng Whisper sa malinaw na Ingles at nananatiling magagamit sa mas mahirap na audio. Sa papel, 55.2% na mas kaunting error ang ginawa nito sa 12 iba pang English dataset kaysa sa supervised wav2vec 2.0 model na halos pareho ang marka sa LibriSpeech.

Mahahabang recording

Binabasa ng Whisper ang audio sa 30 segundong window, kaya hiwalay na sinubukan ng papel ang mahahabang file (appendix Table 16, large-v2):

Long-form test set Nilalaman WER
TED-LIUM 3 11 buong TED talks 3.5%
Meanwhile 64 late-night TV segment na maraming di-karaniwang salita 5.1%
Kincaid46 46 magkakaibang recording mula sa 2018 paghahambing 8.8%
Earnings-21 Mga tawag tungkol sa kita ng kumpanya 9.7%
Rev16 16 podcast episode 11.3%
Earnings-22 Iba pang earnings call, maraming accent 12.6%
CORAAL 231 buong interview sa African American English 19.6%

Whisper kumpara sa mga taong transcriber

Ipinatranscribe ng OpenAI ang 25 Kincaid46 recordings sa apat na human service at isang computer-assisted service. Mas mabuti nang 1.15 percentage point sa Whisper ang computer-assisted service, at bahagyang mas mabuti lamang ang mga purong human service. Ayon sa papel, hindi perpekto ang resulta ngunit malapit sa accuracy ng tao.

Mahalaga ang laki ng modelo

May iba't ibang sukat ang Whisper at hindi palaging sinasabi ng app kung alin ang gamit nito (appendix Table 9):

Modelo Mga parameter LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

Lumalaki ang pagitan kapag mas mahirap ang audio: mga 4 na puntos sa malinaw na audiobook, 23 puntos sa dinner party. Ang mas bagong turbo, isang optimized large-v3, ay tumatanggap ng tinatawag ng GitHub README ng OpenAI na minimal na pagbaba ng accuracy kapalit ng mas mabilis na transcription.

Gaano katumpak ang Whisper sa ibang wika?

Sa labas ng Ingles, malaking salik ang dami ng training audio sa wikang iyon. Natuklasan ng papel ang squared correlation na 0.83 sa pagitan ng log training hours at log WER, at tinatayang naghahati sa kalahati ang WER sa bawat 16 na beses na pagtaas ng datos. Karamihan sa 96 na wikang hindi Ingles ay may mas mababa sa 1,000 oras.

Mga piling resulta ng Fleurs (binabasang pangungusap, large-v2, appendix Table 13):

Wika Fleurs WER Tala
Espanyol 3.0% Pinakamababa sa talahanayan
Ingles 4.2%
Portuges 4.3%
Aleman 4.5%
Hapon 5.3% Character error rate
Ruso 5.6%
Pranses 8.3%
Koreano 14.3% Minarkahang outlier
Chinese 14.7% Character error rate
Arabe 16.0%
Hindi 21.5%
Hebrew 27.1% Minarkahang outlier
Swahili 39.3%
Telugu 99.0% Minarkahang outlier

Minarkahan ng papel ang Hebrew, Telugu, Chinese, at Korean na mas mahina kaysa inaasahan batay sa training data, posibleng dahil sa linguistic distance, tokenizer na hindi angkop sa mga script, o kalidad ng data. Binabasang pananalita ang Fleurs, kaya maaaring mas mataas ang error rate sa pag-uusap. May mas bagong chart sa README para sa large-v3 at large-v2 sa Common Voice 15 at Fleurs.

Nakakahikayat ang resulta sa Espanyol kung ita-transcribe mo ang Spanish audio. Para sa mga wikang kakaunti ang data, subukan muna ang maikling clip bago simulan ang buong proyekto.

Ano ang nakaaapekto sa accuracy ng Whisper?

Pinakamahalaga ang kondisyon ng recording. Narito ang ebidensya mula sa papel at model card:

Salik Ipinapakita ng ebidensya Gawin
Ingay sa background Sa pub noise na mas mababa sa 10 dB signal-to-noise ratio, natalo ng Whisper ang lahat ng 14 modelong kinumpara, ngunit lumala ang lahat habang lumakas ang ingay Mag-record sa tahimik na silid, malayo sa bentilador at musika
Layo ng mikropono Parehong AMI meeting: 17.4% sa headset mic, 39.9% sa isang table mic Ilapit ang mikropono sa nagsasalita
Pag-uusap at sabayang pagsasalita Phone calls at dinner parties ay 13.6% hanggang 24.9%, kumpara sa 2.5% sa binabasang pananalita Isa lamang ang magsalita sa bawat oras; isang mikropono bawat tao
Mga accent at diyalekto Hindi pantay ang accuracy ayon sa model card; 19.6% ang mahahabang CORAAL interviews Sumubok gamit ang mga speaker na katulad ng nasa tunay mong recording
Bihirang salita at jargon Maganda ang resulta sa Meanwhile na maraming jargon (5.1%), ngunit karaniwang mali pa rin ang pangalan at teknikal na termino Suriin ang pangalan at termino laban sa listahan
Datos para sa wika Fleurs WER mula 3.0% sa Espanyol hanggang 99.0% sa Telugu Piliin ang wika at maglaan ng dagdag na pagsusuri para sa wikang kakaunti ang data
Laki ng modelo 48.0% ang tiny sa CHiME-6, 24.9% ang large-v2 Itanong ang ginagamit na modelo o piliin ang pinakamalaki kung kaya
Format at sample rate Nire-resample ng Whisper code ang lahat ng audio sa 16 kHz mono Walang dagdag na pakinabang ang 48 kHz WAV kaysa malinis na 16 kHz file

Hindi naibabalik ng pag-convert ng MP3 sa malaking WAV ang nawalang detalye. Mas mabuti ang malinis na recording sa katamtamang bitrate kaysa maingay na recording sa mataas na bitrate.

Mga kilalang problema ng Whisper: hallucination, pag-uulit, at timestamps

Dokumentado ng OpenAI ang mga problemang ito, na maaaring mas mahalaga kaysa ipinahihiwatig ng bahagi nila sa WER.

Hallucinated na teksto

Maaaring magsulat ang Whisper ng mga salitang walang nagsabi. Ayon sa model card, maaaring may tekstong hindi talaga binigkas sa input, posibleng dahil hinuhulaan din ng modelo ang malamang na susunod na salita. Binabanggit ng limitations ng papel ang kumpletong hallucination, o output na walang kaugnayan sa audio.

Sa independiyenteng pag-aaral na Careless Whisper (Koenecke at mga kasama, 2024), pinadaan ang 13,140 audio segments sa Whisper API ng OpenAI noong Abril at Mayo 2023. Mga 1% ng transcript, 1.4% sa average, ang may buong imbentong parirala o pangungusap, at 38% ng mga iyon ay may nakapipinsalang nilalaman gaya ng karahasan o maling ugnayan. Mas madalas ito sa speaker na may mahabang paghinto, sa kasong ito ay mga taong may aphasia. Nagbago na ang API kaya ituring itong sukat noong 2023.

Paulit-ulit na parirala at nawawalang salita

Ayon sa model card, may tendensiyang ulitin ng Whisper ang teksto; binabawasan ito ng beam search at temperature scheduling ngunit hindi ganap. Binabanggit din ng papel ang paglaktaw sa una o huling salita ng segment. Ibinaba ng decoding fixes ang average long-form WER mula 11.0% tungo sa 10.0%: mas mahusay, ngunit hindi lubusang naayos.

Katahimikan, musika, at fillers

Madalas lumabas ang imbentong teksto sa mahabang katahimikan at musika. Natuklasan ng papel na hindi sapat na maaasahan ang “no speech” signal ng Whisper lamang, at may opsyon na ngayon ang open-source code na laktawan ang mahabang katahimikan kapag may posibleng hallucination.

Paglihis ng timestamp at mahahabang file

Dumaan ang Whisper sa mahabang audio nang tig-30 segundong window, gamit ang sariling hinulaang timestamp upang ilagay ang susunod na window. Kaya ayon sa papel, maaaring madala ang isang error sa susunod. Minarkahang experimental sa code ang word-level timestamps. Para sa subtitles, suriin ang timing sa paligid ng mga paghinto.

Habang dine-develop, nakita rin ng OpenAI na nanghuhula ang Whisper ng pangalan ng speaker na halos laging mali. Fine-tuned ang mga inilabas na modelo upang bawasan ito, ngunit suriin pa rin ang bawat pangalan.

10 paraan para mapabuti ang accuracy ng Whisper transcription

Bago pa pindutin ang transcribe nagmumula ang karamihan ng pagpapabuti. Nakaayos nang humigit-kumulang mula pinakamalaki hanggang pinakamaliit na epekto:

  1. Ilapit ang mikropono. Ang layo lamang ay higit sa nagdoble ng error rate sa AMI meetings.
  2. Bawasan ang ingay sa pinagmulan. Isara ang bintana, patayin ang bentilador, at ihinto ang musika.
  3. Iwasan ang sabayang pagsasalita. Mas mabuti ang isang tao sa bawat pagkakataon kaysa anumang setting.
  4. Putulin ang mahabang katahimikan at music intro, kung saan madalas lumitaw ang imbentong teksto. Sa paghinto mag-cut, hindi sa gitna ng pangungusap.
  5. Ikaw ang magtakda ng wika. Tama ang pagkilala ng Whisper sa wika sa 80.3% ng pagkakataon sa 82 Fleurs languages, kaya maaaring pumalya ang auto-detect sa maikli o may accent na clip.
  6. Gamitin ang pinakamalaking available na modelo, lalo na sa maingay na recording.
  7. Ibigay ang pangalan at termino sa prompt kung self-hosted. Tumatanggap ang open-source Whisper ng --initial_prompt na may inaasahang spelling.
  8. I-upload ang orihinal na file. Nawawala ang detalye sa pagre-record mula sa speaker o paulit-ulit na compression.
  9. Suriin ang mga termino. Hanapin ang bawat pangalan, numero, petsa, at acronym at kumpirmahin sa audio.
  10. Suriin nang dalawang beses. Ayusin muna ang error sa normal na bilis. Pagkatapos, hanapin ang paulit-ulit na linya, pangungusap sa katahimikan, at pagtatapos gaya ng “Salamat sa panonood.” Para sa legal, medikal, o ilalathalang gawa, ipasuri sa tao ang lahat.

Paano sukatin ang accuracy ng Whisper sa sarili mong audio

Ang pinakamagandang pagtatantya para sa iyong trabaho ay 30 minutong test sa sarili mong recording. Ikaw ang magsasagawa ng mga hakbang na ito; hindi ito test ng whispertranscribe.ai.

  1. Pumili ng tatlong tig-2 minutong clip na katulad ng totoong gamit: isa madali, isa karaniwan, isa mahirap.
  2. Gumawa ng reference transcript nang mano-mano, bawat salita. Magtakda muna ng tuntunin para sa fillers at pagsulat ng numero.
  3. I-transcribe ang bawat clip gamit ang sinusubukang tool at i-save bilang plain text.
  4. I-normalize ang parehong teksto sa parehong paraan. Kasama sa openai-whisper ang normalizer ng OpenAI.
  5. Kalkulahin ang WER gamit ang jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Hiwalay na bilangin ang kritikal na error. Pareho ang WER ng limang maling filler at limang maling pangalan ng kliyente, ngunit hindi pareho ang problema.
  2. Itala ang resulta upang maikumpara ang mga tool o setting:
Clip Kondisyon Salita sa reference S D I WER Kritikal na error
Clip A Tahimik na silid, isang speaker 310
Clip B Video call, dalawang speaker 285
Clip C Café, speaker na may accent 296

Mga halimbawang bilang lamang ang word counts. Paalala sa hakbang 4: maaaring hindi magkatugma sa normalizer ang lahat ng anyo ng parehong numero o daglat. Basahin ang minarkahang pagkakaiba bago pagkatiwalaan ang resulta.

Gaano katumpak ang whispertranscribe.ai?

Ang whispertranscribe.ai ay web-based AI transcription tool na gumagamit ng Whisper, sumusuporta sa mahigit 130 wika, at tumatanggap ng upload hanggang 5GB at 10 oras. Umaabot sa 99% ang accuracy sa malinis na audio; pinabababa ito ng ingay, malalakas na accent, at sabayang pagsasalita, gaya ng ipinapakita ng mga benchmark para sa Whisper mismo. Hindi namin sinasabing natutumbasan o nalalampasan namin ang bilang sa papel at wala pa kaming inilathalang sariling benchmark, kaya subukan ang sarili mong clip gamit ang mga hakbang sa itaas.

Maaari kang magsimula nang libre nang walang account. Mula $9.99/buwan ang bayad na plano na sinisingil taun-taon; tingnan ang presyo.

Mga madalas itanong

99% accurate ba ang Whisper?

Hindi sa lahat ng kaso. Ang pinakamagandang inilathalang resulta ng Whisper ay 2.5% word error rate sa LibriSpeech test-clean, malinaw na binabasang audiobooks, o mga 97.5% na tamang salita. Sa phone calls, meetings, at maingay na silid, mula mga 13% hanggang 40% WER ang sariling bilang ng OpenAI. May kabuluhan ang “99%” lamang kung tinutukoy ang audio na sinukat. Dapat husgahan ang Whisper-based tools, kabilang ang whispertranscribe.ai, batay sa iyong mga recording, hindi headline percentage.

Aling Whisper model ang pinakatumpak?

Pinakatumpak ang malalaking modelo. Sa papel ng OpenAI, large-v2 ang may pinakamababang error rate sa karamihan ng test sets, at ayon sa large-v3 model card, 10% hanggang 20% na mas kaunting error ito kaysa large-v2 sa maraming wika. Ang turbo ay optimized large-v3 na ayon sa OpenAI ay bahagyang nababawasan ang accuracy kapalit ng mas mataas na bilis. Mas hindi tumpak ang pinakamaliit na tiny sa mahirap na audio: 48.0% WER sa maingay na dinner party kumpara sa 24.9% ng large-v2.

Bakit nagsusulat ang Whisper ng hindi sinabi?

Maaaring mag-hallucinate ang Whisper dahil sinanay itong hulaan ang malamang na teksto habang tina-transcribe ang tunog, at nagbabala ang model card na maaaring may output na wala sa audio. Madalas ito sa mahabang katahimikan, musika, o ingay. Nakakita ang independiyenteng pag-aaral noong 2023 ng imbentong parirala sa mga 1% ng transcripts, at mas madalas kapag may paghinto. Nakababawas ng panganib ang pag-trim ng katahimikan, pagtatakda ng wika, at pagsusuri ng tahimik na bahagi.

Gaano katumpak ang Whisper sa mga accent?

Mas mahusay itong humawak ng accent kaysa maraming mas lumang sistema, ngunit hindi pantay. Sinasabi ng OpenAI model card na nag-iiba ang accuracy sa mga accent at diyalekto ng parehong wika. Sa papel, 19.6% WER ang mahahabang interview sa African American English (CORAAL), kumpara sa 3.5% para sa buong TED talks, bagaman magkaiba rin ang kondisyon ng recording. Pinakamainam na subukan ang clip na may speaker na katulad ng sa totoong recording at maglaan ng dagdag na pagsusuri para sa malakas na accent.

Kasing-tumpak ba ng taong transcriber ang Whisper?

Sa Ingles, malapit ang Whisper ngunit hindi nito natutumbasan ang pinakamahusay. Inihambing ito ng OpenAI sa limang propesyonal na serbisyo gamit ang 25 recording. Mas mababa nang 1.15 puntos ang kabuuang WER ng computer-assisted service, at bahagyang mas mabuti ang apat na purong human service. Karaniwang mas mahusay pa rin ang tao sa pangalan, sabayang pagsasalita, at hindi malinaw na audio. Dapat suriin ng tao laban sa recording ang anumang sisipiin, ihahain, o ilalathala.

Gaano katumpak ang Whisper sa mga wikang hindi Ingles?

Malaki ang pagkakaiba ayon sa wika. Sa Fleurs, 3.0% WER ang large-v2 sa Espanyol, 4.5% sa Aleman, at 8.3% sa Pranses, ngunit 27.1% sa Hebrew at 99.0% sa Telugu. Character error rate ang gamit sa Chinese at Japanese: 14.7% at 5.3%. Natuklasan ng papel ang ugnayan ng accuracy at dami ng training audio sa bawat wika. Para sa wikang kakaunti ang data, subukan muna ang maikling clip at maglaan ng dagdag na oras para sa pagwawasto.

Subukan ang accuracy sa sarili mong recording

Inilalarawan ng benchmarks ang audio ng ibang tao. Mag-upload ng clip sa whispertranscribe.ai sa alinman sa mahigit 130 wika at sukatin gamit ang mga hakbang sa gabay. Magsimula nang libre nang walang account, o ihambing ang mga plano.

Mga kaugnay na artikulo: Ano ang Whisper AI? · Pinakamahusay na libreng transcription software · Pinakamahusay na alternatibo sa TurboScribe · Paano i-transcribe ang YouTube video · Ano ang SRT file? · Hard at soft subtitles

Mga sanggunian

Gusto mo bang gawing teksto ang iyong mga recording?

Gawing teksto ang audio at video gamit ang whispertranscribe.ai.

Simulan ang transkripsiyon ↗