Hversu nákvæmt er Whisper AI? WER, raunveruleg mörk og ráð (2026)

Ritstjórn whispertranscribe.ai · Síðast uppfært: nóvember 2026 · 13 mínútna lestur · Flokkur: Nákvæmni umritunar

Hversu nákvæmt er Whisper? Fyrir skýra upplesna ensku gefur rannsókn OpenAI Whisper large-v2 2.5% orðvilluhlutfall (WER), svo um 97 til 98 orð af 100 eru rétt. Erfiðara hljóð skilar lakari niðurstöðu: 13.6% í símtölum, 24.9% í hávaðasömu matarboði og 39.9% á fundi teknum upp með einum fjarlægum hljóðnema.

Whisper er opið talgreiningarlíkan OpenAI og grunnur margra umritunarforrita, þar á meðal okkar. Þessi leiðarvísir fjallar aðeins um nákvæmni: hvað WER mælir, hvað samanburðarpróf sýna eftir hljóði og tungumáli, hvar Whisper bregst og hvernig þú prófar það sjálf(ur). Til að kynna þér líkanið, sjá hvað Whisper AI er.

Flestar tölur koma úr Whisper-rannsókninni (Radford o.fl., 2022), þar sem hvert líkan var prófað „zero-shot“, án fínstillingar á prófunargagnasöfnum. Nýrra large-v3 líkanakort greinir frá 10% til 20% færri villum en large-v2 í mörgum tungumálum, en án heildartöflu fyrir hvert gagnasafn. whispertranscribe.ai gefur greinina út. Við gerðum ekkert samanburðarpróf fyrir hana og engin tala hér er niðurstaða úr okkar eigin prófi.

Nákvæmni Whisper í hnotskurn

Ekkert eitt prófunargagnasafn svarar spurningunni því hljóðið breytir tölunni mest. Taflan sýnir niðurstöður OpenAI fyrir large-v2 með beam search og temperature fallback (tafla 9 í viðauka), metnar eftir textastöðlun OpenAI.

Hljóðtegund Prófunargagnasafn í rannsókninni WER Whisper large-v2 Áætlað hlutfall réttra orða
Hljóðbók, skýr lesari LibriSpeech test-clean 2.5% Um 97.5 af 100
Upplesnar fréttir WSJ 2.6% Um 97.4 af 100
TED-fyrirlestrar TED-LIUM 3 3.7% Um 96 af 100
Hljóðbók, erfiðari talendur LibriSpeech test-other 4.9% Um 95 af 100
Sjálfboðaliðar með heimahljóðnema Common Voice 5.1 8.2% Um 92 af 100
Símtöl Switchboard 13.6% Um 86 af 100
Löng félagsmálfræðileg viðtöl CORAAL 14.2% Um 86 af 100
Símtöl fjölskyldu og vina CallHome 16.4% Um 84 af 100
Fundir, hver með höfuðtólshljóðnema AMI IHM 17.4% Um 83 af 100
Matarboð, fjarlægir hljóðnemar CHiME-6 24.9% Um 75 af 100
Fundir, einn fjarlægur borðhljóðnemi AMI SDM1 39.9% Um 60 af 100

„Hlutfall réttra orða“ er 100 mínus WER, aðeins nálgun þar sem WER telur líka innskotin orð.

Oft er vitnað í 2.7% í staðinn: það er sama líkan með einfaldari greedy decoding (tafla 2 í rannsókninni). AMI-raðirnar eru sömu fundir teknir upp á tvo vegu. Að færa hljóðnemann frá höfði hvers talanda að miðju borði meira en tvöfaldar villuhlutfallið.

Hvað er orðvilluhlutfall (WER) og hvernig er það reiknað?

Orðvilluhlutfall er hlutfall rangra orða í umritun samanborið við viðmið sem maður hefur yfirfarið. Teldu þrjár tegundir villna og deildu með orðafjölda viðmiðunar:

WER = (útskiptingar + brottfellingar + innskot) ÷ orð í viðmiði

  • Útskipting: rangt orð í stað rétta orðsins („borð“ í stað „orð“).
  • Brottfelling: talað orð sem vantar í umritunina.
  • Innskot: orð í umrituninni sem enginn sagði.

Hér er dæmi sem við bjuggum til, metið með opna jiwer safninu:

Lína Texti
Viðmið (22 orð) við færðum kynningu vörunnar til níunda mars því birgirinn missti af tveimur tímamörkum og læknirinn vill nýja prófunaráætlun fyrir næsta sameiginlega fund
Umritun við færðum kynningu verkefnisins til níunda mars því birgirinn missti af tímamörkum og læknirinn vill nýja vinnuáætlun fyrir næsta sameiginlega fund ídag
Villur 2 útskiptingar (verkefnisins, vinnuáætlun), 1 brottfelling (tveimur), 1 innskot (ídag)
WER 4 ÷ 22 = 18.2%

Þrjú atriði við WER koma fólki á óvart:

  1. Það getur farið yfir 100%. Innskot hafa engin efri mörk og fáein tungumál með lítil gögn í Fleurs-niðurstöðum rannsóknarinnar fara yfir 100%.
  2. Stöðlun breytir niðurstöðunni. „Dr.“ og „doktor“ teljast villa nema báðir textar séu hreinsaðir á sama hátt. OpenAI segir að stöðlun hafi lækkað WER um allt að 50% á sumum gagnasöfnum, einkum með því að fjarlægja sniðmun.
  3. Sum tungumál nota stafavilluhlutfall (CER). Fyrir kínversku, japönsku, taílensku, laó og búrmísku, sem aðskilja ekki orð með bilum, metur rannsóknin stafi í staðinn.

Nákvæmnisfullyrðing án nefnds prófunargagnasafns og matsaðferðar er ekki mæling, hver sem setur hana fram, við þar með talin.

Hversu nákvæmt er Whisper á ensku?

Whisper er mjög nákvæmt á skýrri ensku og enn nothæft á erfiðri ensku. Í rannsókninni gerði það 55.2% færri villur á 12 öðrum enskum gagnasöfnum en stýrt wav2vec 2.0 líkan með næstum sömu LibriSpeech-niðurstöðu.

Langar upptökur

Whisper les hljóð í 30 sekúndna gluggum, svo rannsóknin prófaði langar skrár sérstaklega (tafla 16 í viðauka, large-v2):

Gagnasafn langra upptaka Innihald WER
TED-LIUM 3 11 heilir TED-fyrirlestrar 3.5%
Meanwhile 64 nætursjónvarpsþættir með mörgum óvenjulegum orðum 5.1%
Kincaid46 46 blandaðar upptökur úr samanburði frá 2018 8.8%
Earnings-21 Símtöl um afkomu fyrirtækja 9.7%
Rev16 16 hlaðvarpsþættir 11.3%
Earnings-22 Fleiri afkomusímtöl, margir hreimar 12.6%
CORAAL 231 heil viðtöl á afrísk-amerískri ensku 19.6%

Whisper samanborið við fólk sem umritar

OpenAI lét fjórar mannlegar þjónustur og eina tölvustudda þjónustu umrita 25 Kincaid46-upptökur. Tölvustudda þjónustan náði 1.15 prósentustigum betri niðurstöðu en Whisper og eingöngu mannlegar þjónustur aðeins broti úr stigi betri. Niðurstaða rannsóknarinnar: ekki fullkomið, en mjög nálægt nákvæmni fólks.

Stærð líkans skiptir máli

Whisper fæst í nokkrum stærðum og forrit segja ekki alltaf hvaða stærð þau nota (tafla 9 í viðauka):

Líkan Stikar LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

Munurinn vex eftir því sem hljóðið verður erfiðara: um 4 stig á skýrum hljóðbókum og 23 stig í matarboðinu. Nýrra turbo líkanið, hagrætt large-v3, tekur samkvæmt GitHub README OpenAI á sig lágmarksrýrnun á nákvæmni í skiptum fyrir mun hraðari umritun.

Hversu nákvæmt er Whisper á öðrum tungumálum?

Utan ensku fer nákvæmni mest eftir því hve mikið þjálfunarhljóð Whisper hafði á viðkomandi tungumáli. Rannsóknin fann fylgnikvaðrat 0.83 milli logra þjálfunartíma og logra WER og áætlar að WER helmist fyrir hverja 16-földun gagnamagns. Flest 96 tungumálanna utan ensku höfðu færri en 1,000 klukkustundir.

Valdar Fleurs-niðurstöður (upplesnar setningar, large-v2, tafla 13 í viðauka):

Tungumál WER á Fleurs Athugasemd
Spænska 3.0% Lægst í töflunni
Enska 4.2%
Portúgalska 4.3%
Þýska 4.5%
Japanska 5.3% Stafavilluhlutfall
Rússneska 5.6%
Franska 8.3%
Kóreska 14.3% Merkt sem frávik
Kínverska 14.7% Stafavilluhlutfall
Arabíska 16.0%
Hindí 21.5%
Hebreska 27.1% Merkt sem frávik
Svahílí 39.3%
Telugu 99.0% Merkt sem frávik

Rannsóknin bendir á að hebreska, telugu, kínverska og kóreska hafi staðið sig verr en þjálfunargögnin spáðu, hugsanlega vegna málfræðilegrar fjarlægðar, táknara sem hentar letrinu illa eða gagnagæða. Fleurs er upplesið tal, svo búast má við hærra villuhlutfalli í samtali. README hefur nýrra línurit fyrir large-v3 og large-v2 á Common Voice 15 og Fleurs.

Niðurstöður spænsku eru uppörvandi ef þú umritar spænskt hljóð í texta. Fyrir tungumál með lítil gögn skaltu prófa stutt brot áður en þú leggur allt verkefnið undir.

Hvað hefur áhrif á nákvæmni Whisper?

Upptökuskilyrði skipta mestu. Vísbendingar úr rannsókninni og líkanakortinu:

Þáttur Hvað gögnin sýna Hvað á að gera
Bakgrunnshávaði Í kráarhávaða undir 10 dB hlutfalli merkis og hávaða vann Whisper öll 14 samanburðarlíkönin, en öll versnuðu með auknum hávaða Taktu upp í kyrrlátu herbergi, fjarri viftum og tónlist
Fjarlægð hljóðnema Sömu AMI-fundir: 17.4% með höfuðtólshljóðnemum, 39.9% með einum borðhljóðnema Haltu hljóðnemanum nálægt þeim sem talar
Samtal og skörun Símtöl og matarboð fá 13.6% til 24.9%, samanborið við 2.5% fyrir upplesið tal Ein manneskja tali í einu; einn hljóðnemi á talanda
Hreimar og mállýskur Líkanakortið greinir frá ójafnri nákvæmni; löng CORAAL-viðtöl fengu 19.6% Prófaðu með fólki sem hljómar eins og á þínum upptökum
Sjaldgæf orð og sérhugtök Gott á hugtakaríka Meanwhile-safninu (5.1%), en nöfn og tækniorð eru enn algengar villur Berðu nöfn og hugtök saman við lista
Málgögn Fleurs WER fer frá 3.0% (spænska) til 99.0% (telugu) Veldu tungumál sjálf(ur); áætlaðu meiri yfirlestur fyrir tungumál með lítil gögn
Stærð líkans tiny fær 48.0% á CHiME-6, large-v2 24.9% Spyrðu hvaða líkan tólið notar eða notaðu stærsta mögulega
Skráarsnið og sýnatökutíðni Kóði Whisper breytir öllu hljóði í 16 kHz mónó 48 kHz WAV bætir engu við skýra 16 kHz skrá

Umbreyting MP3 í stórt WAV endurheimtir ekki glötuð smáatriði. Skýr upptaka með meðalbitahraða er betri en hávaðasöm með háum bitahraða.

Þekkt vandamál Whisper: ofskynjanir, endurtekningar og tímastimplar

OpenAI skjalfestir allar þessar bilanir, sem skipta meira máli en hlutfall þeirra í WER gefur til kynna.

Uppspunninn texti

Whisper getur skrifað orð sem enginn sagði. Líkanakortið segir að spár geti innihaldið texta sem ekki er talaður í hljóðinu, líklega vegna þess að líkanið spáir einnig líklegum næstu orðum. Takmarkanakafli rannsóknarinnar nefnir jafnvel fullkomna ofskynjun, úttak sem tengist hljóðinu ekki.

Óháð rannsókn, Careless Whisper (Koenecke o.fl., 2024), keyrði 13,140 hljóðbúta í gegnum Whisper API OpenAI í apríl og maí 2023. Um 1% umritana (1.4% að meðaltali) innihélt heilar uppspunnar setningar eða orðasambönd og 38% þeirra innihéldu skaðlegt efni á borð við ofbeldi eða rangar tengingar. Talendur með lengri þagnir, hér fólk með málstol, kölluðu oftar fram slíkt. API-ið hefur breyst síðan, svo líttu á þetta sem mælingu frá 2023.

Endurtekningarlykkjur og orð sem falla út

Líkanakortið segir Whisper hafa tilhneigingu til að búa til endurtekinn texta, sem beam search og hitastýring draga úr en ekki fullkomlega. Rannsóknin nefnir líka að fyrsta eða síðasta orð búts geti fallið út. Afkóðunarleiðréttingar lækkuðu meðal-WER langra upptaka úr 11.0% í 10.0%: betra, en ekki leyst.

Þögn, tónlist og fylliorð

Uppspunninn texti birtist gjarnan í langri þögn og tónlist. Rannsóknin fann að eigið „no speech“-merki Whisper væri eitt og sér óáreiðanlegt og opni kóðinn hefur nú möguleika á að sleppa langri þögn þegar líkleg ofskynjun greinist.

Skrið tímastimpla og langar skrár

Whisper fer í gegnum langt hljóð einn 30 sekúndna glugga í einu og notar eigin spáða tímastimpla til að staðsetja næsta glugga, þannig að rannsóknin bendir á að villa í einum glugga geti borist í þann næsta. Tímastimplar á orðastigi eru merktir „tilraunakenndir“ í kóðanum. Fyrir skjátexta skaltu kanna tímasetningar í kringum þagnir.

Við þróun sá OpenAI líka Whisper giska á nöfn talenda sem voru nær alltaf röng. Útgefin líkön voru fínstillt til að draga úr því, en athugaðu samt öll nöfn í textanum.

10 leiðir til að bæta nákvæmni Whisper-umritunar

Mestur ávinningur kemur áður en þú byrjar umritun. Raðað nokkurn veginn frá mestum til minnstum áhrifum:

  1. Settu hljóðnemann nálægt. Fjarlægð ein og sér meira en tvöfaldaði villuhlutfall í AMI-fundunum.
  2. Minnkaðu hávaða við uppsprettuna. Lokaðu gluggum, slökktu á viftum og stöðvaðu tónlist.
  3. Forðastu skörun. Einn talandi í einu er betra en hvaða stilling sem er.
  4. Klipptu langar þagnir og tónlistarupphaf, þar sem uppspunninn texti birtist oftast. Klipptu við hlé, ekki í miðri setningu.
  5. Stilltu tungumálið sjálf(ur). Whisper greindi tungumálið rétt 80.3% tilvika í 82 Fleurs-tungumálum, svo sjálfvirk greining getur brugðist á stuttum bútum eða við hreim.
  6. Notaðu stærsta líkanið sem stendur til boða, sérstaklega fyrir hávaðasamar upptökur.
  7. Gefðu nöfn og hugtök í fyrirmælum ef þú hýsir sjálf(ur). Opna Whisper tekur við --initial_prompt með stafsetningunni sem þú býst við.
  8. Hladdu upprunaskránni upp. Endurupptaka gegnum hátalara eða endurtekin þjöppun hendir smáatriðum.
  9. Athugaðu hugtök. Leitaðu að hverju nafni, númeri, dagsetningu og skammstöfun og staðfestu við hljóðið.
  10. Farðu tvisvar yfir. Lagfærðu fyrst villur á venjulegum hraða. Leitaðu svo að merkjum ofskynjunar: endurteknum línum, setningum yfir þögn, kveðjum eins og „Takk fyrir að horfa.“ Fyrir lagalegt, læknisfræðilegt eða birt efni ætti manneskja að yfirfara allt.

Hvernig á að mæla nákvæmni Whisper á eigin hljóði

Besta matið fyrir þína vinnu er 30 mínútna próf á eigin upptökum. Þú framkvæmir þessi skref; þetta er ekki próf whispertranscribe.ai.

  1. Veldu þrjá 2 mínútna búta sem líkjast raunverulegri vinnu: einn auðveldan, einn dæmigerðan og einn erfiðan.
  2. Skrifaðu viðmiðunarumritun í höndunum, orð fyrir orð. Settu reglur fyrst: halda eða sleppa „eh“, nota tölustafi eða orð fyrir tölur.
  3. Umritaðu hvern bút með tólinu sem þú prófar og vistaðu sem hreinan texta.
  4. Staðlaðu báða texta á sama hátt. Staðlari OpenAI fylgir openai-whisper.
  5. Reiknaðu WER með jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Teldu mikilvægar villur sérstaklega. Fimm röng fylliorð og fimm röng nöfn viðskiptavina gefa sama WER en eru ekki sama vandamál.
  2. Skráðu niðurstöður til að bera saman tól eða stillingar:
Bútur Aðstæður Orð í viðmiði S D I WER Mikilvægar villur
Bútur A Kyrrlátt herbergi, einn talandi 310
Bútur B Myndsímtal, tveir talendur 285
Bútur C Kaffihús, talandi með hreim 296

Orðafjöldinn er dæmi. Varúð við skref 4: enski staðlarinn getur meðhöndlað mismunandi ritun talna og skammstafana ólíkt. Lestu merkt frávik áður en þú treystir niðurstöðunni.

Hversu nákvæmt er whispertranscribe.ai?

whispertranscribe.ai er vefbundið AI-umritunartól knúið Whisper sem styður 130+ tungumál og upphleðslu allt að 5GB og 10 klukkustundum. Nákvæmni nær allt að 99% á skýru hljóði; bakgrunnshávaði, sterkur hreimur og skörun draga úr henni, eins og samanburðarprófin að ofan sýna fyrir Whisper sjálft. Við fullyrðum ekki að við náum eða sláum tölur rannsóknarinnar og höfum ekki birt eigið samanburðarpróf, svo prófaðu eigin búta með skrefunum hér að ofan.

  • Noise / Low-Quality Audio/Video-valkostir í tungumálavali fyrir mörg mál. Prófaðu bæði venjulegan valkost og hávaðavalkost á hávaðasamri skrá og berðu saman.
  • 130+ tungumál, Multilingual Mix og þýðing hljóðs á ensku.
  • Skrár allt að 5GB og 10 klukkustundir, talandagreining og tímastimplar (allir eiginleikar).
  • Hreint inntak: taktu upp í vafranum með hljóðnemann nálægt eða breyttu myndskeiði í MP3 til að hlaða aðeins hljóðinu upp.
  • Útflutningur í DOCX, PDF, TXT, CSV, SRT og VTT og skjátextagerð fyrir tímasettan skjátexta.

Þú getur byrjað ókeypis án reiknings. Greiddir pakkar byrja frá $9.99/mánuði með árlegri greiðslu; sjá verð.

Algengar spurningar

Er Whisper 99% nákvæmt?

Ekki almennt. Besta birta niðurstaða Whisper er 2.5% orðvilluhlutfall á LibriSpeech test-clean, gagnasafni skýrt upplesinna hljóðbóka, sem er um 97.5% rétt orð. Í símtölum, á fundum og í hávaðasömum herbergjum eru eigin tölur OpenAI um 13% til 40% WER. „99%“ fullyrðing hefur aðeins merkingu ef tilgreint er á hvaða hljóði var mælt. Tól byggð á Whisper, þar með talið whispertranscribe.ai, ætti að meta á þínum upptökum, ekki fyrirsagnarprósentu.

Hvaða Whisper-líkan er nákvæmast?

Stóru líkönin eru nákvæmust. Í rannsókn OpenAI hafði large-v2 lægsta villuhlutfall á flestum prófunargagnasöfnum og large-v3 líkanakortið greinir frá 10% til 20% færri villum en large-v2 í mörgum tungumálum. Turbo er hagrætt large-v3 sem OpenAI segir tapa lítilli nákvæmni fyrir mun meiri hraða. Minnsta líkanið tiny er mun ónákvæmara á erfiðu hljóði: 48.0% WER í hávaðasömu matarboði á móti 24.9% fyrir large-v2.

Hvers vegna skrifar Whisper orð sem voru ekki sögð?

Whisper getur ofskynjað vegna þess að það er þjálfað til að spá líklegum texta auk þess að umrita hljóð, og líkanakort OpenAI varar við texta sem er ekki í hljóðinu. Þetta gerist oftast í langri þögn, tónlist eða hávaða. Óháð rannsókn frá 2023 fann uppspunnin orðasambönd í um 1% umritana og hlé juku líkurnar. Að klippa þögn, stilla tungumál og yfirfara hljóðláta kafla dregur úr áhættunni.

Hversu nákvæmt er Whisper við hreima?

Whisper ræður betur við hreima en mörg eldri kerfi, en ekki jafnt. Líkanakort OpenAI segir nákvæmni breytilega milli hreima og mállýskna sama tungumáls. Í rannsókninni fengu löng viðtöl á afrísk-amerískri ensku (CORAAL) 19.6% WER samanborið við 3.5% fyrir heila TED-fyrirlestra, þó upptökuskilyrði séu líka ólík. Áreiðanlegast er að prófa bút með talendum sem hljóma eins og á raunverulegum upptökum og áætla meiri yfirlestur við sterkan hreim.

Er Whisper jafn nákvæmt og manneskja sem umritar?

Á ensku kemst Whisper nálægt en nær ekki því besta. OpenAI bar það saman við fimm fagþjónustur á 25 upptökum. Tölvustudd þjónusta hafði samanlagt WER 1.15 stigum lægra en Whisper og fjórar eingöngu mannlegar þjónustur voru broti úr stigi betri. Fólk meðhöndlar enn oft nöfn, skörun og óskýrt tal betur. Allt sem er vitnað í, lagt fram eða birt ætti manneskja að bera saman við upptökuna.

Hversu nákvæmt er Whisper á öðrum tungumálum en ensku?

Það er mjög breytilegt eftir tungumálum. Á Fleurs-prófinu fékk large-v2 3.0% WER á spænsku, 4.5% á þýsku og 8.3% á frönsku, en 27.1% á hebresku og 99.0% á telugu. Kínverska og japanska eru metnar með stafavilluhlutfalli: 14.7% og 5.3%. Rannsóknin fann tengsl milli nákvæmni og magns þjálfunarhljóðs í hverju tungumáli. Fyrir tungumál með lítil gögn skaltu fyrst prófa stuttan bút og ætla meiri tíma til leiðréttinga.

Prófaðu nákvæmni á eigin upptöku

Samanburðarpróf lýsa hljóði annarra. Hladdu búti upp í whispertranscribe.ai á einu af 130+ tungumálum og mettu hann með skrefunum í þessum leiðarvísi. Byrjaðu ókeypis án reiknings eða berðu saman pakka.

Tengdar greinar: Hvað er Whisper AI? · Besti ókeypis umritunarhugbúnaðurinn · Bestu valkostirnir við TurboScribe · Hvernig á að umrita YouTube-myndskeið · Hvað er SRT-skrá? · Innfelldur og valkvæður skjátexti

Heimildir

Viltu breyta upptökunum þínum í texta?

Breyttu hljóði og myndskeiðum í texta með whispertranscribe.ai.

Hefja umritun ↗