Kui täpne on Whisper AI? WER, tegelikud piirangud ja nõuanded (2026)

whispertranscribe.ai toimetus · Viimati uuendatud: november 2026 · Lugemisaeg 13 minutit · Kategooria: Transkribeerimise täpsus

Kui täpne on Whisper? Selge loetud inglise keele puhul annab OpenAI uurimus Whisper large-v2 sõnaveamääraks (WER) 2.5%, seega on umbes 97–98 sõna sajast õiged. Raskem heli annab halvema tulemuse: telefonikõnedes 13.6%, mürasel õhtusöögil 24.9% ja ühe kauge mikrofoniga salvestatud koosolekul 39.9%.

Whisper on OpenAI avatud lähtekoodiga kõnetuvastusmudel ja paljude transkribeerimisrakenduste, sealhulgas meie oma, alus. See juhend käsitleb ainult täpsust: mida WER mõõdab, mida näitavad võrdlustestid heli ja keele järgi, kus Whisper eksib ja kuidas seda ise testida. Mudeli tausta kohta vaadake selgitust mis on Whisper AI.

Enamik arve pärineb Whisperi uurimusest (Radford jt, 2022), kus iga mudelit testiti „zero-shot“ meetodil ilma testandmetel peenhäälestamata. Uuem large-v3 mudelikaart teatab paljudes keeltes 10% kuni 20% vähem vigu kui large-v2, kuid ei esita täielikku andmestikupõhist tabelit. Artikli avaldab whispertranscribe.ai. Me ei teinud selle jaoks võrdlustesti ja ükski arv ei ole meie enda testitulemus.

Whisperi täpsus lühidalt

Ükski testandmestik ei vasta küsimusele üksi, sest heli muudab tulemust kõige rohkem. Tabel näitab OpenAI large-v2 tulemusi beam searchi ja temperature fallbackiga (lisa tabel 9), hinnatuna pärast OpenAI tekstinormaliseerijat.

Helitüüp Uurimuse testandmestik Whisper large-v2 WER Ligikaudne õigete sõnade osakaal
Audioraamat, selge lugeja LibriSpeech test-clean 2.5% Umbes 97.5 sajast
Ette loetud uudised WSJ 2.6% Umbes 97.4 sajast
TEDi ettekanded TED-LIUM 3 3.7% Umbes 96 sajast
Audioraamat, raskemad kõnelejad LibriSpeech test-other 4.9% Umbes 95 sajast
Vabatahtlikud kodumikrofonidega Common Voice 5.1 8.2% Umbes 92 sajast
Telefonivestlused Switchboard 13.6% Umbes 86 sajast
Pikad sotsiolingvistilised intervjuud CORAAL 14.2% Umbes 86 sajast
Pere ja sõprade telefonikõned CallHome 16.4% Umbes 84 sajast
Koosolekud, igal inimesel peakomplekti mikrofon AMI IHM 17.4% Umbes 83 sajast
Õhtusöögid, kaugmikrofonid CHiME-6 24.9% Umbes 75 sajast
Koosolekud, üks kauge lauamikrofon AMI SDM1 39.9% Umbes 60 sajast

„Õigete sõnade osakaal“ on 100 miinus WER, mis on ligikaudne, sest WER arvestab ka lisatud sõnu.

Sageli näeb arvu 2.7%: see on sama mudel lihtsama greedy decodinguga (uurimuse tabel 2). AMI read on samad koosolekud, mis salvestati kahel viisil. Mikrofoni liigutamine iga kõneleja pea juurest laua keskele rohkem kui kahekordistab veamäära.

Mis on sõnaveamäär (WER) ja kuidas seda arvutatakse?

Sõnaveamäär on transkriptsiooni valede sõnade osakaal võrreldes inimese kontrollitud võrdlustekstiga. Loendage kolm veatüüpi ja jagage võrdlusteksti sõnade arvuga:

WER = (asendused + väljajätud + lisandused) ÷ võrdlusteksti sõnade arv

  • Asendus: õige sõna asemel vale sõna („laud“ sõna „raud“ asemel).
  • Väljajätt: öeldud sõna puudub transkriptsioonist.
  • Lisandus: transkriptsioonis on sõna, mida keegi ei öelnud.

Siin on meie näide, mida hinnatakse avatud lähtekoodiga jiweri teegiga:

Rida Tekst
Võrdlustekst (22 sõna) viisime toote esitluse märtsi üheksandale päevale sest tarnija ületas kaks tähtaega ja doktor kask soovib uut testiplaani enne järgmist ühise meeskonna koosolekut
Transkriptsioon viisime projekti esitluse märtsi üheksandale päevale sest tarnija ületas tähtaega ja doktor kask soovib uut tööplaani enne järgmist ühise meeskonna koosolekut täna
Vead 2 asendust (projekti, tööplaani), 1 väljajätt (kaks), 1 lisandus (täna)
WER 4 ÷ 22 = 18.2%

Kolm WERi omadust üllatavad inimesi:

  1. See võib ületada 100%. Lisandustel pole ülempiiri ja mõned väheste ressurssidega keeled uurimuse Fleursi tulemustes ületavad 100%.
  2. Normaliseerimine muudab tulemust. „Dr.“ ja „doktor“ loetakse veaks, kui mõlemat teksti ei puhastata samal viisil. OpenAI ütleb, et normaliseerija vähendas mõnes andmestikus WERi kuni 50%, enamasti vorminduserinevuste eemaldamisega.
  3. Mõned keeled kasutavad märgiveamäära (CER). Hiina, jaapani, tai, lao ja birma keele puhul, kus sõnu ei eraldata tühikutega, hindab uurimus selle asemel märke.

Täpsusväide ilma nimetatud testandmestiku ja hindamismeetodita ei ole mõõtmine, ükskõik kes selle esitab, meie kaasa arvatud.

Kui täpne on Whisper inglise keeles?

Selges inglise keeles on Whisper väga täpne ja jääb kasutatavaks ka raskema kõne korral. Uurimuses tegi see 12 muus ingliskeelses andmestikus 55.2% vähem vigu kui juhendatud wav2vec 2.0 mudel, mille LibriSpeechi tulemus oli peaaegu sama.

Pikad salvestised

Whisper loeb heli 30-sekundiliste akendena, seega uuriti pikki faile eraldi (lisa tabel 16, large-v2):

Pikkade salvestiste testandmestik Sisu WER
TED-LIUM 3 11 tervet TEDi ettekannet 3.5%
Meanwhile 64 hilisõhtust telesegmenti rohkete ebatavaliste sõnadega 5.1%
Kincaid46 46 segasalvestist 2018. aasta võrdlusest 8.8%
Earnings-21 Ettevõtete majandustulemuste kõned 9.7%
Rev16 16 taskuhäälingu osa 11.3%
Earnings-22 Veel tulemuskõnesid, palju aktsente 12.6%
CORAAL 231 täielikku intervjuud afroameerika inglise keeles 19.6%

Whisper võrreldes inimtranskribeerijatega

OpenAI lasi 25 Kincaid46 salvestist transkribeerida neljal inimteenusel ja ühel arvuti abil töötaval teenusel. Arvuti abil töötav teenus oli Whisperist 1.15 protsendipunkti võrra parem, täielikult inimtööga teenused vaid murdosa punkti võrra paremad. Uurimuse järeldus: tulemus pole täiuslik, kuid on inimtaseme täpsusele väga lähedal.

Mudeli suurus on oluline

Whisperil on mitu suurust ja rakendused ei ütle alati, millist nad kasutavad (lisa tabel 9):

Mudel Parameetrid LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

Vahe kasvab heli raskemaks muutudes: selgete audioraamatute puhul umbes 4 punkti, õhtusöögil 23 punkti. Uuem turbo mudel, optimeeritud large-v3, kasutab OpenAI GitHubi README järgi palju kiirema transkribeerimise eest minimaalset täpsuskadu.

Kui täpne on Whisper teistes keeltes?

Väljaspool inglise keelt sõltub täpsus peamiselt sellest, kui palju oli Whisperil selle keele treeningheli. Uurimus leidis treeningtundide logaritmi ja WERi logaritmi ruutkorrelatsiooniks 0.83 ning hindab, et iga 16-kordne andmete kasv vähendab WERi poole võrra. Enamikul 96 mitteinglise keelest oli vähem kui 1,000 tundi.

Valitud Fleursi tulemused (loetud laused, large-v2, lisa tabel 13):

Keel Fleursi WER Märkus
Hispaania 3.0% Tabeli madalaim
Inglise 4.2%
Portugali 4.3%
Saksa 4.5%
Jaapani 5.3% Märgiveamäär
Vene 5.6%
Prantsuse 8.3%
Korea 14.3% Märgitud erandiks
Hiina 14.7% Märgiveamäär
Araabia 16.0%
Hindi 21.5%
Heebrea 27.1% Märgitud erandiks
Suahiili 39.3%
Telugu 99.0% Märgitud erandiks

Uurimus märgib, et heebrea, telugu, hiina ja korea keel toimisid treeningandmete põhjal ennustatust halvemini, võimalik, et keelelise kauguse, kirjasüsteemidele halvasti sobiva tokenisaatori või andmekvaliteedi tõttu. Fleurs sisaldab loetud kõnet, seega oodake vestluses kõrgemat veamäära. README sisaldab uuemat large-v3 ja large-v2 graafikut Common Voice 15 ja Fleursi kohta.

Hispaania tulemused on julgustavad, kui transkribeerite hispaaniakeelset heli tekstiks. Vähemate ressurssidega keelte puhul testige enne kogu projekti lühikest lõiku.

Mis mõjutab Whisperi täpsust?

Salvestustingimused on kõige olulisemad. Tõendid uurimusest ja mudelikaardilt:

Tegur Mida tõendid näitavad Mida teha
Taustamüra Alla 10 dB signaali-müra suhtega pubimüras ületas Whisper kõik 14 võrdlusmudelit, kuid müra kasvades halvenesid kõik Salvestage vaikses ruumis, ventilaatoritest ja muusikast eemal
Mikrofoni kaugus Samad AMI koosolekud: peakomplekti mikrofonidega 17.4%, ühe lauamikrofoniga 39.9% Hoidke mikrofon kõneleja lähedal
Vestlus ja kattuv kõne Telefonikõnede ja õhtusöökide tulemus on 13.6% kuni 24.9%, loetud kõnel 2.5% Üks kõneleja korraga; üks mikrofon kõneleja kohta
Aktsendid ja murded Mudelikaart teatab ebaühtlasest täpsusest; pikad CORAALi intervjuud said 19.6% Testige kõnelejatega, kes kõlavad nagu tegelikel salvestistel
Haruldased sõnad ja erialaterminid Hea tulemus terminirikkas Meanwhile'i andmestikus (5.1%), kuid nimed ja tehnilised terminid on jätkuvalt sagedased vead Kontrollige nimesid ja termineid loendi järgi
Keeleressursid Fleursi WER ulatub 3.0%st (hispaania) kuni 99.0%ni (telugu) Valige keel ise; väheste ressurssidega keelte jaoks planeerige rohkem kontrolli
Mudeli suurus tiny saab CHiME-6 puhul 48.0%, large-v2 24.9% Küsige, millist mudelit tööriist kasutab, või kasutage suurimat võimalikku
Failivorming ja diskreetimissagedus Whisperi kood teisendab kogu heli 16 kHz monoks 48 kHz WAV ei anna puhta 16 kHz faili ees midagi juurde

MP3 teisendamine suureks WAViks ei taasta kaotatud üksikasju. Mõõduka bitikiirusega puhas salvestis on parem kui kõrge bitikiirusega mürane salvestis.

Whisperi teadaolevad probleemid: hallutsinatsioonid, kordused ja ajatemplid

OpenAI dokumenteerib need vead, mis on olulisemad, kui nende osakaal WERis näitab.

Väljamõeldud tekst

Whisper võib kirjutada sõnu, mida keegi ei öelnud. Mudelikaart ütleb, et ennustused võivad sisaldada teksti, mida sisendhelis tegelikult ei räägita, tõenäoliselt seetõttu, et mudel ennustab ka tõenäolisi järgmisi sõnu. Uurimuse piirangute osa mainib isegi täielikku hallutsinatsiooni, heliga mitteseotud väljundit.

Sõltumatu uuring Careless Whisper (Koenecke jt, 2024) töötles aprillis ja mais 2023 OpenAI Whisper APIga 13,140 helisegmenti. Umbes 1% transkriptsioonidest (keskmiselt 1.4%) sisaldas terviklikke väljamõeldud fraase või lauseid ning 38% neist sisaldas kahjulikku sisu, näiteks vägivalda või valeseoseid. Pikemate pausidega kõnelejad, selles uuringus afaasiaga inimesed, põhjustasid neid sagedamini. API on sellest ajast muutunud, seega käsitlege seda 2023. aasta mõõtmisena.

Kordussilmused ja väljajäetud sõnad

Mudelikaardi järgi kaldub Whisper korduvat teksti looma, mida beam search ja temperatuuri ajastamine vähendavad, kuid mitte täielikult. Uurimus loetleb ka segmendi esimeste või viimaste sõnade vahelejätmist. Dekodeerimisparandused vähendasid pikkade salvestiste keskmist WERi 11.0%lt 10.0%ni: parem, kuid mitte lahendatud.

Vaikus, muusika ja täitesõnad

Väljamõeldud teksti ilmub sageli pika vaikuse ja muusika ajal. Uurimus leidis, et Whisperi enda „no speech“ signaal pole üksinda usaldusväärne, ning avatud lähtekoodis on nüüd võimalus tõenäolise hallutsinatsiooni korral pikad vaikused vahele jätta.

Ajatemplite nihkumine ja pikad failid

Whisper liigub pikas helis 30-sekundiliste akende kaupa ja kasutab järgmise akna paigutamiseks enda ennustatud ajatempleid, seega võib uurimuse järgi ühe akna viga järgmisse kanduda. Sõnataseme ajatemplid on koodis märgitud eksperimentaalseks. Subtiitrite puhul kontrollige pauside ümbruse ajastust.

Arenduse ajal nägi OpenAI ka Whisperit kõnelejate nimesid oletamas, mis olid peaaegu alati valed. Avaldatud mudeleid peenhäälestati selle piiramiseks, kuid kontrollige iga nime tekstis.

10 viisi Whisperi transkriptsiooni täpsuse parandamiseks

Enamik paranemist tekib enne transkribeerimise käivitamist. Ligikaudu suurimast mõjust väikseimani:

  1. Asetage mikrofon lähedale. Ainuüksi kaugus rohkem kui kahekordistas AMI koosolekute veamäära.
  2. Vähendage müra allikas. Sulgege aknad, lülitage ventilaatorid välja, peatage muusika.
  3. Vältige kattuvat kõnet. Üks inimene korraga on parem kui ükskõik milline säte.
  4. Lõigake pikad vaikused ja muusikalised sissejuhatused, kus väljamõeldud tekst kõige sagedamini ilmub. Lõigake pauside, mitte lause keskelt.
  5. Määrake keel ise. Whisper tuvastas keele õigesti 80.3% kordadest 82 Fleursi keele seas, seega võib automaattuvastus lühikeste või aktsendiga lõikude puhul eksida.
  6. Kasutage suurimat saadaolevat mudelit, eriti müraste salvestiste puhul.
  7. Oma serveris andke nimed ja terminid viipena. Avatud Whisper aktsepteerib --initial_prompt valikut oodatud kirjapildiga.
  8. Laadige üles algne fail. Kõlarite kaudu uuesti salvestamine või korduv pakkimine kaotab üksikasju.
  9. Kontrollige termineid. Otsige üles iga nimi, arv, kuupäev ja lühend ning kontrollige heli järgi.
  10. Vaadake üle kahes etapis. Esmalt parandage vead tavakiirusel. Seejärel otsige hallutsinatsiooni märke: korduvad read, laused vaikuse ajal, lõpetused nagu „Täname vaatamast.“ Juriidilise, meditsiinilise või avaldatava töö puhul laske inimesel kõik üle vaadata.

Kuidas mõõta Whisperi täpsust oma helil

Parim hinnang teie töö jaoks on 30-minutine test oma salvestistel. Need sammud on teile endale; need ei ole whispertranscribe.ai test.

  1. Valige kolm 2-minutilist lõiku, mis sarnanevad tegeliku tööga: üks lihtne, üks tavaline ja üks raske.
  2. Kirjutage võrdlustekst käsitsi, sõna-sõnalt. Määrake reeglid: kas jätta „ee“ alles või välja, kirjutada arvud numbrite või sõnadena.
  3. Transkribeerige iga lõik testitava tööriistaga ja salvestage lihttekst.
  4. Normaliseerige mõlemad tekstid ühtemoodi. OpenAI normaliseerija on kaasas paketiga openai-whisper.
  5. Arvutage WER jiweriga:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Loendage kriitilised vead eraldi. Viis valet täitesõna ja viis valet kliendinime annavad sama WERi, kuid pole sama probleem.
  2. Pange tulemused kirja, et saaksite tööriistu või sätteid võrrelda:
Lõik Tingimused Võrdlusteksti sõnu S D I WER Kriitilised vead
Lõik A Vaikne ruum, üks kõneleja 310
Lõik B Videokõne, kaks kõnelejat 285
Lõik C Kohvik, aktsendiga kõneleja 296

Sõnade arvud on näited. Ettevaatus 4. sammu juures: inglise keele normaliseerija võib arvude ja lühendite kirjapilte käsitleda erinevalt. Enne tulemuse usaldamist lugege märgitud erinevused läbi.

Kui täpne on whispertranscribe.ai?

whispertranscribe.ai on veebipõhine AI transkribeerimistööriist, mis kasutab Whisperit, toetab 130+ keelt ning kuni 5GB ja 10 tunni pikkusi faile. Selge heli korral ulatub täpsus 99%ni; taustamüra, tugevad aktsendid ja kattuv kõne vähendavad seda, nagu Whisperi enda ülaltoodud võrdlustestid näitavad. Me ei väida, et saavutame või ületame uurimuse tulemusi, ega ole avaldanud oma võrdlustesti, seega testige oma lõike ülaltoodud sammudega.

Võite alustada tasuta ilma kontota. Tasulised paketid algavad $9.99/kuu aastamaksega; vaadake hindu.

Korduma kippuvad küsimused

Kas Whisper on 99% täpne?

Mitte üldiselt. Whisperi parim avaldatud tulemus on 2.5% sõnaveamäär LibriSpeech test-cleanis, selgelt loetud audioraamatute kogumis, mis tähendab umbes 97.5% õigeid sõnu. Telefonikõnedes, koosolekutel ja mürastes ruumides on OpenAI enda arvud umbes 13% kuni 40% WER. „99%“ väitel on tähendus vaid siis, kui nimetatakse mõõdetud heli. Whisperil põhinevaid tööriistu, sealhulgas whispertranscribe.ai, tuleb hinnata teie salvestiste, mitte reklaamprotsendi järgi.

Milline Whisperi mudel on kõige täpsem?

Suured mudelid on kõige täpsemad. OpenAI uurimuses oli large-v2 enamikul testandmestikel madalaima veamääraga ja large-v3 mudelikaart teatab paljudes keeltes 10% kuni 20% vähem vigu kui large-v2. Turbo on optimeeritud large-v3, mis OpenAI järgi kaotab suurema kiiruse eest vaid veidi täpsust. Väikseim tiny on raske heli korral palju vähem täpne: mürasel õhtusöögil 48.0% WER võrreldes large-v2 24.9%ga.

Miks Whisper kirjutab sõnu, mida ei öeldud?

Whisper võib hallutsineerida, sest seda on treenitud nii tõenäolist teksti ennustama kui heli transkribeerima, ja OpenAI mudelikaart hoiatab väljundi eest, mida helis ei ole. Seda juhtub sagedamini pika vaikuse, muusika või müra ajal. 2023. aasta sõltumatu uuring leidis väljamõeldud fraase umbes 1% transkriptsioonidest ja pausid suurendasid tõenäosust. Vaikuse lõikamine, keele määramine ja vaiksete kohtade kontroll vähendavad riski.

Kui täpne on Whisper aktsentidega?

Whisper käsitleb aktsente paremini kui paljud vanemad süsteemid, kuid mitte ühtlaselt. OpenAI mudelikaardi järgi erineb täpsus sama keele aktsentide ja murrete vahel. Uurimuses said pikad afroameerika inglise keele intervjuud (CORAAL) 19.6% WERi, võrreldes täielike TEDi ettekannete 3.5%ga, kuigi ka salvestustingimused erinevad. Usaldusväärne on testida lõiku kõnelejatega, kes sarnanevad tegelikele salvestistele, ning tugevate aktsentide puhul planeerida lisakontrolli.

Kas Whisper on sama täpne kui inimtranskribeerija?

Inglise keeles jõuab Whisper lähedale, kuid ei saavuta parimat. OpenAI võrdles seda viie professionaalse teenusega 25 salvestisel. Arvuti abil töötava teenuse koond-WER oli Whisperist 1.15 punkti madalam ja neli täielikult inimtööl põhinevat teenust olid murdosa punkti võrra paremad. Inimesed käsitlevad nimesid, kattuvat kõnet ja ebaselget kõnet endiselt tavaliselt paremini. Kõik, mida tsiteeritakse, esitatakse või avaldatakse, tuleks inimesel salvestise järgi üle vaadata.

Kui täpne on Whisper muudes keeltes peale inglise keele?

See erineb keele järgi suuresti. Fleursi testis sai large-v2 hispaania keeles 3.0% WERi, saksa keeles 4.5% ja prantsuse keeles 8.3%, kuid heebrea keeles 27.1% ja telugu keeles 99.0%. Hiina ja jaapani keelt hinnatakse märgiveamääraga: 14.7% ja 5.3%. Uurimus leidis, et täpsus on seotud keele treeningheli hulgaga. Vähemate ressurssidega keelte puhul testige esmalt lühikest lõiku ja varuge parandusteks rohkem aega.

Testige täpsust oma salvestisel

Võrdlustestid kirjeldavad teiste inimeste heli. Laadige lõik whispertranscribe.ai-sse ühes 130+ keelest ja hinnake seda selle juhendi sammudega. Alustage tasuta ilma kontota või võrrelge pakette.

Seotud artiklid: Mis on Whisper AI? · Parim tasuta transkribeerimistarkvara · Parimad TurboScribe'i alternatiivid · Kuidas YouTube'i videot transkribeerida · Mis on SRT-fail? · Püsivad ja valikulised subtiitrid

Allikad

Kas soovid salvestised tekstiks muuta?

Transkribeeri heli ja videot whispertranscribe.ai abil.

Alusta transkribeerimist ↗