Kako natančen je Whisper AI? WER, dejanske omejitve in nasveti (2026)

Uredništvo whispertranscribe.ai · Nazadnje posodobljeno: november 2026 · 13 minut branja · Kategorija: Natančnost prepisa

Kako natančen je Whisper? Pri čisti brani angleščini raziskava OpenAI za Whisper large-v2 navaja 2.5% stopnjo besednih napak (WER), torej je pravilnih približno 97 do 98 besed od 100. Zahtevnejši zvok dosega slabše rezultate: 13.6% pri telefonskih klicih, 24.9% na hrupni večerji in 39.9% na sestanku, posnetem z enim oddaljenim mikrofonom.

Whisper je odprtokodni model za prepoznavanje govora podjetja OpenAI in pogon številnih aplikacij za prepis, tudi naše. Ta vodnik obravnava samo natančnost: kaj meri WER, kaj kažejo primerjalni testi po vrsti zvoka in jeziku, kje Whisper odpove in kako ga preizkusite sami. Za ozadje modela glejte razlago kaj je Whisper AI.

Večina številk izhaja iz raziskave Whisper (Radford in sod., 2022), v kateri je bil vsak model testiran »zero-shot«, brez prilagajanja testnim zbirkam. Novejša kartica modela large-v3 navaja 10% do 20% manj napak kot large-v2 v številnih jezikih, vendar brez popolne tabele po zbirkah. Članek izdaja whispertranscribe.ai. Zanj nismo izvedli primerjalnega testa in nobena številka ni rezultat našega lastnega preizkusa.

Natančnost Whisper na prvi pogled

Nobena posamezna testna zbirka ne odgovori na vprašanje, ker zvok najbolj spreminja rezultat. Tabela prikazuje rezultate OpenAI za large-v2 z beam search in temperature fallback (tabela 9 v dodatku), ocenjene po normalizaciji besedila OpenAI.

Vrsta zvoka Testna zbirka v raziskavi WER Whisper large-v2 Približen delež pravilnih besed
Zvočna knjiga, jasen bralec LibriSpeech test-clean 2.5% Približno 97.5 od 100
Brane novice WSJ 2.6% Približno 97.4 od 100
Predavanja TED TED-LIUM 3 3.7% Približno 96 od 100
Zvočna knjiga, zahtevnejši govorci LibriSpeech test-other 4.9% Približno 95 od 100
Prostovoljci z domačimi mikrofoni Common Voice 5.1 8.2% Približno 92 od 100
Telefonski pogovori Switchboard 13.6% Približno 86 od 100
Dolgi sociolingvistični intervjuji CORAAL 14.2% Približno 86 od 100
Telefonski pogovori družine in prijateljev CallHome 16.4% Približno 84 od 100
Sestanki, vsak z naglavnim mikrofonom AMI IHM 17.4% Približno 83 od 100
Večerje, oddaljeni mikrofoni CHiME-6 24.9% Približno 75 od 100
Sestanki, en oddaljen namizni mikrofon AMI SDM1 39.9% Približno 60 od 100

»Delež pravilnih besed« je 100 minus WER, kar je približek, saj WER šteje tudi dodane besede.

Pogosto se navaja 2.7%: to je isti model s preprostejšim greedy decoding (tabela 2 raziskave). Vrstici AMI predstavljata iste sestanke, posnete na dva načina. Premik mikrofona z glave vsakega govorca na sredino mize več kot podvoji stopnjo napak.

Kaj je stopnja besednih napak (WER) in kako jo izračunamo?

Stopnja besednih napak je delež napačnih besed prepisa v primerjavi z referenco, ki jo je preveril človek. Seštejte tri vrste napak in delite s številom besed v referenci:

WER = (zamenjave + izpusti + vstavitve) ÷ besede v referenci

  • Zamenjava: napačna beseda namesto prave (»miza« namesto »slika«).
  • Izpust: izgovorjena beseda manjka v prepisu.
  • Vstavitev: besede v prepisu ni izgovoril nihče.

Sledi naš primer, ocenjen z odprtokodno knjižnico jiwer:

Vrstica Besedilo
Referenca (22 besed) predstavitev izdelka smo prestavili na deveti marec ker je dobavitelj zamudil dva roka in zdravnik novak želi nov načrt testiranja pred sestankom
Prepis predstavitev projekta smo prestavili na deveti marec ker je dobavitelj zamudil roka in zdravnik novak želi nov načrt preverjanja pred sestankom danes
Napake 2 zamenjavi (projekta, preverjanja), 1 izpust (dva), 1 vstavitev (danes)
WER 4 ÷ 22 = 18.2%

Tri stvari pri WER ljudi presenetijo:

  1. Lahko preseže 100%. Vstavitve nimajo zgornje meje in nekaj jezikov z malo podatki v rezultatih Fleurs preseže 100%.
  2. Normalizacija spremeni rezultat. »Dr.« in »doktor« štejeta kot napaka, razen če obe besedili enako očistimo. OpenAI pravi, da je normalizator v nekaterih zbirkah zmanjšal WER do 50%, večinoma z odstranitvijo razlik v oblikovanju.
  3. Nekateri jeziki uporabljajo stopnjo znakovnih napak (CER). Pri kitajščini, japonščini, tajščini, laoščini in burmanščini, ki besed ne ločujejo s presledki, raziskava ocenjuje znake.

Trditev o natančnosti brez imenovane testne zbirke in metode ocenjevanja ni meritev, ne glede na to, kdo jo poda, vključno z nami.

Kako natančen je Whisper v angleščini?

Pri jasni angleščini je Whisper zelo natančen in ostane uporaben tudi pri zahtevnejši. V raziskavi je v 12 drugih angleških zbirkah naredil 55.2% manj napak kot nadzorovani model wav2vec 2.0 s skoraj enakim rezultatom LibriSpeech.

Dolgi posnetki

Whisper bere zvok v 30-sekundnih oknih, zato je raziskava dolge datoteke testirala posebej (tabela 16 v dodatku, large-v2):

Testna zbirka dolgih posnetkov Vsebina WER
TED-LIUM 3 11 celih predavanj TED 3.5%
Meanwhile 64 poznovečernih televizijskih segmentov z veliko nenavadnimi besedami 5.1%
Kincaid46 46 mešanih posnetkov iz primerjave iz leta 2018 8.8%
Earnings-21 Klici o poslovnih rezultatih 9.7%
Rev16 16 epizod podkastov 11.3%
Earnings-22 Dodatni klici o rezultatih, veliko naglasov 12.6%
CORAAL 231 celih intervjujev v afroameriški angleščini 19.6%

Whisper proti človeškim prepisovalcem

OpenAI je dala 25 posnetkov Kincaid46 prepisati štirim človeškim službam in eni računalniško podprti službi. Računalniško podprta služba je dosegla 1.15 odstotne točke boljši rezultat od Whisperja, povsem človeške službe pa le delček točke boljšega. Sklep raziskave: rezultat ni popoln, vendar je zelo blizu človeški natančnosti.

Velikost modela je pomembna

Whisper je na voljo v več velikostih in aplikacije ne povedo vedno, katero uporabljajo (tabela 9 v dodatku):

Model Parametri LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

Razlika narašča z zahtevnostjo zvoka: približno 4 točke pri čistih zvočnih knjigah in 23 na večerji. Novejši model turbo, optimizirani large-v3, po README na GitHubu podjetja OpenAI sprejme minimalno zmanjšanje natančnosti za precej hitrejši prepis.

Kako natančen je Whisper v drugih jezikih?

Zunaj angleščine je natančnost predvsem odvisna od količine učnega zvoka v posameznem jeziku. Raziskava je ugotovila kvadrat korelacije 0.83 med logaritmom učnih ur in logaritmom WER ter ocenjuje, da se WER prepolovi ob vsakem 16-kratnem povečanju podatkov. Večina od 96 neangleških jezikov je imela manj kot 1,000 ur.

Izbrani rezultati Fleurs (brani stavki, large-v2, tabela 13 v dodatku):

Jezik WER Fleurs Opomba
Španščina 3.0% Najnižja v tabeli
Angleščina 4.2%
Portugalščina 4.3%
Nemščina 4.5%
Japonščina 5.3% Stopnja znakovnih napak
Ruščina 5.6%
Francoščina 8.3%
Korejščina 14.3% Označena kot odstopanje
Kitajščina 14.7% Stopnja znakovnih napak
Arabščina 16.0%
Hindijščina 21.5%
Hebrejščina 27.1% Označena kot odstopanje
Svahili 39.3%
Telugujščina 99.0% Označena kot odstopanje

Raziskava opozarja, da so hebrejščina, telugujščina, kitajščina in korejščina slabše od napovedi glede na učne podatke, morda zaradi jezikovne oddaljenosti, slabo prilagojenega tokenizatorja za te pisave ali kakovosti podatkov. Fleurs vsebuje brani govor, zato pri pogovorih pričakujte višjo stopnjo napak. README ima novejši graf za large-v3 in large-v2 na Common Voice 15 in Fleurs.

Rezultati španščine so spodbudni, če prepisujete španski zvok v besedilo. Pri jezikih z manj podatki pred celotnim projektom preizkusite kratek izsek.

Kaj vpliva na natančnost Whisperja?

Pogoji snemanja so najpomembnejši. Dokazi iz raziskave in kartice modela:

Dejavnik Kaj kažejo dokazi Kaj storiti
Hrup v ozadju Pri hrupu lokala z razmerjem signal/šum pod 10 dB je Whisper prehitel vseh 14 primerjanih modelov, vendar so se vsi slabšali z naraščajočim hrupom Snemajte v mirni sobi, stran od ventilatorjev in glasbe
Oddaljenost mikrofona Isti sestanki AMI: 17.4% pri naglavnih mikrofonih, 39.9% pri enem namiznem Mikrofon naj bo blizu govorca
Pogovor in prekrivanje glasov Telefonski klici in večerje dosegajo 13.6% do 24.9%, brani govor pa 2.5% Govorite po vrsti; en mikrofon na govorca
Naglasi in narečja Kartica modela poroča o neenakomerni natančnosti; dolgi intervjuji CORAAL so dosegli 19.6% Testirajte z govorci, ki zvenijo kot na vaših resničnih posnetkih
Redke besede in strokovni izrazi Dober rezultat na zbirki Meanwhile z veliko strokovnih izrazov (5.1%), a imena in tehnični izrazi ostajajo pogoste napake Imena in izraze preverite po seznamu
Jezikovni viri WER Fleurs sega od 3.0% (španščina) do 99.0% (telugujščina) Jezik izberite sami; pri jezikih z manj podatki načrtujte več preverjanja
Velikost modela tiny dosega 48.0% na CHiME-6, large-v2 24.9% Vprašajte, kateri model uporablja orodje, ali uporabite največjega, ki ga lahko
Format in vzorčna frekvenca Koda Whisper ves zvok prevzorči na 16 kHz mono 48 kHz WAV nima prednosti pred čistim 16 kHz posnetkom

Pretvorba MP3 v velik WAV ne obnovi izgubljenih podrobnosti. Čist posnetek z zmerno bitno hitrostjo je boljši od hrupnega z visoko.

Znane težave Whisperja: halucinacije, zanke in časovne oznake

OpenAI dokumentira vsako od teh napak, ki so pomembnejše, kot kaže njihov delež v WER.

Izmišljeno besedilo

Whisper lahko zapiše besede, ki jih nihče ni izgovoril. Kartica modela pravi, da napovedi lahko vsebujejo besedilo, ki v zvoku dejansko ni izgovorjeno, verjetno zato, ker model napoveduje tudi verjetne naslednje besede. Razdelek raziskave o omejitvah omenja celo popolno halucinacijo, izhod brez zveze z zvokom.

Neodvisna študija Careless Whisper (Koenecke in sod., 2024) je aprila in maja 2023 skozi Whisper API podjetja OpenAI obdelala 13,140 zvočnih segmentov. Približno 1% prepisov (povprečno 1.4%) je vsebovalo cele izmišljene fraze ali stavke, 38% teh pa škodljivo vsebino, kot so nasilje ali napačne povezave. Govorci z daljšimi premori, tu osebe z afazijo, so jih sprožili pogosteje. API se je od takrat spremenil, zato to obravnavajte kot meritev iz leta 2023.

Ponavljajoče se zanke in izpuščene besede

Kartica modela pravi, da je Whisper nagnjen k ponavljanju besedila, kar beam search in razporejanje temperature zmanjšata, ne pa popolnoma. Raziskava navaja tudi preskakovanje prvih ali zadnjih besed segmenta. Popravki dekodiranja so povprečni WER dolgih posnetkov zmanjšali z 11.0% na 10.0%: bolje, a ne rešeno.

Tišina, glasba in mašila

Izmišljeno besedilo se pogosto pojavi med dolgo tišino in glasbo. Raziskava je ugotovila, da lastni signal »no speech« modela Whisper sam po sebi ni zanesljiv, odprtokodna koda pa zdaj vsebuje možnost preskoka dolge tišine ob verjetni halucinaciji.

Zamik časovnih oznak in dolge datoteke

Whisper obdeluje dolg zvok po 30-sekundnih oknih in za postavitev naslednjega uporablja lastne napovedane časovne oznake, zato raziskava opozarja, da se napaka v enem oknu lahko prenese v naslednje. Časovne oznake na ravni besed so v kodi označene kot »eksperimentalne«. Pri podnapisih preverite čas ob premorih.

Med razvojem je OpenAI tudi opazila, da je Whisper ugibal imena govorcev, ki so bila skoraj vedno napačna. Izdani modeli so bili dodatno prilagojeni za omejitev tega pojava, a vsako ime v besedilu preverite.

10 načinov za izboljšanje natančnosti prepisa Whisper

Večina izboljšav nastane pred začetkom prepisa. Približno od največjega do najmanjšega učinka:

  1. Mikrofon postavite blizu. Sama razdalja je na sestankih AMI več kot podvojila stopnjo napak.
  2. Hrup zmanjšajte pri viru. Zaprite okna, izklopite ventilatorje in ustavite glasbo.
  3. Izogibajte se prekrivanju glasov. En govorec naenkrat je boljši od katere koli nastavitve.
  4. Odstranite dolgo tišino in glasbene uvode, kjer se izmišljeno besedilo najpogosteje pojavi. Režite pri premorih, ne sredi stavka.
  5. Jezik nastavite sami. Whisper je pravilno določil jezik v 80.3% primerov med 82 jeziki Fleurs, zato se samodejno zaznavanje lahko zmoti pri kratkih izsekih ali naglasih.
  6. Uporabite največji razpoložljivi model, zlasti pri hrupnih posnetkih.
  7. Pri lastnem gostovanju v poziv vključite imena in izraze. Odprtokodni Whisper sprejme --initial_prompt s pričakovanim zapisom.
  8. Naložite izvirno datoteko. Ponovno snemanje prek zvočnikov ali večkratno stiskanje zavrže podrobnosti.
  9. Preverite izraze. Poiščite vsako ime, številko, datum in kratico ter preverite po zvoku.
  10. Preglejte dvakrat. Najprej popravite napake pri običajni hitrosti. Nato poiščite znake halucinacij: ponavljajoče vrstice, stavke med tišino, zaključke kot »Hvala za ogled.« Pri pravnem, zdravstvenem ali objavljenem delu naj vse preveri človek.

Kako izmeriti natančnost Whisperja na lastnem zvoku

Najboljša ocena za vaše delo je 30-minutni preizkus lastnih posnetkov. Te korake izvedete sami; ne gre za test whispertranscribe.ai.

  1. Izberite tri 2-minutne izseke, podobne dejanskemu delu: enega lahkega, enega običajnega in enega zahtevnega.
  2. Ročno napišite referenčni prepis, besedo za besedo. Najprej določite pravila: ohraniti ali izpustiti »hm«, številke zapisati s številkami ali besedami.
  3. Prepišite vsak izsek s testiranim orodjem in shranite čisto besedilo.
  4. Normalizirajte obe besedili na enak način. Normalizator OpenAI je priložen openai-whisper.
  5. Izračunajte WER z jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Kritične napake štejte posebej. Pet napačnih mašil in pet napačnih imen strank daje enak WER, vendar ne gre za enako težavo.
  2. Zabeležite rezultate, da primerjate orodja ali nastavitve:
Izsek Pogoji Besede v referenci S D I WER Kritične napake
Izsek A Mirna soba, en govorec 310
Izsek B Videoklic, dva govorca 285
Izsek C Kavarna, govorec z naglasom 296

Število besed je zgolj primer. Opozorilo pri koraku 4: angleški normalizator lahko različne zapise števil in okrajšav različno obravnava. Preden zaupate rezultatu, preberite označene razlike.

Kako natančen je whispertranscribe.ai?

whispertranscribe.ai je spletno AI orodje za prepis, ki uporablja Whisper, podpira 130+ jezikov in nalaganje do 5GB ter 10 ur. Pri čistem zvoku dosega do 99% natančnost; hrup v ozadju, močni naglasi in prekrivanje glasov jo znižajo, kot kažejo zgornji testi za sam Whisper. Ne trdimo, da dosegamo ali presegamo številke raziskave, in nismo objavili lastnega primerjalnega testa, zato preizkusite svoje izseke z zgornjimi koraki.

Lahko začnete brezplačno brez računa. Plačljivi paketi se začnejo pri $9.99/mesec ob letnem plačilu; glejte cenik.

Pogosta vprašanja

Je Whisper 99% natančen?

Ne na splošno. Najboljši objavljeni rezultat Whisperja je 2.5% stopnja besednih napak na LibriSpeech test-clean, zbirki jasno branih zvočnih knjig, kar je približno 97.5% pravilnih besed. Pri klicih, sestankih in hrupnih sobah se lastne številke OpenAI gibljejo od približno 13% do 40% WER. Trditev »99%« je smiselna samo, če navede zvok, na katerem je bila izmerjena. Orodja na osnovi Whisperja, tudi whispertranscribe.ai, presojajte po lastnih posnetkih, ne po naslovnem odstotku.

Kateri model Whisper je najnatančnejši?

Največji modeli so najnatančnejši. V raziskavi OpenAI je large-v2 dosegel najnižje stopnje napak v večini testnih zbirk, kartica large-v3 pa navaja 10% do 20% manj napak kot large-v2 v številnih jezikih. Turbo je optimizirani large-v3, ki po navedbah OpenAI izgubi le malo natančnosti v zameno za precej večjo hitrost. Najmanjši tiny je pri zahtevnem zvoku precej manj natančen: 48.0% WER na hrupni večerji proti 24.9% za large-v2.

Zakaj Whisper napiše besede, ki niso bile izrečene?

Whisper lahko halucinira, ker je poleg prepisa zvoka učen napovedovati verjetno besedilo, kartica modela OpenAI pa opozarja na možnost izhoda besedila, ki ga v zvoku ni. To se najpogosteje zgodi med dolgo tišino, glasbo ali hrupom. Neodvisna študija iz leta 2023 je izmišljene fraze našla v približno 1% prepisov, premori pa so jih naredili verjetnejše. Obrezovanje tišine, nastavitev jezika in pregled tihih delov prepisa zmanjšajo tveganje.

Kako natančen je Whisper pri naglasih?

Whisper naglase obvladuje bolje kot številni starejši sistemi, vendar ne enakomerno. Kartica modela OpenAI pravi, da se natančnost razlikuje med naglasi in narečji istega jezika. V raziskavi so dolgi intervjuji v afroameriški angleščini (CORAAL) dosegli 19.6% WER proti 3.5% pri celih predavanjih TED, čeprav se razlikujejo tudi pogoji snemanja. Zanesljiv pristop je preizkusiti izsek z govorci, podobnimi vašim dejanskim posnetkom, in pri močnih naglasih načrtovati več preverjanja.

Je Whisper enako natančen kot človeški prepisovalec?

Pri angleščini se približa, vendar najboljših ne doseže. OpenAI ga je primerjala s petimi poklicnimi službami na 25 posnetkih. Računalniško podprta služba je imela skupni WER 1.15 točke nižji kot Whisper, štiri povsem človeške službe pa so bile za delček točke boljše. Ljudje še vedno navadno bolje obvladajo imena, prekrivanje glasov in nejasen govor. Vse, kar se citira, vloži ali objavi, naj človek preveri po posnetku.

Kako natančen je Whisper v jezikih, ki niso angleščina?

Močno se razlikuje po jeziku. Na Fleurs je large-v2 dosegel 3.0% WER v španščini, 4.5% v nemščini in 8.3% v francoščini, vendar 27.1% v hebrejščini in 99.0% v telugujščini. Kitajščina in japonščina se ocenjujeta s stopnjo znakovnih napak: 14.7% in 5.3%. Raziskava je ugotovila povezavo med natančnostjo in količino učnega zvoka v posameznem jeziku. Pri jezikih z manj podatki najprej preizkusite kratek izsek in namenite več časa popravkom.

Preizkusite natančnost na lastnem posnetku

Primerjalni testi opisujejo zvok drugih ljudi. Naložite izsek v whispertranscribe.ai v katerem koli od 130+ jezikov in ga ocenite po korakih v tem vodniku. Začnite brezplačno brez računa ali primerjajte pakete.

Sorodni članki: Kaj je Whisper AI? · Najboljša brezplačna programska oprema za prepis · Najboljše alternative TurboScribe · Kako prepisati video z YouTuba · Kaj je datoteka SRT? · Trdi in mehki podnapisi

Viri

Želite svoje posnetke pretvoriti v besedilo?

Prepišite zvočne in videoposnetke z orodjem whispertranscribe.ai.

Začnite s prepisom ↗