Uredništvo whispertranscribe.ai · Nazadnje posodobljeno: november 2026 · 13 minut branja · Kategorija: Natančnost prepisa
Kako natančen je Whisper? Pri čisti brani angleščini raziskava OpenAI za Whisper large-v2 navaja 2.5% stopnjo besednih napak (WER), torej je pravilnih približno 97 do 98 besed od 100. Zahtevnejši zvok dosega slabše rezultate: 13.6% pri telefonskih klicih, 24.9% na hrupni večerji in 39.9% na sestanku, posnetem z enim oddaljenim mikrofonom.
Whisper je odprtokodni model za prepoznavanje govora podjetja OpenAI in pogon številnih aplikacij za prepis, tudi naše. Ta vodnik obravnava samo natančnost: kaj meri WER, kaj kažejo primerjalni testi po vrsti zvoka in jeziku, kje Whisper odpove in kako ga preizkusite sami. Za ozadje modela glejte razlago kaj je Whisper AI.
Večina številk izhaja iz raziskave Whisper (Radford in sod., 2022), v kateri je bil vsak model testiran »zero-shot«, brez prilagajanja testnim zbirkam. Novejša kartica modela large-v3 navaja 10% do 20% manj napak kot large-v2 v številnih jezikih, vendar brez popolne tabele po zbirkah. Članek izdaja whispertranscribe.ai. Zanj nismo izvedli primerjalnega testa in nobena številka ni rezultat našega lastnega preizkusa.
Natančnost Whisper na prvi pogled
Nobena posamezna testna zbirka ne odgovori na vprašanje, ker zvok najbolj spreminja rezultat. Tabela prikazuje rezultate OpenAI za large-v2 z beam search in temperature fallback (tabela 9 v dodatku), ocenjene po normalizaciji besedila OpenAI.
| Vrsta zvoka | Testna zbirka v raziskavi | WER Whisper large-v2 | Približen delež pravilnih besed |
|---|---|---|---|
| Zvočna knjiga, jasen bralec | LibriSpeech test-clean | 2.5% | Približno 97.5 od 100 |
| Brane novice | WSJ | 2.6% | Približno 97.4 od 100 |
| Predavanja TED | TED-LIUM 3 | 3.7% | Približno 96 od 100 |
| Zvočna knjiga, zahtevnejši govorci | LibriSpeech test-other | 4.9% | Približno 95 od 100 |
| Prostovoljci z domačimi mikrofoni | Common Voice 5.1 | 8.2% | Približno 92 od 100 |
| Telefonski pogovori | Switchboard | 13.6% | Približno 86 od 100 |
| Dolgi sociolingvistični intervjuji | CORAAL | 14.2% | Približno 86 od 100 |
| Telefonski pogovori družine in prijateljev | CallHome | 16.4% | Približno 84 od 100 |
| Sestanki, vsak z naglavnim mikrofonom | AMI IHM | 17.4% | Približno 83 od 100 |
| Večerje, oddaljeni mikrofoni | CHiME-6 | 24.9% | Približno 75 od 100 |
| Sestanki, en oddaljen namizni mikrofon | AMI SDM1 | 39.9% | Približno 60 od 100 |
»Delež pravilnih besed« je 100 minus WER, kar je približek, saj WER šteje tudi dodane besede.
Pogosto se navaja 2.7%: to je isti model s preprostejšim greedy decoding (tabela 2 raziskave). Vrstici AMI predstavljata iste sestanke, posnete na dva načina. Premik mikrofona z glave vsakega govorca na sredino mize več kot podvoji stopnjo napak.
Kaj je stopnja besednih napak (WER) in kako jo izračunamo?
Stopnja besednih napak je delež napačnih besed prepisa v primerjavi z referenco, ki jo je preveril človek. Seštejte tri vrste napak in delite s številom besed v referenci:
WER = (zamenjave + izpusti + vstavitve) ÷ besede v referenci
- Zamenjava: napačna beseda namesto prave (»miza« namesto »slika«).
- Izpust: izgovorjena beseda manjka v prepisu.
- Vstavitev: besede v prepisu ni izgovoril nihče.
Sledi naš primer, ocenjen z odprtokodno knjižnico jiwer:
| Vrstica | Besedilo |
|---|---|
| Referenca (22 besed) | predstavitev izdelka smo prestavili na deveti marec ker je dobavitelj zamudil dva roka in zdravnik novak želi nov načrt testiranja pred sestankom |
| Prepis | predstavitev projekta smo prestavili na deveti marec ker je dobavitelj zamudil roka in zdravnik novak želi nov načrt preverjanja pred sestankom danes |
| Napake | 2 zamenjavi (projekta, preverjanja), 1 izpust (dva), 1 vstavitev (danes) |
| WER | 4 ÷ 22 = 18.2% |
Tri stvari pri WER ljudi presenetijo:
- Lahko preseže 100%. Vstavitve nimajo zgornje meje in nekaj jezikov z malo podatki v rezultatih Fleurs preseže 100%.
- Normalizacija spremeni rezultat. »Dr.« in »doktor« štejeta kot napaka, razen če obe besedili enako očistimo. OpenAI pravi, da je normalizator v nekaterih zbirkah zmanjšal WER do 50%, večinoma z odstranitvijo razlik v oblikovanju.
- Nekateri jeziki uporabljajo stopnjo znakovnih napak (CER). Pri kitajščini, japonščini, tajščini, laoščini in burmanščini, ki besed ne ločujejo s presledki, raziskava ocenjuje znake.
Trditev o natančnosti brez imenovane testne zbirke in metode ocenjevanja ni meritev, ne glede na to, kdo jo poda, vključno z nami.
Kako natančen je Whisper v angleščini?
Pri jasni angleščini je Whisper zelo natančen in ostane uporaben tudi pri zahtevnejši. V raziskavi je v 12 drugih angleških zbirkah naredil 55.2% manj napak kot nadzorovani model wav2vec 2.0 s skoraj enakim rezultatom LibriSpeech.
Dolgi posnetki
Whisper bere zvok v 30-sekundnih oknih, zato je raziskava dolge datoteke testirala posebej (tabela 16 v dodatku, large-v2):
| Testna zbirka dolgih posnetkov | Vsebina | WER |
|---|---|---|
| TED-LIUM 3 | 11 celih predavanj TED | 3.5% |
| Meanwhile | 64 poznovečernih televizijskih segmentov z veliko nenavadnimi besedami | 5.1% |
| Kincaid46 | 46 mešanih posnetkov iz primerjave iz leta 2018 | 8.8% |
| Earnings-21 | Klici o poslovnih rezultatih | 9.7% |
| Rev16 | 16 epizod podkastov | 11.3% |
| Earnings-22 | Dodatni klici o rezultatih, veliko naglasov | 12.6% |
| CORAAL | 231 celih intervjujev v afroameriški angleščini | 19.6% |
Whisper proti človeškim prepisovalcem
OpenAI je dala 25 posnetkov Kincaid46 prepisati štirim človeškim službam in eni računalniško podprti službi. Računalniško podprta služba je dosegla 1.15 odstotne točke boljši rezultat od Whisperja, povsem človeške službe pa le delček točke boljšega. Sklep raziskave: rezultat ni popoln, vendar je zelo blizu človeški natančnosti.
Velikost modela je pomembna
Whisper je na voljo v več velikostih in aplikacije ne povedo vedno, katero uporabljajo (tabela 9 v dodatku):
| Model | Parametri | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
Razlika narašča z zahtevnostjo zvoka: približno 4 točke pri čistih zvočnih knjigah in 23 na večerji. Novejši model turbo, optimizirani large-v3, po README na GitHubu podjetja OpenAI sprejme minimalno zmanjšanje natančnosti za precej hitrejši prepis.
Kako natančen je Whisper v drugih jezikih?
Zunaj angleščine je natančnost predvsem odvisna od količine učnega zvoka v posameznem jeziku. Raziskava je ugotovila kvadrat korelacije 0.83 med logaritmom učnih ur in logaritmom WER ter ocenjuje, da se WER prepolovi ob vsakem 16-kratnem povečanju podatkov. Večina od 96 neangleških jezikov je imela manj kot 1,000 ur.
Izbrani rezultati Fleurs (brani stavki, large-v2, tabela 13 v dodatku):
| Jezik | WER Fleurs | Opomba |
|---|---|---|
| Španščina | 3.0% | Najnižja v tabeli |
| Angleščina | 4.2% | |
| Portugalščina | 4.3% | |
| Nemščina | 4.5% | |
| Japonščina | 5.3% | Stopnja znakovnih napak |
| Ruščina | 5.6% | |
| Francoščina | 8.3% | |
| Korejščina | 14.3% | Označena kot odstopanje |
| Kitajščina | 14.7% | Stopnja znakovnih napak |
| Arabščina | 16.0% | |
| Hindijščina | 21.5% | |
| Hebrejščina | 27.1% | Označena kot odstopanje |
| Svahili | 39.3% | |
| Telugujščina | 99.0% | Označena kot odstopanje |
Raziskava opozarja, da so hebrejščina, telugujščina, kitajščina in korejščina slabše od napovedi glede na učne podatke, morda zaradi jezikovne oddaljenosti, slabo prilagojenega tokenizatorja za te pisave ali kakovosti podatkov. Fleurs vsebuje brani govor, zato pri pogovorih pričakujte višjo stopnjo napak. README ima novejši graf za large-v3 in large-v2 na Common Voice 15 in Fleurs.
Rezultati španščine so spodbudni, če prepisujete španski zvok v besedilo. Pri jezikih z manj podatki pred celotnim projektom preizkusite kratek izsek.
Kaj vpliva na natančnost Whisperja?
Pogoji snemanja so najpomembnejši. Dokazi iz raziskave in kartice modela:
| Dejavnik | Kaj kažejo dokazi | Kaj storiti |
|---|---|---|
| Hrup v ozadju | Pri hrupu lokala z razmerjem signal/šum pod 10 dB je Whisper prehitel vseh 14 primerjanih modelov, vendar so se vsi slabšali z naraščajočim hrupom | Snemajte v mirni sobi, stran od ventilatorjev in glasbe |
| Oddaljenost mikrofona | Isti sestanki AMI: 17.4% pri naglavnih mikrofonih, 39.9% pri enem namiznem | Mikrofon naj bo blizu govorca |
| Pogovor in prekrivanje glasov | Telefonski klici in večerje dosegajo 13.6% do 24.9%, brani govor pa 2.5% | Govorite po vrsti; en mikrofon na govorca |
| Naglasi in narečja | Kartica modela poroča o neenakomerni natančnosti; dolgi intervjuji CORAAL so dosegli 19.6% | Testirajte z govorci, ki zvenijo kot na vaših resničnih posnetkih |
| Redke besede in strokovni izrazi | Dober rezultat na zbirki Meanwhile z veliko strokovnih izrazov (5.1%), a imena in tehnični izrazi ostajajo pogoste napake | Imena in izraze preverite po seznamu |
| Jezikovni viri | WER Fleurs sega od 3.0% (španščina) do 99.0% (telugujščina) | Jezik izberite sami; pri jezikih z manj podatki načrtujte več preverjanja |
| Velikost modela | tiny dosega 48.0% na CHiME-6, large-v2 24.9% | Vprašajte, kateri model uporablja orodje, ali uporabite največjega, ki ga lahko |
| Format in vzorčna frekvenca | Koda Whisper ves zvok prevzorči na 16 kHz mono | 48 kHz WAV nima prednosti pred čistim 16 kHz posnetkom |
Pretvorba MP3 v velik WAV ne obnovi izgubljenih podrobnosti. Čist posnetek z zmerno bitno hitrostjo je boljši od hrupnega z visoko.
Znane težave Whisperja: halucinacije, zanke in časovne oznake
OpenAI dokumentira vsako od teh napak, ki so pomembnejše, kot kaže njihov delež v WER.
Izmišljeno besedilo
Whisper lahko zapiše besede, ki jih nihče ni izgovoril. Kartica modela pravi, da napovedi lahko vsebujejo besedilo, ki v zvoku dejansko ni izgovorjeno, verjetno zato, ker model napoveduje tudi verjetne naslednje besede. Razdelek raziskave o omejitvah omenja celo popolno halucinacijo, izhod brez zveze z zvokom.
Neodvisna študija Careless Whisper (Koenecke in sod., 2024) je aprila in maja 2023 skozi Whisper API podjetja OpenAI obdelala 13,140 zvočnih segmentov. Približno 1% prepisov (povprečno 1.4%) je vsebovalo cele izmišljene fraze ali stavke, 38% teh pa škodljivo vsebino, kot so nasilje ali napačne povezave. Govorci z daljšimi premori, tu osebe z afazijo, so jih sprožili pogosteje. API se je od takrat spremenil, zato to obravnavajte kot meritev iz leta 2023.
Ponavljajoče se zanke in izpuščene besede
Kartica modela pravi, da je Whisper nagnjen k ponavljanju besedila, kar beam search in razporejanje temperature zmanjšata, ne pa popolnoma. Raziskava navaja tudi preskakovanje prvih ali zadnjih besed segmenta. Popravki dekodiranja so povprečni WER dolgih posnetkov zmanjšali z 11.0% na 10.0%: bolje, a ne rešeno.
Tišina, glasba in mašila
Izmišljeno besedilo se pogosto pojavi med dolgo tišino in glasbo. Raziskava je ugotovila, da lastni signal »no speech« modela Whisper sam po sebi ni zanesljiv, odprtokodna koda pa zdaj vsebuje možnost preskoka dolge tišine ob verjetni halucinaciji.
Zamik časovnih oznak in dolge datoteke
Whisper obdeluje dolg zvok po 30-sekundnih oknih in za postavitev naslednjega uporablja lastne napovedane časovne oznake, zato raziskava opozarja, da se napaka v enem oknu lahko prenese v naslednje. Časovne oznake na ravni besed so v kodi označene kot »eksperimentalne«. Pri podnapisih preverite čas ob premorih.
Med razvojem je OpenAI tudi opazila, da je Whisper ugibal imena govorcev, ki so bila skoraj vedno napačna. Izdani modeli so bili dodatno prilagojeni za omejitev tega pojava, a vsako ime v besedilu preverite.
10 načinov za izboljšanje natančnosti prepisa Whisper
Večina izboljšav nastane pred začetkom prepisa. Približno od največjega do najmanjšega učinka:
- Mikrofon postavite blizu. Sama razdalja je na sestankih AMI več kot podvojila stopnjo napak.
- Hrup zmanjšajte pri viru. Zaprite okna, izklopite ventilatorje in ustavite glasbo.
- Izogibajte se prekrivanju glasov. En govorec naenkrat je boljši od katere koli nastavitve.
- Odstranite dolgo tišino in glasbene uvode, kjer se izmišljeno besedilo najpogosteje pojavi. Režite pri premorih, ne sredi stavka.
- Jezik nastavite sami. Whisper je pravilno določil jezik v 80.3% primerov med 82 jeziki Fleurs, zato se samodejno zaznavanje lahko zmoti pri kratkih izsekih ali naglasih.
- Uporabite največji razpoložljivi model, zlasti pri hrupnih posnetkih.
- Pri lastnem gostovanju v poziv vključite imena in izraze. Odprtokodni Whisper sprejme
--initial_prompts pričakovanim zapisom. - Naložite izvirno datoteko. Ponovno snemanje prek zvočnikov ali večkratno stiskanje zavrže podrobnosti.
- Preverite izraze. Poiščite vsako ime, številko, datum in kratico ter preverite po zvoku.
- Preglejte dvakrat. Najprej popravite napake pri običajni hitrosti. Nato poiščite znake halucinacij: ponavljajoče vrstice, stavke med tišino, zaključke kot »Hvala za ogled.« Pri pravnem, zdravstvenem ali objavljenem delu naj vse preveri človek.
Kako izmeriti natančnost Whisperja na lastnem zvoku
Najboljša ocena za vaše delo je 30-minutni preizkus lastnih posnetkov. Te korake izvedete sami; ne gre za test whispertranscribe.ai.
- Izberite tri 2-minutne izseke, podobne dejanskemu delu: enega lahkega, enega običajnega in enega zahtevnega.
- Ročno napišite referenčni prepis, besedo za besedo. Najprej določite pravila: ohraniti ali izpustiti »hm«, številke zapisati s številkami ali besedami.
- Prepišite vsak izsek s testiranim orodjem in shranite čisto besedilo.
- Normalizirajte obe besedili na enak način. Normalizator OpenAI je priložen
openai-whisper. - Izračunajte WER z jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Kritične napake štejte posebej. Pet napačnih mašil in pet napačnih imen strank daje enak WER, vendar ne gre za enako težavo.
- Zabeležite rezultate, da primerjate orodja ali nastavitve:
| Izsek | Pogoji | Besede v referenci | S | D | I | WER | Kritične napake |
|---|---|---|---|---|---|---|---|
| Izsek A | Mirna soba, en govorec | 310 | |||||
| Izsek B | Videoklic, dva govorca | 285 | |||||
| Izsek C | Kavarna, govorec z naglasom | 296 |
Število besed je zgolj primer. Opozorilo pri koraku 4: angleški normalizator lahko različne zapise števil in okrajšav različno obravnava. Preden zaupate rezultatu, preberite označene razlike.
Kako natančen je whispertranscribe.ai?
whispertranscribe.ai je spletno AI orodje za prepis, ki uporablja Whisper, podpira 130+ jezikov in nalaganje do 5GB ter 10 ur. Pri čistem zvoku dosega do 99% natančnost; hrup v ozadju, močni naglasi in prekrivanje glasov jo znižajo, kot kažejo zgornji testi za sam Whisper. Ne trdimo, da dosegamo ali presegamo številke raziskave, in nismo objavili lastnega primerjalnega testa, zato preizkusite svoje izseke z zgornjimi koraki.
- Možnosti Noise / Low-Quality Audio/Video v izboru številnih jezikov. Pri hrupni datoteki poskusite standardno in noise možnost ter primerjajte.
- 130+ jezikov, možnost Multilingual Mix in prevod zvoka v angleščino.
- Datoteke do 5GB in 10 ur, zaznavanje govorcev in časovne oznake (vse funkcije).
- Čist vhod: snemajte v brskalniku z bližnjim mikrofonom ali pretvorite video v MP3 in naložite samo zvok.
- Izvozi v DOCX, PDF, TXT, CSV, SRT in VTT ter generator podnapisov za časovane podnapise.
Lahko začnete brezplačno brez računa. Plačljivi paketi se začnejo pri $9.99/mesec ob letnem plačilu; glejte cenik.
Pogosta vprašanja
Je Whisper 99% natančen?
Ne na splošno. Najboljši objavljeni rezultat Whisperja je 2.5% stopnja besednih napak na LibriSpeech test-clean, zbirki jasno branih zvočnih knjig, kar je približno 97.5% pravilnih besed. Pri klicih, sestankih in hrupnih sobah se lastne številke OpenAI gibljejo od približno 13% do 40% WER. Trditev »99%« je smiselna samo, če navede zvok, na katerem je bila izmerjena. Orodja na osnovi Whisperja, tudi whispertranscribe.ai, presojajte po lastnih posnetkih, ne po naslovnem odstotku.
Kateri model Whisper je najnatančnejši?
Največji modeli so najnatančnejši. V raziskavi OpenAI je large-v2 dosegel najnižje stopnje napak v večini testnih zbirk, kartica large-v3 pa navaja 10% do 20% manj napak kot large-v2 v številnih jezikih. Turbo je optimizirani large-v3, ki po navedbah OpenAI izgubi le malo natančnosti v zameno za precej večjo hitrost. Najmanjši tiny je pri zahtevnem zvoku precej manj natančen: 48.0% WER na hrupni večerji proti 24.9% za large-v2.
Zakaj Whisper napiše besede, ki niso bile izrečene?
Whisper lahko halucinira, ker je poleg prepisa zvoka učen napovedovati verjetno besedilo, kartica modela OpenAI pa opozarja na možnost izhoda besedila, ki ga v zvoku ni. To se najpogosteje zgodi med dolgo tišino, glasbo ali hrupom. Neodvisna študija iz leta 2023 je izmišljene fraze našla v približno 1% prepisov, premori pa so jih naredili verjetnejše. Obrezovanje tišine, nastavitev jezika in pregled tihih delov prepisa zmanjšajo tveganje.
Kako natančen je Whisper pri naglasih?
Whisper naglase obvladuje bolje kot številni starejši sistemi, vendar ne enakomerno. Kartica modela OpenAI pravi, da se natančnost razlikuje med naglasi in narečji istega jezika. V raziskavi so dolgi intervjuji v afroameriški angleščini (CORAAL) dosegli 19.6% WER proti 3.5% pri celih predavanjih TED, čeprav se razlikujejo tudi pogoji snemanja. Zanesljiv pristop je preizkusiti izsek z govorci, podobnimi vašim dejanskim posnetkom, in pri močnih naglasih načrtovati več preverjanja.
Je Whisper enako natančen kot človeški prepisovalec?
Pri angleščini se približa, vendar najboljših ne doseže. OpenAI ga je primerjala s petimi poklicnimi službami na 25 posnetkih. Računalniško podprta služba je imela skupni WER 1.15 točke nižji kot Whisper, štiri povsem človeške službe pa so bile za delček točke boljše. Ljudje še vedno navadno bolje obvladajo imena, prekrivanje glasov in nejasen govor. Vse, kar se citira, vloži ali objavi, naj človek preveri po posnetku.
Kako natančen je Whisper v jezikih, ki niso angleščina?
Močno se razlikuje po jeziku. Na Fleurs je large-v2 dosegel 3.0% WER v španščini, 4.5% v nemščini in 8.3% v francoščini, vendar 27.1% v hebrejščini in 99.0% v telugujščini. Kitajščina in japonščina se ocenjujeta s stopnjo znakovnih napak: 14.7% in 5.3%. Raziskava je ugotovila povezavo med natančnostjo in količino učnega zvoka v posameznem jeziku. Pri jezikih z manj podatki najprej preizkusite kratek izsek in namenite več časa popravkom.
Preizkusite natančnost na lastnem posnetku
Primerjalni testi opisujejo zvok drugih ljudi. Naložite izsek v whispertranscribe.ai v katerem koli od 130+ jezikov in ga ocenite po korakih v tem vodniku. Začnite brezplačno brez računa ali primerjajte pakete.
Sorodni članki: Kaj je Whisper AI? · Najboljša brezplačna programska oprema za prepis · Najboljše alternative TurboScribe · Kako prepisati video z YouTuba · Kaj je datoteka SRT? · Trdi in mehki podnapisi
Viri
- Radford in sod., Robust Speech Recognition via Large-Scale Weak Supervision (raziskava Whisper, OpenAI, 2022): tabele 2, 9, 13 in 16 ter razdelki 3 do 6
- OpenAI, openai/whisper na GitHubu: tabela modelov README, opomba o turbo in graf WER po jezikih
- OpenAI in Hugging Face, kartica modela whisper-large-v3: spremembe large-v3, ocenjena uporaba in omejitve
- Koenecke in sod., Careless Whisper: Speech-to-Text Hallucination Harms (2024)
- jiwer: odprtokodna knjižnica za WER in CER
- Hugging Face, Open ASR Leaderboard: neodvisna, redno posodobljena primerjava odprtih govornih modelov
