Aký presný je Whisper AI? WER, skutočné limity a tipy (2026)

Redakcia whispertranscribe.ai · Aktualizované: november 2026 · Čítanie na 13 minút · Kategória: Presnosť prepisu

Aký presný je Whisper? Pri čistej čítanej angličtine uvádza práca OpenAI pre Whisper large-v2 mieru slovných chýb (WER) 2.5%, teda správnych je približne 97 až 98 slov zo 100. Náročnejší zvuk má horšie výsledky: 13.6% pri telefonátoch, 24.9% na hlučnej večeri a 39.9% na stretnutí nahranom jedným vzdialeným mikrofónom.

Whisper je open-source model rozpoznávania reči od OpenAI a poháňa mnoho prepisovacích aplikácií vrátane našej. Tento návod sa venuje iba presnosti: čo meria WER, čo hovoria benchmarky podľa typu audia a jazyka, kde Whisper zlyháva a ako ho môžete sami otestovať. Kontext modelu nájdete v článku čo je Whisper AI.

Väčšina údajov pochádza z práce o Whisper (Radford a kol., 2022), ktorá testovala každý model „zero-shot“, bez dolaďovania na testovacích súboroch. Novšia karta modelu large-v3 uvádza o 10% až 20% menej chýb než large-v2 v mnohých jazykoch, ale bez úplnej tabuľky podľa datasetov. Tento článok vydáva whispertranscribe.ai. Nevykonali sme preň benchmark a žiadne číslo nie je výsledkom nášho vlastného testu.

Presnosť Whisper na prvý pohľad

Žiadna testovacia množina neodpovie sama, pretože číslo najviac mení zvuk. Tabuľka uvádza výsledky OpenAI pre large-v2 s beam search a temperature fallback (príloha, tabuľka 9), vyhodnotené po normalizácii textu OpenAI.

Typ audia Testovacia množina v práci WER Whisper large-v2 Približný podiel správnych slov
Audiokniha, zreteľné čítanie LibriSpeech test-clean 2.5% Asi 97.5 zo 100
Čítané správy WSJ 2.6% Asi 97.4 zo 100
Prednášky TED TED-LIUM 3 3.7% Asi 96 zo 100
Audiokniha, náročnejší hovoriaci LibriSpeech test-other 4.9% Asi 95 zo 100
Dobrovoľníci na domácich mikrofónoch Common Voice 5.1 8.2% Asi 92 zo 100
Telefonické rozhovory Switchboard 13.6% Asi 86 zo 100
Dlhé sociolingvistické rozhovory CORAAL 14.2% Asi 86 zo 100
Telefonáty rodiny a priateľov CallHome 16.4% Asi 84 zo 100
Stretnutia, každý s náhlavným mikrofónom AMI IHM 17.4% Asi 83 zo 100
Večere, vzdialené mikrofóny CHiME-6 24.9% Asi 75 zo 100
Stretnutia, jeden vzdialený stolový mikrofón AMI SDM1 39.9% Asi 60 zo 100

„Podiel správnych slov“ je 100 mínus WER, iba približný výpočet, pretože WER počíta aj pridané slová.

Často uvidíte údaj 2.7%: ide o rovnaký model s jednoduchším greedy decoding (tabuľka 2 v práci). Riadky AMI sú tie isté stretnutia nahrané dvoma spôsobmi. Presunutie mikrofónu od hlavy každého hovoriaceho do stredu stola viac než zdvojnásobuje chybovosť.

Čo je word error rate (WER) a ako sa počíta?

Word error rate je podiel chybných slov v prepise v porovnaní s referenčným textom skontrolovaným človekom. Spočítajte tri druhy chýb a vydeľte počtom slov v referencii:

WER = (zámeny + vynechania + vloženia) ÷ slová v referencii

  • Zámena: nesprávne slovo namiesto správneho („obed“ namiesto „odber“).
  • Vynechanie: vyslovené slovo v prepise chýba.
  • Vloženie: slovo v prepise nikto nepovedal.

Tu je nami vytvorený príklad vyhodnotený open-source knižnicou jiwer:

Riadok Text
Referencia (22 slov) presunuli sme uvedenie produktu na deviateho marca pretože dodávateľ nestihol dva termíny a doktor novák žiada nový plán testovania pred ďalšou poradou
Prepis presunuli sme uvedenie projektu na deviateho marca pretože dodávateľ nestihol termíny a doktor novák žiada nový plán skúšania pred ďalšou poradou dnes
Chyby 2 zámeny (projektu, skúšania), 1 vynechanie (dva), 1 vloženie (dnes)
WER 4 ÷ 22 = 18.2%

Pri WER ľudí zaskočia tri veci:

  1. Môže presiahnuť 100%. Vloženia nemajú strop a niektoré jazyky s malým množstvom dát vo výsledkoch Fleurs v práci majú viac než 100%.
  2. Normalizácia mení výsledok. „Dr.“ a „doktor“ sa počítajú ako chyba, ak oba texty neupravíte rovnako. OpenAI uvádza, že normalizátor znížil WER v niektorých datasetoch až o 50%, najmä odstránením rozdielov vo formátovaní.
  3. Niektoré jazyky používajú mieru chybovosti znakov (CER). Pri čínštine, japončine, thajčine, laoštine a barmčine, ktoré neoddeľujú slová medzerami, práca hodnotí znaky.

Tvrdenie o presnosti bez uvedenej testovacej množiny a metódy hodnotenia nie je meraním, nech ho vysloví ktokoľvek vrátane nás.

Aký presný je Whisper v angličtine?

Pri čistej angličtine je Whisper veľmi presný a použiteľný zostáva aj pri náročnejšej. V práci urobil v 12 ďalších anglických datasetoch o 55.2% menej chýb než model wav2vec 2.0 s dohľadom a takmer rovnakým skóre LibriSpeech.

Dlhé nahrávky

Whisper číta zvuk v 30-sekundových oknách, preto práca testovala dlhé súbory samostatne (príloha, tabuľka 16, large-v2):

Testovacia množina dlhých nahrávok Obsah WER
TED-LIUM 3 11 úplných prednášok TED 3.5%
Meanwhile 64 nočných televíznych segmentov s množstvom nezvyčajných slov 5.1%
Kincaid46 46 zmiešaných nahrávok z porovnania z roku 2018 8.8%
Earnings-21 Hovory o firemných výsledkoch 9.7%
Rev16 16 epizód podcastu 11.3%
Earnings-22 Ďalšie hovory o výsledkoch, mnoho prízvukov 12.6%
CORAAL 231 úplných rozhovorov v afroamerickej angličtine 19.6%

Whisper verzus ľudskí prepisovatelia

OpenAI dala 25 nahrávok Kincaid46 prepísať štyrom ľudským službám a jednej počítačom podporovanej službe. Počítačom podporovaná služba dosiahla výsledok lepší o 1.15 percentuálneho bodu než Whisper a čisto ľudské služby iba o zlomok bodu. Záver práce: presnosť nie je dokonalá, ale je veľmi blízko ľudskej úrovni.

Záleží na veľkosti modelu

Whisper má viacero veľkostí a aplikácie nie vždy uvádzajú, ktorú používajú (príloha, tabuľka 9):

Model Parametre LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

Rozdiel rastie s náročnosťou audia: asi 4 body pri čistých audioknihách a 23 bodov na večeri. Novší model turbo, optimalizovaný large-v3, podľa GitHub README od OpenAI prijíma minimálne zníženie presnosti výmenou za oveľa rýchlejší prepis.

Aký presný je Whisper v iných jazykoch?

Mimo angličtiny závisí presnosť najmä od množstva tréningového audia v danom jazyku. Práca zistila druhú mocninu korelácie 0.83 medzi logaritmom tréningových hodín a logaritmom WER a odhaduje zníženie WER na polovicu pri každom 16-násobnom zvýšení dát. Väčšina z 96 neanglických jazykov mala menej než 1,000 hodín.

Vybrané výsledky Fleurs (čítané vety, large-v2, príloha, tabuľka 13):

Jazyk WER Fleurs Poznámka
Španielčina 3.0% Najnižšia v tabuľke
Angličtina 4.2%
Portugalčina 4.3%
Nemčina 4.5%
Japončina 5.3% Miera chybovosti znakov
Ruština 5.6%
Francúzština 8.3%
Kórejčina 14.3% Označená ako odľahlá hodnota
Čínština 14.7% Miera chybovosti znakov
Arabčina 16.0%
Hindčina 21.5%
Hebrejčina 27.1% Označená ako odľahlá hodnota
Svahilčina 39.3%
Telugčina 99.0% Označená ako odľahlá hodnota

Práca upozorňuje, že hebrejčina, telugčina, čínština a kórejčina dopadli horšie, než predpovedali tréningové dáta, možno pre jazykovú vzdialenosť, tokenizér zle prispôsobený písmu alebo kvalitu dát. Fleurs obsahuje čítanú reč, preto pri rozhovore očakávajte viac chýb. README obsahuje novší graf pre large-v3 a large-v2 na Common Voice 15 a Fleurs.

Výsledky španielčiny sú povzbudivé, ak prepisujete španielsky zvuk na text. Pri jazykoch s menším množstvom dát otestujte krátky úryvok pred celým projektom.

Čo ovplyvňuje presnosť Whisper?

Podmienky nahrávania sú najdôležitejšie. Dôkazy z práce a karty modelu:

Faktor Čo ukazujú dôkazy Čo urobiť
Hluk na pozadí Pri hluku v krčme s pomerom signálu k šumu pod 10 dB Whisper prekonal všetkých 14 porovnávaných modelov, ale všetky sa so silnejším hlukom zhoršovali Nahrávajte v tichej miestnosti, mimo ventilátorov a hudby
Vzdialenosť mikrofónu Rovnaké stretnutia AMI: 17.4% s náhlavnými mikrofónmi, 39.9% s jedným stolovým Mikrofón držte blízko hovoriaceho
Rozhovor a prekrývanie hlasov Telefonáty a večere dosahujú 13.6% až 24.9% oproti 2.5% pri čítanej reči Hovorte po jednom; jeden mikrofón na osobu
Prízvuky a nárečia Karta modelu uvádza nerovnomernú presnosť; dlhé rozhovory CORAAL dosiahli 19.6% Testujte s ľuďmi, ktorí znejú ako vaši skutoční hovoriaci
Zriedkavé slová a odborné výrazy Dobrý výsledok na množine Meanwhile plnej odborných výrazov (5.1%), mená a technické pojmy však zostávajú častými chybami Skontrolujte mená a pojmy podľa zoznamu
Jazykové zdroje WER Fleurs sa pohybuje od 3.0% (španielčina) po 99.0% (telugčina) Jazyk vyberte sami; pri jazykoch s menším množstvom dát plánujte viac kontroly
Veľkosť modelu tiny dosahuje 48.0% na CHiME-6, large-v2 24.9% Zistite, aký model nástroj používa, alebo použite najväčší dostupný
Formát súboru a vzorkovacia frekvencia Kód Whisper prevzorkuje všetok zvuk na 16 kHz mono 48 kHz WAV neprinesie oproti čistému 16 kHz súboru výhodu

Konverzia MP3 na veľký WAV neobnoví stratené detaily. Čistá nahrávka so stredným dátovým tokom prekoná hlučnú s vysokým tokom.

Známe problémy Whisper: halucinácie, opakovanie a časové značky

OpenAI dokumentuje každé z týchto zlyhaní, ktorých význam je väčší, než naznačuje ich podiel vo WER.

Vymyslený text

Whisper môže napísať slová, ktoré nikto nepovedal. Karta modelu uvádza, že predpovede môžu obsahovať text, ktorý v audiu nezaznel, pravdepodobne preto, že model predpovedá aj pravdepodobné ďalšie slová. Časť práce o obmedzeniach dokonca spomína úplnú halucináciu, teda výstup nesúvisiaci s audiom.

Nezávislá štúdia Careless Whisper (Koenecke a kol., 2024) spracovala v apríli a máji 2023 cez Whisper API od OpenAI 13,140 zvukových segmentov. Asi 1% prepisov (priemerne 1.4%) obsahovalo celé vymyslené frázy alebo vety a 38% z nich obsahovalo škodlivý obsah, ako násilie alebo falošné súvislosti. Častejšie ich vyvolali hovoriaci s dlhšími pauzami, v tomto prípade ľudia s afáziou. API sa odvtedy zmenilo, preto výsledok považujte za meranie z roku 2023.

Opakovacie slučky a vynechané slová

Karta modelu uvádza sklon Whisper k opakovanému textu, ktorý beam search a plánovanie teploty znižujú, ale nie dokonale. Práca uvádza aj preskakovanie prvých alebo posledných slov segmentu. Úpravy dekódovania znížili priemerný WER dlhých nahrávok z 11.0% na 10.0%: zlepšenie, nie úplné riešenie.

Ticho, hudba a výplňové slová

Vymyslený text sa zvykne objavovať počas dlhého ticha a hudby. Práca zistila, že samotný signál „no speech“ od Whisper nie je spoľahlivý, a open-source kód má teraz možnosť preskočiť dlhé ticho pri pravdepodobnej halucinácii.

Posun časových značiek a dlhé súbory

Whisper spracúva dlhý zvuk po 30-sekundových oknách a na umiestnenie ďalšieho používa vlastné predpovedané časové značky, takže podľa práce sa chyba v jednom okne môže preniesť do ďalšieho. Časové značky jednotlivých slov sú v kóde označené ako „experimentálne“. Pri titulkoch priebežne kontrolujte časovanie okolo pauz.

Počas vývoja OpenAI tiež videla, že Whisper háda mená hovoriacich takmer vždy nesprávne. Vydané modely boli doladené na obmedzenie tohto javu, napriek tomu každé meno v texte skontrolujte.

10 spôsobov, ako zlepšiť presnosť prepisu Whisper

Väčšina zlepšení vzniká ešte pred spustením prepisu. Približne od najväčšieho účinku po najmenší:

  1. Umiestnite mikrofón blízko. Samotná vzdialenosť viac než zdvojnásobila chybovosť na stretnutiach AMI.
  2. Odstráňte hluk pri zdroji. Zatvorte okná, vypnite ventilátory, zastavte hudbu.
  3. Vyhnite sa prekrývaniu hlasov. Jeden hovoriaci naraz je lepší než akékoľvek nastavenie.
  4. Odstrihnite dlhé ticho a hudobné úvody, kde sa vymyslený text objavuje najčastejšie. Strihajte v pauzách, nie uprostred vety.
  5. Nastavte jazyk sami. Whisper správne určil jazyk v 80.3% prípadov naprieč 82 jazykmi Fleurs, takže automatická detekcia môže pri krátkych úryvkoch alebo prízvuku zlyhať.
  6. Použite najväčší dostupný model, najmä pri hlučných nahrávkach.
  7. Pri vlastnom hostovaní zadajte mená a pojmy v prompte. Open-source Whisper prijíma --initial_prompt s očakávaným pravopisom.
  8. Nahrajte pôvodný súbor. Opätovné nahrávanie cez reproduktory alebo opakovaná kompresia odstraňujú detaily.
  9. Skontrolujte pojmy. Vyhľadajte každé meno, číslo, dátum a skratku a overte ich podľa audia.
  10. Kontrolujte v dvoch prechodoch. Najprv opravte chyby pri normálnej rýchlosti. Potom hľadajte známky halucinácií: opakované riadky, vety počas ticha, rozlúčky ako „Ďakujeme za sledovanie.“ Pri právnej, zdravotnej alebo publikovanej práci nech všetko skontroluje človek.

Ako zmerať presnosť Whisper na vlastnom audiu

Najlepší odhad pre vašu prácu je 30-minútový test vlastných nahrávok. Tieto kroky sú určené vám; nejde o test whispertranscribe.ai.

  1. Vyberte tri 2-minútové úryvky podobné vašej skutočnej práci: jeden ľahký, jeden typický, jeden ťažký.
  2. Ručne napíšte referenčný prepis, slovo za slovom. Najprv stanovte pravidlá: ponechať alebo vynechať „ehm“, čísla písať číslicami alebo slovami.
  3. Prepíšte každý úryvok testovaným nástrojom a uložte čistý text.
  4. Normalizujte oba texty rovnakým spôsobom. Normalizátor OpenAI sa dodáva s openai-whisper.
  5. Vypočítajte WER pomocou jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Kritické chyby počítajte osobitne. Päť nesprávnych výplňových slov a päť nesprávnych mien klientov dáva rovnaký WER, nejde však o rovnaký problém.
  2. Zaznamenajte výsledky, aby ste mohli porovnať nástroje alebo nastavenia:
Úryvok Podmienky Slová v referencii S D I WER Kritické chyby
Úryvok A Tichá miestnosť, jeden hovoriaci 310
Úryvok B Videohovor, dvaja hovoriaci 285
Úryvok C Kaviareň, hovoriaci s prízvukom 296

Počty slov sú príklady. Upozornenie ku kroku 4: anglický normalizátor môže rozdielne podoby čísel či skratiek posúdiť rôzne. Skôr než výsledku uveríte, prečítajte označené rozdiely.

Aký presný je whispertranscribe.ai?

whispertranscribe.ai je webový AI nástroj na prepis poháňaný Whisper, ktorý podporuje 130+ jazykov a súbory do 5GB a 10 hodín. Pri čistom zvuku dosahuje presnosť až 99%; hluk na pozadí, silné prízvuky a prekrývanie hlasov ju znižujú, ako ukazujú vyššie uvedené benchmarky samotného Whisper. Netvrdíme, že dosahujeme alebo prekonávame čísla z práce, a vlastný benchmark sme nezverejnili, preto otestujte vlastné úryvky podľa uvedených krokov.

Môžete začať zadarmo bez účtu. Platené plány začínajú od $9.99/mesiac pri ročnej platbe; pozrite cenník.

Často kladené otázky

Má Whisper presnosť 99%?

Nie všeobecne. Najlepší zverejnený výsledok Whisper je 2.5% miera slovných chýb na LibriSpeech test-clean, množine zreteľne čítaných audiokníh, čo znamená asi 97.5% správnych slov. Pri telefonátoch, stretnutiach a hlučných miestnostiach sa vlastné čísla OpenAI pohybujú približne od 13% do 40% WER. Tvrdenie „99%“ má význam iba vtedy, ak uvádza audio, na ktorom sa meralo. Nástroje postavené na Whisper vrátane whispertranscribe.ai treba posudzovať podľa vašich nahrávok, nie titulkového percenta.

Ktorý model Whisper je najpresnejší?

Najpresnejšie sú veľké modely. V práci OpenAI mal large-v2 najnižšiu chybovosť na väčšine testovacích množín a karta large-v3 uvádza o 10% až 20% menej chýb než large-v2 v mnohých jazykoch. Model turbo je optimalizovaný large-v3, ktorý podľa OpenAI stráca len málo presnosti výmenou za oveľa vyššiu rýchlosť. Najmenší tiny je pri náročnom audiu oveľa menej presný: 48.0% WER na hlučnej večeri oproti 24.9% pre large-v2.

Prečo Whisper píše slová, ktoré nikto nepovedal?

Whisper môže halucinovať, pretože je trénovaný predpovedať pravdepodobný text aj prepisovať zvuk, a karta modelu OpenAI upozorňuje na možný výstup textu, ktorý v audiu nie je. Najčastejšie sa to deje počas dlhého ticha, hudby alebo hluku. Nezávislá štúdia z roku 2023 našla vymyslené frázy asi v 1% prepisov a pauzy ich robili pravdepodobnejšími. Odstrihnutie ticha, nastavenie jazyka a kontrola tichých častí prepisu riziko znižujú.

Aký presný je Whisper pri prízvukoch?

Whisper zvláda prízvuky lepšie než mnohé staršie systémy, no nie rovnomerne. Karta modelu OpenAI uvádza, že presnosť sa líši medzi prízvukmi a nárečiami toho istého jazyka. V práci dosiahli dlhé rozhovory v afroamerickej angličtine (CORAAL) WER 19.6% oproti 3.5% pri úplných prednáškach TED, hoci sa líšia aj podmienky nahrávania. Spoľahlivý postup je otestovať úryvok s hovoriacimi podobnými skutočným nahrávkam a pri silných prízvukoch plánovať viac kontroly.

Je Whisper rovnako presný ako ľudský prepisovateľ?

V angličtine sa približuje, ale najlepších nedosahuje. OpenAI ho porovnala s piatimi profesionálnymi službami na 25 nahrávkach. Počítačom podporovaná služba mala celkový WER o 1.15 bodu nižší než Whisper a štyri čisto ľudské služby boli o zlomok bodu lepšie. Ľudia stále spravidla lepšie zvládajú mená, prekrývanie hlasov a nejasnú reč. Všetko, čo sa cituje, zakladá alebo publikuje, by mal človek skontrolovať podľa nahrávky.

Aký presný je Whisper v iných jazykoch než angličtina?

Výsledok sa výrazne líši podľa jazyka. V benchmarku Fleurs dosiahol large-v2 WER 3.0% v španielčine, 4.5% v nemčine a 8.3% vo francúzštine, ale 27.1% v hebrejčine a 99.0% v telugčine. Čínština a japončina sa hodnotia mierou chybovosti znakov: 14.7% a 5.3%. Práca zistila súvislosť presnosti s množstvom tréningového audia v jazyku. Pri jazykoch s menším množstvom dát najprv otestujte krátky úryvok a vyhraďte viac času na opravy.

Otestujte presnosť na vlastnej nahrávke

Benchmarky opisujú cudzie audio. Nahrajte úryvok do whispertranscribe.ai v ktoromkoľvek zo 130+ jazykov a vyhodnoťte ho podľa krokov v tomto návode. Začnite zadarmo bez účtu, alebo porovnajte plány.

Súvisiace články: Čo je Whisper AI? · Najlepší bezplatný softvér na prepis · Najlepšie alternatívy TurboScribe · Ako prepísať YouTube video · Čo je súbor SRT? · Pevné verzus mäkké titulky

Zdroje

Chcete previesť svoje nahrávky na text?

Prepisujte zvuk a video pomocou whispertranscribe.ai.

Začať s prepisom ↗