Redakcia whispertranscribe.ai · Aktualizované: november 2026 · Čítanie na 13 minút · Kategória: Presnosť prepisu
Aký presný je Whisper? Pri čistej čítanej angličtine uvádza práca OpenAI pre Whisper large-v2 mieru slovných chýb (WER) 2.5%, teda správnych je približne 97 až 98 slov zo 100. Náročnejší zvuk má horšie výsledky: 13.6% pri telefonátoch, 24.9% na hlučnej večeri a 39.9% na stretnutí nahranom jedným vzdialeným mikrofónom.
Whisper je open-source model rozpoznávania reči od OpenAI a poháňa mnoho prepisovacích aplikácií vrátane našej. Tento návod sa venuje iba presnosti: čo meria WER, čo hovoria benchmarky podľa typu audia a jazyka, kde Whisper zlyháva a ako ho môžete sami otestovať. Kontext modelu nájdete v článku čo je Whisper AI.
Väčšina údajov pochádza z práce o Whisper (Radford a kol., 2022), ktorá testovala každý model „zero-shot“, bez dolaďovania na testovacích súboroch. Novšia karta modelu large-v3 uvádza o 10% až 20% menej chýb než large-v2 v mnohých jazykoch, ale bez úplnej tabuľky podľa datasetov. Tento článok vydáva whispertranscribe.ai. Nevykonali sme preň benchmark a žiadne číslo nie je výsledkom nášho vlastného testu.
Presnosť Whisper na prvý pohľad
Žiadna testovacia množina neodpovie sama, pretože číslo najviac mení zvuk. Tabuľka uvádza výsledky OpenAI pre large-v2 s beam search a temperature fallback (príloha, tabuľka 9), vyhodnotené po normalizácii textu OpenAI.
| Typ audia | Testovacia množina v práci | WER Whisper large-v2 | Približný podiel správnych slov |
|---|---|---|---|
| Audiokniha, zreteľné čítanie | LibriSpeech test-clean | 2.5% | Asi 97.5 zo 100 |
| Čítané správy | WSJ | 2.6% | Asi 97.4 zo 100 |
| Prednášky TED | TED-LIUM 3 | 3.7% | Asi 96 zo 100 |
| Audiokniha, náročnejší hovoriaci | LibriSpeech test-other | 4.9% | Asi 95 zo 100 |
| Dobrovoľníci na domácich mikrofónoch | Common Voice 5.1 | 8.2% | Asi 92 zo 100 |
| Telefonické rozhovory | Switchboard | 13.6% | Asi 86 zo 100 |
| Dlhé sociolingvistické rozhovory | CORAAL | 14.2% | Asi 86 zo 100 |
| Telefonáty rodiny a priateľov | CallHome | 16.4% | Asi 84 zo 100 |
| Stretnutia, každý s náhlavným mikrofónom | AMI IHM | 17.4% | Asi 83 zo 100 |
| Večere, vzdialené mikrofóny | CHiME-6 | 24.9% | Asi 75 zo 100 |
| Stretnutia, jeden vzdialený stolový mikrofón | AMI SDM1 | 39.9% | Asi 60 zo 100 |
„Podiel správnych slov“ je 100 mínus WER, iba približný výpočet, pretože WER počíta aj pridané slová.
Často uvidíte údaj 2.7%: ide o rovnaký model s jednoduchším greedy decoding (tabuľka 2 v práci). Riadky AMI sú tie isté stretnutia nahrané dvoma spôsobmi. Presunutie mikrofónu od hlavy každého hovoriaceho do stredu stola viac než zdvojnásobuje chybovosť.
Čo je word error rate (WER) a ako sa počíta?
Word error rate je podiel chybných slov v prepise v porovnaní s referenčným textom skontrolovaným človekom. Spočítajte tri druhy chýb a vydeľte počtom slov v referencii:
WER = (zámeny + vynechania + vloženia) ÷ slová v referencii
- Zámena: nesprávne slovo namiesto správneho („obed“ namiesto „odber“).
- Vynechanie: vyslovené slovo v prepise chýba.
- Vloženie: slovo v prepise nikto nepovedal.
Tu je nami vytvorený príklad vyhodnotený open-source knižnicou jiwer:
| Riadok | Text |
|---|---|
| Referencia (22 slov) | presunuli sme uvedenie produktu na deviateho marca pretože dodávateľ nestihol dva termíny a doktor novák žiada nový plán testovania pred ďalšou poradou |
| Prepis | presunuli sme uvedenie projektu na deviateho marca pretože dodávateľ nestihol termíny a doktor novák žiada nový plán skúšania pred ďalšou poradou dnes |
| Chyby | 2 zámeny (projektu, skúšania), 1 vynechanie (dva), 1 vloženie (dnes) |
| WER | 4 ÷ 22 = 18.2% |
Pri WER ľudí zaskočia tri veci:
- Môže presiahnuť 100%. Vloženia nemajú strop a niektoré jazyky s malým množstvom dát vo výsledkoch Fleurs v práci majú viac než 100%.
- Normalizácia mení výsledok. „Dr.“ a „doktor“ sa počítajú ako chyba, ak oba texty neupravíte rovnako. OpenAI uvádza, že normalizátor znížil WER v niektorých datasetoch až o 50%, najmä odstránením rozdielov vo formátovaní.
- Niektoré jazyky používajú mieru chybovosti znakov (CER). Pri čínštine, japončine, thajčine, laoštine a barmčine, ktoré neoddeľujú slová medzerami, práca hodnotí znaky.
Tvrdenie o presnosti bez uvedenej testovacej množiny a metódy hodnotenia nie je meraním, nech ho vysloví ktokoľvek vrátane nás.
Aký presný je Whisper v angličtine?
Pri čistej angličtine je Whisper veľmi presný a použiteľný zostáva aj pri náročnejšej. V práci urobil v 12 ďalších anglických datasetoch o 55.2% menej chýb než model wav2vec 2.0 s dohľadom a takmer rovnakým skóre LibriSpeech.
Dlhé nahrávky
Whisper číta zvuk v 30-sekundových oknách, preto práca testovala dlhé súbory samostatne (príloha, tabuľka 16, large-v2):
| Testovacia množina dlhých nahrávok | Obsah | WER |
|---|---|---|
| TED-LIUM 3 | 11 úplných prednášok TED | 3.5% |
| Meanwhile | 64 nočných televíznych segmentov s množstvom nezvyčajných slov | 5.1% |
| Kincaid46 | 46 zmiešaných nahrávok z porovnania z roku 2018 | 8.8% |
| Earnings-21 | Hovory o firemných výsledkoch | 9.7% |
| Rev16 | 16 epizód podcastu | 11.3% |
| Earnings-22 | Ďalšie hovory o výsledkoch, mnoho prízvukov | 12.6% |
| CORAAL | 231 úplných rozhovorov v afroamerickej angličtine | 19.6% |
Whisper verzus ľudskí prepisovatelia
OpenAI dala 25 nahrávok Kincaid46 prepísať štyrom ľudským službám a jednej počítačom podporovanej službe. Počítačom podporovaná služba dosiahla výsledok lepší o 1.15 percentuálneho bodu než Whisper a čisto ľudské služby iba o zlomok bodu. Záver práce: presnosť nie je dokonalá, ale je veľmi blízko ľudskej úrovni.
Záleží na veľkosti modelu
Whisper má viacero veľkostí a aplikácie nie vždy uvádzajú, ktorú používajú (príloha, tabuľka 9):
| Model | Parametre | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
Rozdiel rastie s náročnosťou audia: asi 4 body pri čistých audioknihách a 23 bodov na večeri. Novší model turbo, optimalizovaný large-v3, podľa GitHub README od OpenAI prijíma minimálne zníženie presnosti výmenou za oveľa rýchlejší prepis.
Aký presný je Whisper v iných jazykoch?
Mimo angličtiny závisí presnosť najmä od množstva tréningového audia v danom jazyku. Práca zistila druhú mocninu korelácie 0.83 medzi logaritmom tréningových hodín a logaritmom WER a odhaduje zníženie WER na polovicu pri každom 16-násobnom zvýšení dát. Väčšina z 96 neanglických jazykov mala menej než 1,000 hodín.
Vybrané výsledky Fleurs (čítané vety, large-v2, príloha, tabuľka 13):
| Jazyk | WER Fleurs | Poznámka |
|---|---|---|
| Španielčina | 3.0% | Najnižšia v tabuľke |
| Angličtina | 4.2% | |
| Portugalčina | 4.3% | |
| Nemčina | 4.5% | |
| Japončina | 5.3% | Miera chybovosti znakov |
| Ruština | 5.6% | |
| Francúzština | 8.3% | |
| Kórejčina | 14.3% | Označená ako odľahlá hodnota |
| Čínština | 14.7% | Miera chybovosti znakov |
| Arabčina | 16.0% | |
| Hindčina | 21.5% | |
| Hebrejčina | 27.1% | Označená ako odľahlá hodnota |
| Svahilčina | 39.3% | |
| Telugčina | 99.0% | Označená ako odľahlá hodnota |
Práca upozorňuje, že hebrejčina, telugčina, čínština a kórejčina dopadli horšie, než predpovedali tréningové dáta, možno pre jazykovú vzdialenosť, tokenizér zle prispôsobený písmu alebo kvalitu dát. Fleurs obsahuje čítanú reč, preto pri rozhovore očakávajte viac chýb. README obsahuje novší graf pre large-v3 a large-v2 na Common Voice 15 a Fleurs.
Výsledky španielčiny sú povzbudivé, ak prepisujete španielsky zvuk na text. Pri jazykoch s menším množstvom dát otestujte krátky úryvok pred celým projektom.
Čo ovplyvňuje presnosť Whisper?
Podmienky nahrávania sú najdôležitejšie. Dôkazy z práce a karty modelu:
| Faktor | Čo ukazujú dôkazy | Čo urobiť |
|---|---|---|
| Hluk na pozadí | Pri hluku v krčme s pomerom signálu k šumu pod 10 dB Whisper prekonal všetkých 14 porovnávaných modelov, ale všetky sa so silnejším hlukom zhoršovali | Nahrávajte v tichej miestnosti, mimo ventilátorov a hudby |
| Vzdialenosť mikrofónu | Rovnaké stretnutia AMI: 17.4% s náhlavnými mikrofónmi, 39.9% s jedným stolovým | Mikrofón držte blízko hovoriaceho |
| Rozhovor a prekrývanie hlasov | Telefonáty a večere dosahujú 13.6% až 24.9% oproti 2.5% pri čítanej reči | Hovorte po jednom; jeden mikrofón na osobu |
| Prízvuky a nárečia | Karta modelu uvádza nerovnomernú presnosť; dlhé rozhovory CORAAL dosiahli 19.6% | Testujte s ľuďmi, ktorí znejú ako vaši skutoční hovoriaci |
| Zriedkavé slová a odborné výrazy | Dobrý výsledok na množine Meanwhile plnej odborných výrazov (5.1%), mená a technické pojmy však zostávajú častými chybami | Skontrolujte mená a pojmy podľa zoznamu |
| Jazykové zdroje | WER Fleurs sa pohybuje od 3.0% (španielčina) po 99.0% (telugčina) | Jazyk vyberte sami; pri jazykoch s menším množstvom dát plánujte viac kontroly |
| Veľkosť modelu | tiny dosahuje 48.0% na CHiME-6, large-v2 24.9% | Zistite, aký model nástroj používa, alebo použite najväčší dostupný |
| Formát súboru a vzorkovacia frekvencia | Kód Whisper prevzorkuje všetok zvuk na 16 kHz mono | 48 kHz WAV neprinesie oproti čistému 16 kHz súboru výhodu |
Konverzia MP3 na veľký WAV neobnoví stratené detaily. Čistá nahrávka so stredným dátovým tokom prekoná hlučnú s vysokým tokom.
Známe problémy Whisper: halucinácie, opakovanie a časové značky
OpenAI dokumentuje každé z týchto zlyhaní, ktorých význam je väčší, než naznačuje ich podiel vo WER.
Vymyslený text
Whisper môže napísať slová, ktoré nikto nepovedal. Karta modelu uvádza, že predpovede môžu obsahovať text, ktorý v audiu nezaznel, pravdepodobne preto, že model predpovedá aj pravdepodobné ďalšie slová. Časť práce o obmedzeniach dokonca spomína úplnú halucináciu, teda výstup nesúvisiaci s audiom.
Nezávislá štúdia Careless Whisper (Koenecke a kol., 2024) spracovala v apríli a máji 2023 cez Whisper API od OpenAI 13,140 zvukových segmentov. Asi 1% prepisov (priemerne 1.4%) obsahovalo celé vymyslené frázy alebo vety a 38% z nich obsahovalo škodlivý obsah, ako násilie alebo falošné súvislosti. Častejšie ich vyvolali hovoriaci s dlhšími pauzami, v tomto prípade ľudia s afáziou. API sa odvtedy zmenilo, preto výsledok považujte za meranie z roku 2023.
Opakovacie slučky a vynechané slová
Karta modelu uvádza sklon Whisper k opakovanému textu, ktorý beam search a plánovanie teploty znižujú, ale nie dokonale. Práca uvádza aj preskakovanie prvých alebo posledných slov segmentu. Úpravy dekódovania znížili priemerný WER dlhých nahrávok z 11.0% na 10.0%: zlepšenie, nie úplné riešenie.
Ticho, hudba a výplňové slová
Vymyslený text sa zvykne objavovať počas dlhého ticha a hudby. Práca zistila, že samotný signál „no speech“ od Whisper nie je spoľahlivý, a open-source kód má teraz možnosť preskočiť dlhé ticho pri pravdepodobnej halucinácii.
Posun časových značiek a dlhé súbory
Whisper spracúva dlhý zvuk po 30-sekundových oknách a na umiestnenie ďalšieho používa vlastné predpovedané časové značky, takže podľa práce sa chyba v jednom okne môže preniesť do ďalšieho. Časové značky jednotlivých slov sú v kóde označené ako „experimentálne“. Pri titulkoch priebežne kontrolujte časovanie okolo pauz.
Počas vývoja OpenAI tiež videla, že Whisper háda mená hovoriacich takmer vždy nesprávne. Vydané modely boli doladené na obmedzenie tohto javu, napriek tomu každé meno v texte skontrolujte.
10 spôsobov, ako zlepšiť presnosť prepisu Whisper
Väčšina zlepšení vzniká ešte pred spustením prepisu. Približne od najväčšieho účinku po najmenší:
- Umiestnite mikrofón blízko. Samotná vzdialenosť viac než zdvojnásobila chybovosť na stretnutiach AMI.
- Odstráňte hluk pri zdroji. Zatvorte okná, vypnite ventilátory, zastavte hudbu.
- Vyhnite sa prekrývaniu hlasov. Jeden hovoriaci naraz je lepší než akékoľvek nastavenie.
- Odstrihnite dlhé ticho a hudobné úvody, kde sa vymyslený text objavuje najčastejšie. Strihajte v pauzách, nie uprostred vety.
- Nastavte jazyk sami. Whisper správne určil jazyk v 80.3% prípadov naprieč 82 jazykmi Fleurs, takže automatická detekcia môže pri krátkych úryvkoch alebo prízvuku zlyhať.
- Použite najväčší dostupný model, najmä pri hlučných nahrávkach.
- Pri vlastnom hostovaní zadajte mená a pojmy v prompte. Open-source Whisper prijíma
--initial_prompts očakávaným pravopisom. - Nahrajte pôvodný súbor. Opätovné nahrávanie cez reproduktory alebo opakovaná kompresia odstraňujú detaily.
- Skontrolujte pojmy. Vyhľadajte každé meno, číslo, dátum a skratku a overte ich podľa audia.
- Kontrolujte v dvoch prechodoch. Najprv opravte chyby pri normálnej rýchlosti. Potom hľadajte známky halucinácií: opakované riadky, vety počas ticha, rozlúčky ako „Ďakujeme za sledovanie.“ Pri právnej, zdravotnej alebo publikovanej práci nech všetko skontroluje človek.
Ako zmerať presnosť Whisper na vlastnom audiu
Najlepší odhad pre vašu prácu je 30-minútový test vlastných nahrávok. Tieto kroky sú určené vám; nejde o test whispertranscribe.ai.
- Vyberte tri 2-minútové úryvky podobné vašej skutočnej práci: jeden ľahký, jeden typický, jeden ťažký.
- Ručne napíšte referenčný prepis, slovo za slovom. Najprv stanovte pravidlá: ponechať alebo vynechať „ehm“, čísla písať číslicami alebo slovami.
- Prepíšte každý úryvok testovaným nástrojom a uložte čistý text.
- Normalizujte oba texty rovnakým spôsobom. Normalizátor OpenAI sa dodáva s
openai-whisper. - Vypočítajte WER pomocou jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Kritické chyby počítajte osobitne. Päť nesprávnych výplňových slov a päť nesprávnych mien klientov dáva rovnaký WER, nejde však o rovnaký problém.
- Zaznamenajte výsledky, aby ste mohli porovnať nástroje alebo nastavenia:
| Úryvok | Podmienky | Slová v referencii | S | D | I | WER | Kritické chyby |
|---|---|---|---|---|---|---|---|
| Úryvok A | Tichá miestnosť, jeden hovoriaci | 310 | |||||
| Úryvok B | Videohovor, dvaja hovoriaci | 285 | |||||
| Úryvok C | Kaviareň, hovoriaci s prízvukom | 296 |
Počty slov sú príklady. Upozornenie ku kroku 4: anglický normalizátor môže rozdielne podoby čísel či skratiek posúdiť rôzne. Skôr než výsledku uveríte, prečítajte označené rozdiely.
Aký presný je whispertranscribe.ai?
whispertranscribe.ai je webový AI nástroj na prepis poháňaný Whisper, ktorý podporuje 130+ jazykov a súbory do 5GB a 10 hodín. Pri čistom zvuku dosahuje presnosť až 99%; hluk na pozadí, silné prízvuky a prekrývanie hlasov ju znižujú, ako ukazujú vyššie uvedené benchmarky samotného Whisper. Netvrdíme, že dosahujeme alebo prekonávame čísla z práce, a vlastný benchmark sme nezverejnili, preto otestujte vlastné úryvky podľa uvedených krokov.
- Možnosti Noise / Low-Quality Audio/Video vo výbere jazyka pre mnohé jazyky. Pri hlučnom súbore skúste štandardnú aj noise možnosť a porovnajte.
- 130+ jazykov, možnosť Multilingual Mix a preklad audia do angličtiny.
- Súbory do 5GB a 10 hodín, detekcia hovoriacich a časové značky (všetky funkcie).
- Čistý vstup: nahrávajte v prehliadači s blízkym mikrofónom alebo preveďte video na MP3 a nahrajte iba zvuk.
- Exporty do DOCX, PDF, TXT, CSV, SRT a VTT a generátor titulkov pre časované titulky.
Môžete začať zadarmo bez účtu. Platené plány začínajú od $9.99/mesiac pri ročnej platbe; pozrite cenník.
Často kladené otázky
Má Whisper presnosť 99%?
Nie všeobecne. Najlepší zverejnený výsledok Whisper je 2.5% miera slovných chýb na LibriSpeech test-clean, množine zreteľne čítaných audiokníh, čo znamená asi 97.5% správnych slov. Pri telefonátoch, stretnutiach a hlučných miestnostiach sa vlastné čísla OpenAI pohybujú približne od 13% do 40% WER. Tvrdenie „99%“ má význam iba vtedy, ak uvádza audio, na ktorom sa meralo. Nástroje postavené na Whisper vrátane whispertranscribe.ai treba posudzovať podľa vašich nahrávok, nie titulkového percenta.
Ktorý model Whisper je najpresnejší?
Najpresnejšie sú veľké modely. V práci OpenAI mal large-v2 najnižšiu chybovosť na väčšine testovacích množín a karta large-v3 uvádza o 10% až 20% menej chýb než large-v2 v mnohých jazykoch. Model turbo je optimalizovaný large-v3, ktorý podľa OpenAI stráca len málo presnosti výmenou za oveľa vyššiu rýchlosť. Najmenší tiny je pri náročnom audiu oveľa menej presný: 48.0% WER na hlučnej večeri oproti 24.9% pre large-v2.
Prečo Whisper píše slová, ktoré nikto nepovedal?
Whisper môže halucinovať, pretože je trénovaný predpovedať pravdepodobný text aj prepisovať zvuk, a karta modelu OpenAI upozorňuje na možný výstup textu, ktorý v audiu nie je. Najčastejšie sa to deje počas dlhého ticha, hudby alebo hluku. Nezávislá štúdia z roku 2023 našla vymyslené frázy asi v 1% prepisov a pauzy ich robili pravdepodobnejšími. Odstrihnutie ticha, nastavenie jazyka a kontrola tichých častí prepisu riziko znižujú.
Aký presný je Whisper pri prízvukoch?
Whisper zvláda prízvuky lepšie než mnohé staršie systémy, no nie rovnomerne. Karta modelu OpenAI uvádza, že presnosť sa líši medzi prízvukmi a nárečiami toho istého jazyka. V práci dosiahli dlhé rozhovory v afroamerickej angličtine (CORAAL) WER 19.6% oproti 3.5% pri úplných prednáškach TED, hoci sa líšia aj podmienky nahrávania. Spoľahlivý postup je otestovať úryvok s hovoriacimi podobnými skutočným nahrávkam a pri silných prízvukoch plánovať viac kontroly.
Je Whisper rovnako presný ako ľudský prepisovateľ?
V angličtine sa približuje, ale najlepších nedosahuje. OpenAI ho porovnala s piatimi profesionálnymi službami na 25 nahrávkach. Počítačom podporovaná služba mala celkový WER o 1.15 bodu nižší než Whisper a štyri čisto ľudské služby boli o zlomok bodu lepšie. Ľudia stále spravidla lepšie zvládajú mená, prekrývanie hlasov a nejasnú reč. Všetko, čo sa cituje, zakladá alebo publikuje, by mal človek skontrolovať podľa nahrávky.
Aký presný je Whisper v iných jazykoch než angličtina?
Výsledok sa výrazne líši podľa jazyka. V benchmarku Fleurs dosiahol large-v2 WER 3.0% v španielčine, 4.5% v nemčine a 8.3% vo francúzštine, ale 27.1% v hebrejčine a 99.0% v telugčine. Čínština a japončina sa hodnotia mierou chybovosti znakov: 14.7% a 5.3%. Práca zistila súvislosť presnosti s množstvom tréningového audia v jazyku. Pri jazykoch s menším množstvom dát najprv otestujte krátky úryvok a vyhraďte viac času na opravy.
Otestujte presnosť na vlastnej nahrávke
Benchmarky opisujú cudzie audio. Nahrajte úryvok do whispertranscribe.ai v ktoromkoľvek zo 130+ jazykov a vyhodnoťte ho podľa krokov v tomto návode. Začnite zadarmo bez účtu, alebo porovnajte plány.
Súvisiace články: Čo je Whisper AI? · Najlepší bezplatný softvér na prepis · Najlepšie alternatívy TurboScribe · Ako prepísať YouTube video · Čo je súbor SRT? · Pevné verzus mäkké titulky
Zdroje
- Radford a kol., Robust Speech Recognition via Large-Scale Weak Supervision (práca o Whisper, OpenAI, 2022): tabuľky 2, 9, 13 a 16 a časti 3 až 6
- OpenAI, openai/whisper na GitHube: tabuľka modelov README, poznámka k turbo a graf WER podľa jazyka
- OpenAI a Hugging Face, karta modelu whisper-large-v3: zmeny large-v3, vyhodnotené použitie a obmedzenia
- Koenecke a kol., Careless Whisper: Speech-to-Text Hallucination Harms (2024)
- jiwer: open-source knižnica pre WER a CER
- Hugging Face, Open ASR Leaderboard: nezávislé, pravidelne aktualizované porovnanie otvorených rečových modelov
