Redakce whispertranscribe.ai · Poslední aktualizace: listopad 2026 · Čtení na 13 minut · Kategorie: Přesnost přepisu
Jak přesný je Whisper? U čisté čtené angličtiny uvádí studie OpenAI pro Whisper large-v2 slovní chybovost (WER) 2.5 %, tedy asi 97 až 98 správných slov ze 100. Obtížnější audio má horší výsledky: 13.6 % u telefonních hovorů, 24.9 % na hlučné večeři a 39.9 % na schůzce nahrané jedním vzdáleným mikrofonem.
Whisper je open-source model rozpoznávání řeči od OpenAI a základ mnoha přepisovacích aplikací včetně naší. Tento průvodce řeší jen přesnost: co měří WER, co říkají benchmarky podle typu audia a jazyka, kde Whisper selhává a jak jej sami vyzkoušet. O modelu obecně viz co je Whisper AI.
Většina údajů pochází ze studie Whisper (Radford a kol., 2022), která testovala každý model metodou „zero-shot“, bez dalšího trénování na testovacích sadách. Novější karta modelu large-v3 uvádí o 10 % až 20 % méně chyb než large-v2 v mnoha jazycích, ale bez úplné tabulky po sadách. Tento článek vydává whispertranscribe.ai. Neprovedli jsme vlastní benchmark a žádné zdejší číslo není naším výsledkem testu.
Přesnost Whisper na první pohled
Žádná jednotlivá testovací sada nestačí, protože audio ovlivňuje číslo více než cokoli jiného. Tabulka ukazuje výsledky OpenAI pro large-v2 s beam search a temperature fallback (tabulka 9 v příloze), hodnocené po normalizaci textu OpenAI.
| Typ audia | Testovací sada ve studii | WER Whisper large-v2 | Přibližný podíl správných slov |
|---|---|---|---|
| Audiokniha, čisté čtení | LibriSpeech test-clean | 2.5 % | Asi 97.5 ze 100 |
| Čtené zprávy | WSJ | 2.6 % | Asi 97.4 ze 100 |
| Přednášky TED | TED-LIUM 3 | 3.7 % | Asi 96 ze 100 |
| Audiokniha, obtížnější mluvčí | LibriSpeech test-other | 4.9 % | Asi 95 ze 100 |
| Dobrovolníci s domácími mikrofony | Common Voice 5.1 | 8.2 % | Asi 92 ze 100 |
| Telefonní rozhovory | Switchboard | 13.6 % | Asi 86 ze 100 |
| Dlouhé sociolingvistické rozhovory | CORAAL | 14.2 % | Asi 86 ze 100 |
| Hovory rodiny a přátel | CallHome | 16.4 % | Asi 84 ze 100 |
| Schůzky, každý s náhlavním mikrofonem | AMI IHM | 17.4 % | Asi 83 ze 100 |
| Večeře, vzdálené mikrofony | CHiME-6 | 24.9 % | Asi 75 ze 100 |
| Schůzky, jeden vzdálený stolní mikrofon | AMI SDM1 | 39.9 % | Asi 60 ze 100 |
„Podíl správných slov“ je zjednodušeně 100 minus WER, protože WER počítá i vložená slova.
Často se uvádí 2.7 %: jde o stejný model s jednodušším greedy dekódováním (tabulka 2 studie). Řádky AMI zachycují stejné schůzky dvěma způsoby. Přesun mikrofonu od hlavy každého mluvčího doprostřed stolu více než zdvojnásobil chybovost.
Co je slovní chybovost (WER) a jak se počítá?
WER je podíl chybných slov přepisu oproti člověkem ověřenému referenčnímu textu. Sečtěte tři druhy chyb a vydělte počtem slov v referenci:
WER = (záměny + vynechání + vložení) ÷ slova v referenci
- Záměna: nesprávné slovo místo správného („most“ místo „host“).
- Vynechání: vyslovené slovo v přepisu chybí.
- Vložení: slovo v přepisu nikdo nevyslovil.
Vlastní příklad; WER lze vypočítat open-source knihovnou jiwer:
| Řádek | Text |
|---|---|
| Reference (22 slov) | přesunuli jsme uvedení nového produktu na devátý březen protože náš dodavatel nestihl dva termíny a doktor Novák chce další nový zkušební plán |
| Přepis | přesunuli jsme uvedení nového produktu na devátý březen protože dodavatel nestihl dva termíny a doktor Novotný chce další nový zkušený plán dnes |
| Chyby | 2 záměny (Novotný, zkušený), 1 vynechání (náš), 1 vložení (dnes) |
| WER | 4 ÷ 22 = 18.2 % |
Tři věci u WER často matou:
- Může přesáhnout 100 %. Počet vložení nemá strop a některé jazyky s málem dat ve výsledcích Fleurs studie přesahují 100 %.
- Normalizace mění skóre. „Dr.“ proti „doctor“ se počítá jako chyba, pokud se oba texty stejně nevyčistí. OpenAI uvádí, že normalizátor u některých sad snížil WER až o 50 %, převážně odstraněním rozdílů ve formátování.
- Některé jazyky používají znakovou chybovost (CER). U čínštiny, japonštiny, thajštiny, laoštiny a barmštiny, kde se slova neoddělují mezerami, studie hodnotí znaky.
Tvrzení o přesnosti bez určené testovací sady a metody hodnocení není měření, ať jej uvádí kdokoli včetně nás.
Jak přesný je Whisper v angličtině?
Whisper je velmi přesný na čisté angličtině a zůstává použitelný i u méně čisté. Ve studii měl na dalších 12 anglických sadách o 55.2 % méně chyb než supervised model wav2vec 2.0 s téměř stejným výsledkem LibriSpeech.
Dlouhé nahrávky
Whisper čte audio v 30sekundových oknech, proto studie testovala dlouhé soubory zvlášť (tabulka 16 přílohy, large-v2):
| Dlouhá testovací sada | Obsah | WER |
|---|---|---|
| TED-LIUM 3 | 11 úplných přednášek TED | 3.5 % |
| Meanwhile | 64 nočních televizních segmentů s mnoha neobvyklými slovy | 5.1 % |
| Kincaid46 | 46 různých nahrávek ze srovnání 2018 | 8.8 % |
| Earnings-21 | Hovory o hospodářských výsledcích | 9.7 % |
| Rev16 | 16 epizod podcastů | 11.3 % |
| Earnings-22 | Další hovory o výsledcích, mnoho přízvuků | 12.6 % |
| CORAAL | 231 celých rozhovorů v afroamerické angličtině | 19.6 % |
Whisper versus lidští přepisovatelé
OpenAI nechala 25 nahrávek Kincaid46 přepsat čtyřmi lidskými službami a jednou počítačem podporovanou. Podporovaná služba dosáhla výsledku o 1.15 procentního bodu lepšího než Whisper a čistě lidské služby byly lepší jen o zlomek bodu. Studie uzavírá, že výsledek není dokonalý, ale je velmi blízký lidské přesnosti.
Na velikosti modelu záleží
Whisper má několik velikostí a aplikace ne vždy uvádějí, kterou používají (tabulka 9 přílohy):
| Model | Parametry | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7 % | 26.1 % | 18.3 % | 48.0 % |
| base | 74M | 4.9 % | 19.4 % | 15.6 % | 40.0 % |
| small | 244M | 3.3 % | 12.8 % | 13.3 % | 30.9 % |
| medium | 769M | 2.7 % | 9.7 % | 13.2 % | 27.6 % |
| large-v2 | 1550M | 2.5 % | 8.2 % | 13.6 % | 24.9 % |
Rozdíl roste s obtížností audia: asi 4 body u čistých audioknih a 23 bodů na večeři. Novější model turbo, optimalizovaný large-v3, přijímá podle README na GitHubu OpenAI minimální zhoršení přesnosti výměnou za mnohem rychlejší přepis.
Jak přesný je Whisper v jiných jazycích?
Mimo angličtinu závisí přesnost především na množství trénovacího audia v daném jazyce. Studie zjistila čtverec korelace 0.83 mezi logaritmem trénovacích hodin a logaritmem WER a odhaduje, že WER klesne na polovinu při každém 16násobném zvýšení dat. Většina z 96 neanglických jazyků měla méně než 1,000 hodin.
Vybrané výsledky Fleurs (čtené věty, large-v2, tabulka 13 přílohy):
| Jazyk | WER Fleurs | Poznámka |
|---|---|---|
| Španělština | 3.0 % | Nejnižší v tabulce |
| Angličtina | 4.2 % | |
| Portugalština | 4.3 % | |
| Němčina | 4.5 % | |
| Japonština | 5.3 % | Znaková chybovost |
| Ruština | 5.6 % | |
| Francouzština | 8.3 % | |
| Korejština | 14.3 % | Označeno jako odlehlá hodnota |
| Čínština | 14.7 % | Znaková chybovost |
| Arabština | 16.0 % | |
| Hindština | 21.5 % | |
| Hebrejština | 27.1 % | Označeno jako odlehlá hodnota |
| Svahilština | 39.3 % | |
| Telugština | 99.0 % | Označeno jako odlehlá hodnota |
Studie upozorňuje, že hebrejština, telugština, čínština a korejština dopadly hůře, než předpovídalo množství dat, možná kvůli jazykové vzdálenosti, nevhodnému tokenizeru pro tato písma nebo kvalitě dat. Fleurs obsahuje čtenou řeč, takže u rozhovorů očekávejte vyšší chybovost. README má novější graf large-v3 a large-v2 na Common Voice 15 a Fleurs.
Španělské výsledky jsou povzbudivé, pokud přepisujete španělské audio na text. U jazyků s méně zdroji vyzkoušejte krátkou ukázku před zahájením celého projektu.
Co ovlivňuje přesnost Whisper?
Nejdůležitější jsou podmínky nahrávání. Důkazy ze studie a karty modelu:
| Faktor | Co ukazují důkazy | Co dělat |
|---|---|---|
| Hluk v pozadí | Při hospodském hluku pod 10 dB poměru signálu k šumu Whisper překonal všech 14 srovnávaných modelů, ale všechny se se zvyšujícím se hlukem zhoršily | Nahrávejte v tiché místnosti, mimo ventilátory a hudbu |
| Vzdálenost mikrofonu | Stejné schůzky AMI: 17.4 % s náhlavními mikrofony, 39.9 % s jedním stolním | Mikrofon blízko právě mluvící osoby |
| Rozhovor a překrývání | Telefonáty a večeře mají 13.6 % až 24.9 % oproti 2.5 % u čtené řeči | Mluvit po jednom; mikrofon pro každého |
| Přízvuky a dialekty | Karta modelu uvádí nerovnoměrnou přesnost; dlouhé rozhovory CORAAL měly 19.6 % | Testujte na mluvčích podobných skutečným nahrávkám |
| Vzácná slova a žargon | Dobré na odborné sadě Meanwhile (5.1 %), jména a technické výrazy však zůstávají častými chybami | Porovnejte jména a výrazy se seznamem |
| Jazykové zdroje | WER Fleurs od 3.0 % (španělština) do 99.0 % (telugština) | Vyberte jazyk sami; u jazyků s méně zdroji počítejte s větší kontrolou |
| Velikost modelu | tiny má 48.0 % na CHiME-6, large-v2 24.9 % | Zjistěte model nástroje nebo použijte největší dostupný |
| Formát souboru a vzorkovací frekvence | Kód Whisper převzorkuje vše na 16 kHz mono | WAV 48 kHz nepřináší výhodu proti čistému 16 kHz souboru |
Převod MP3 na velký WAV neobnoví ztracené detaily. Čistá nahrávka s mírným datovým tokem je lepší než hlučná s vysokým.
Známé problémy Whisper: halucinace, opakování a časové značky
OpenAI dokumentuje všechna tato selhání, která mohou být důležitější, než naznačuje jejich podíl na WER.
Halucinovaný text
Whisper může napsat slova, která nikdo neřekl. Karta modelu uvádí, že předpovědi mohou obsahovat text, který v audiu nezazněl, pravděpodobně proto, že model předpovídá i pravděpodobná další slova. Studie v omezeních zmiňuje i úplnou halucinaci, tedy výstup nesouvisející s audiem.
Nezávislá studie Careless Whisper (Koenecke a kol., 2024) v dubnu a květnu 2023 zpracovala 13,140 úseků pomocí Whisper API OpenAI. Asi 1 % přepisů (v průměru 1.4 %) obsahovalo celé vymyšlené fráze či věty a 38 % z nich zahrnovalo škodlivý obsah, například násilí nebo falešné souvislosti. U mluvčích s delšími pauzami, v tomto případě lidí s afázií, bylo jevů více. API se od té doby změnilo, proto jde o měření z roku 2023.
Opakování a vynechaná slova
Karta modelu uvádí sklon vytvářet opakovaný text, který beam search a plánování teploty snižují, nikoli dokonale. Studie také zmiňuje vynechání prvních či posledních slov segmentu. Úpravy dekódování snížily průměrný WER dlouhého audia z 11.0 % na 10.0 %: zlepšení, nikoli vyřešení.
Ticho, hudba a výplňová slova
Vymyšlený text se často objevuje při dlouhém tichu a hudbě. Studie zjistila, že vlastní signál Whisper „bez řeči“ není sám spolehlivý, a open-source kód má nyní možnost přeskočit dlouhé ticho při pravděpodobné halucinaci.
Posun časových značek a dlouhé soubory
Whisper prochází dlouhé audio po 30sekundových oknech a vlastními předpovězenými značkami umisťuje další okno, takže podle studie se chyba může přenést dál. Časové značky na úrovni slov jsou v kódu označeny jako experimentální. U titulků namátkou kontrolujte časování kolem pauz.
Při vývoji OpenAI také viděla, že Whisper hádá jména mluvčích a ta jsou téměř vždy nesprávná. Vydané modely byly dále upraveny k omezení tohoto chování, přesto každé jméno ověřte.
10 způsobů, jak zlepšit přesnost přepisu Whisper
Většina zlepšení vzniká před spuštěním přepisu. Přibližně od největšího účinku:
- Umístěte mikrofon blízko. Samotná vzdálenost ve schůzkách AMI více než zdvojnásobila chybovost.
- Omezte hluk u zdroje. Zavřete okna, vypněte ventilátory a zastavte hudbu.
- Zabraňte překrývání řeči. Jeden mluvčí najednou je lepší než jakékoli nastavení.
- Odstřihněte dlouhé ticho a hudební úvody, kde se vymyšlený text často objevuje. Stříhejte v pauzách, ne uprostřed věty.
- Nastavte jazyk sami. Whisper správně rozpoznal jazyk v 80.3 % napříč 82 jazyky Fleurs, takže automatika může u krátkých či přízvučných klipů selhat.
- Použijte největší dostupný model, zvláště u hlučných nahrávek.
- Při vlastním provozu zadejte jména a výrazy v promptu. Open-source Whisper přijímá
--initial_prompts očekávaným pravopisem. - Nahrajte originál. Opakované nahrávání přes reproduktor nebo komprese ztrácí detaily.
- Zkontrolujte termíny. Najděte každé jméno, číslo, datum a zkratku a ověřte je podle audia.
- Kontrolujte ve dvou průchodech. Nejprve opravte chyby při běžné rychlosti. Pak hledejte známky halucinace: opakované řádky, věty během ticha, závěry jako „Děkujeme za sledování.“ U právní, zdravotnické nebo publikované práce nechte vše zkontrolovat člověkem.
Jak změřit přesnost Whisper na vlastním audiu
Nejlepší odhad pro vaši práci poskytne 30minutový test vlastních nahrávek. Tyto kroky provedete vy; nejde o test whispertranscribe.ai.
- Vyberte tři dvouminutové klipy podobné skutečné práci: jeden snadný, jeden běžný a jeden těžký.
- Ručně napište referenční přepis slovo od slova. Nejprve nastavte pravidla: ponechat nebo odstranit „ehm“, číslice nebo slova pro čísla.
- Přepište každý klip testovaným nástrojem a uložte prostý text.
- Normalizujte oba texty stejným způsobem. Normalizátor OpenAI je součástí
openai-whisper. - Vypočítejte WER pomocí jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Kritické chyby počítejte zvlášť. Pět chybných výplňových slov a pět chybných jmen klientů dávají stejné WER, ale nejde o stejný problém.
- Zaznamenejte výsledky pro srovnání nástrojů či nastavení:
| Klip | Podmínky | Slova reference | S | D | I | WER | Kritické chyby |
|---|---|---|---|---|---|---|---|
| Klip A | Tichá místnost, jeden mluvčí | 310 | |||||
| Klip B | Videohovor, dva mluvčí | 285 | |||||
| Klip C | Kavárna, mluvčí s přízvukem | 296 |
Počty slov jsou zástupné. Pozor u kroku 4: normalizátor může rozdílně zpracovat zkratky a čísla. Whisper CLI nebylo v našem prostředí nainstalováno, proto jsme tento test nespustili. Před důvěrou ve skóre si označené rozdíly přečtěte.
Jak přesná je whispertranscribe.ai?
whispertranscribe.ai je webový přepisovací nástroj AI založený na Whisper, který podporuje 130+ jazyků a soubory až 5GB a 10 hodin. Přesnost u čistého audia dosahuje až 99 %; hluk, silné přízvuky a překrývání ji snižují, jak ukazují výše uvedené benchmarky samotného Whisper. Netvrdíme, že dosahujeme či překonáváme hodnoty studie, a nezveřejnili jsme vlastní benchmark, proto otestujte své klipy výše uvedeným postupem.
- Možnosti Noise / Low-Quality Audio/Video ve výběru mnoha jazyků. U hlučného souboru vyzkoušejte běžnou i šumovou možnost a porovnejte je.
- 130+ jazyků, Multilingual Mix a překlad audia do angličtiny.
- Soubory až 5GB a 10 hodin, rozpoznání mluvčích a časové značky (všechny funkce).
- Čistý vstup: po získání potřebných svolení a souhlasů nahrávejte v prohlížeči s mikrofonem blízko nebo převeďte video na MP3 a nahrajte jen audio.
- Exporty DOCX, PDF, TXT, CSV, SRT a VTT a generátor titulků pro časované titulky.
Můžete začít zdarma bez účtu. Placené plány začínají na $9.99/měsíc při roční platbě; viz ceny.
Časté dotazy
Je Whisper přesný na 99 %?
Obecně ne. Nejlepší zveřejněný výsledek Whisper je WER 2.5 % na LibriSpeech test-clean, sadě čistě čtených audioknih, tedy asi 97.5 % správných slov. U hovorů, schůzek a hlučných místností se vlastní výsledky OpenAI pohybují přibližně mezi 13 % a 40 % WER. Tvrzení „99 %“ něco znamená pouze tehdy, když určí měřené audio. Nástroje založené na Whisper, včetně whispertranscribe.ai, posuzujte podle svých nahrávek, nikoli titulkového procenta.
Který model Whisper je nejpřesnější?
Nejpřesnější jsou velké modely. Ve studii OpenAI měl large-v2 nejnižší chybovost u většiny sad a karta large-v3 uvádí o 10 % až 20 % méně chyb než large-v2 v mnoha jazycích. Model turbo je optimalizovaný large-v3, který podle OpenAI ztrácí málo přesnosti výměnou za výrazně vyšší rychlost. Nejmenší tiny je u obtížného audia mnohem méně přesný: 48.0 % WER na hlučné večeři oproti 24.9 % u large-v2.
Proč Whisper píše nevyslovená slova?
Whisper může halucinovat, protože se kromě přepisu zvuku učí předpovídat pravděpodobný text, a karta modelu OpenAI varuje před výstupem, který v audiu není. Nejčastěji se to děje během dlouhého ticha, hudby či hluku. Nezávislá studie z roku 2023 našla vymyšlené fráze asi v 1 % přepisů a pauzy je činily pravděpodobnějšími. Odstřižení ticha, nastavení jazyka a kontrola tichých míst riziko snižují.
Jak přesný je Whisper s přízvuky?
Whisper zvládá přízvuky lépe než mnoho starších systémů, ale nerovnoměrně. Karta OpenAI uvádí rozdíly mezi přízvuky a dialekty téhož jazyka. Ve studii měly dlouhé rozhovory v afroamerické angličtině (CORAAL) WER 19.6 % oproti 3.5 % u úplných přednášek TED, i když se liší také podmínky nahrávání. Spolehlivý postup je vyzkoušet klip s mluvčími podobnými skutečným nahrávkám a u silných přízvuků plánovat více kontroly.
Je Whisper stejně přesný jako lidský přepisovatel?
V angličtině se přibližuje, ale nejlepším nestačí. OpenAI jej porovnala s pěti profesionálními službami na 25 nahrávkách. Počítačem podporovaná služba měla souhrnný WER o 1.15 bodu nižší než Whisper a čtyři čistě lidské služby byly lepší o zlomek bodu. Lidé stále obvykle lépe zvládají jména, překrývání a nejasnou řeč. U čehokoli citovaného, předkládaného či publikovaného má člověk přepis zkontrolovat podle nahrávky.
Jak přesný je Whisper mimo angličtinu?
Velmi se liší podle jazyka. Na Fleurs měl large-v2 WER 3.0 % ve španělštině, 4.5 % v němčině a 8.3 % ve francouzštině, ale 27.1 % v hebrejštině a 99.0 % v telugštině. Čínština a japonština se hodnotí znakovou chybovostí: 14.7 % a 5.3 %. Studie zjistila souvislost přesnosti s množstvím trénovacího audia pro daný jazyk. U jazyků s méně zdroji nejprve otestujte krátký klip a vyhraďte více času na opravy.
Vyzkoušejte přesnost na vlastní nahrávce
Benchmarky popisují cizí audio. Nahrajte klip do whispertranscribe.ai v některém ze 130+ jazyků a vyhodnoťte jej podle tohoto průvodce. Začněte zdarma bez účtu nebo porovnejte plány.
Související články: Co je Whisper AI? · Nejlepší bezplatný software pro přepis · Nejlepší alternativy TurboScribe · Jak přepsat video YouTube · Co je soubor SRT? · Pevné versus volitelné titulky
Zdroje
- Radford a kol., Robust Speech Recognition via Large-Scale Weak Supervision (studie Whisper, OpenAI, 2022): tabulky 2, 9, 13 a 16 a části 3 až 6
- OpenAI, openai/whisper na GitHubu: tabulka modelů README, poznámka turbo a graf WER podle jazyků
- OpenAI a Hugging Face, karta modelu whisper-large-v3: změny large-v3, hodnocené použití a omezení
- Koenecke a kol., Careless Whisper: Speech-to-Text Hallucination Harms (2024)
- jiwer: open-source knihovna pro WER a CER
- Hugging Face, Open ASR Leaderboard: nezávislé, pravidelně aktualizované srovnání otevřených řečových modelů
