Jak přesný je Whisper AI? WER, skutečná omezení a tipy (2026)

Redakce whispertranscribe.ai · Poslední aktualizace: listopad 2026 · Čtení na 13 minut · Kategorie: Přesnost přepisu

Jak přesný je Whisper? U čisté čtené angličtiny uvádí studie OpenAI pro Whisper large-v2 slovní chybovost (WER) 2.5 %, tedy asi 97 až 98 správných slov ze 100. Obtížnější audio má horší výsledky: 13.6 % u telefonních hovorů, 24.9 % na hlučné večeři a 39.9 % na schůzce nahrané jedním vzdáleným mikrofonem.

Whisper je open-source model rozpoznávání řeči od OpenAI a základ mnoha přepisovacích aplikací včetně naší. Tento průvodce řeší jen přesnost: co měří WER, co říkají benchmarky podle typu audia a jazyka, kde Whisper selhává a jak jej sami vyzkoušet. O modelu obecně viz co je Whisper AI.

Většina údajů pochází ze studie Whisper (Radford a kol., 2022), která testovala každý model metodou „zero-shot“, bez dalšího trénování na testovacích sadách. Novější karta modelu large-v3 uvádí o 10 % až 20 % méně chyb než large-v2 v mnoha jazycích, ale bez úplné tabulky po sadách. Tento článek vydává whispertranscribe.ai. Neprovedli jsme vlastní benchmark a žádné zdejší číslo není naším výsledkem testu.

Přesnost Whisper na první pohled

Žádná jednotlivá testovací sada nestačí, protože audio ovlivňuje číslo více než cokoli jiného. Tabulka ukazuje výsledky OpenAI pro large-v2 s beam search a temperature fallback (tabulka 9 v příloze), hodnocené po normalizaci textu OpenAI.

Typ audia Testovací sada ve studii WER Whisper large-v2 Přibližný podíl správných slov
Audiokniha, čisté čtení LibriSpeech test-clean 2.5 % Asi 97.5 ze 100
Čtené zprávy WSJ 2.6 % Asi 97.4 ze 100
Přednášky TED TED-LIUM 3 3.7 % Asi 96 ze 100
Audiokniha, obtížnější mluvčí LibriSpeech test-other 4.9 % Asi 95 ze 100
Dobrovolníci s domácími mikrofony Common Voice 5.1 8.2 % Asi 92 ze 100
Telefonní rozhovory Switchboard 13.6 % Asi 86 ze 100
Dlouhé sociolingvistické rozhovory CORAAL 14.2 % Asi 86 ze 100
Hovory rodiny a přátel CallHome 16.4 % Asi 84 ze 100
Schůzky, každý s náhlavním mikrofonem AMI IHM 17.4 % Asi 83 ze 100
Večeře, vzdálené mikrofony CHiME-6 24.9 % Asi 75 ze 100
Schůzky, jeden vzdálený stolní mikrofon AMI SDM1 39.9 % Asi 60 ze 100

„Podíl správných slov“ je zjednodušeně 100 minus WER, protože WER počítá i vložená slova.

Často se uvádí 2.7 %: jde o stejný model s jednodušším greedy dekódováním (tabulka 2 studie). Řádky AMI zachycují stejné schůzky dvěma způsoby. Přesun mikrofonu od hlavy každého mluvčího doprostřed stolu více než zdvojnásobil chybovost.

Co je slovní chybovost (WER) a jak se počítá?

WER je podíl chybných slov přepisu oproti člověkem ověřenému referenčnímu textu. Sečtěte tři druhy chyb a vydělte počtem slov v referenci:

WER = (záměny + vynechání + vložení) ÷ slova v referenci

  • Záměna: nesprávné slovo místo správného („most“ místo „host“).
  • Vynechání: vyslovené slovo v přepisu chybí.
  • Vložení: slovo v přepisu nikdo nevyslovil.

Vlastní příklad; WER lze vypočítat open-source knihovnou jiwer:

Řádek Text
Reference (22 slov) přesunuli jsme uvedení nového produktu na devátý březen protože náš dodavatel nestihl dva termíny a doktor Novák chce další nový zkušební plán
Přepis přesunuli jsme uvedení nového produktu na devátý březen protože dodavatel nestihl dva termíny a doktor Novotný chce další nový zkušený plán dnes
Chyby 2 záměny (Novotný, zkušený), 1 vynechání (náš), 1 vložení (dnes)
WER 4 ÷ 22 = 18.2 %

Tři věci u WER často matou:

  1. Může přesáhnout 100 %. Počet vložení nemá strop a některé jazyky s málem dat ve výsledcích Fleurs studie přesahují 100 %.
  2. Normalizace mění skóre. „Dr.“ proti „doctor“ se počítá jako chyba, pokud se oba texty stejně nevyčistí. OpenAI uvádí, že normalizátor u některých sad snížil WER až o 50 %, převážně odstraněním rozdílů ve formátování.
  3. Některé jazyky používají znakovou chybovost (CER). U čínštiny, japonštiny, thajštiny, laoštiny a barmštiny, kde se slova neoddělují mezerami, studie hodnotí znaky.

Tvrzení o přesnosti bez určené testovací sady a metody hodnocení není měření, ať jej uvádí kdokoli včetně nás.

Jak přesný je Whisper v angličtině?

Whisper je velmi přesný na čisté angličtině a zůstává použitelný i u méně čisté. Ve studii měl na dalších 12 anglických sadách o 55.2 % méně chyb než supervised model wav2vec 2.0 s téměř stejným výsledkem LibriSpeech.

Dlouhé nahrávky

Whisper čte audio v 30sekundových oknech, proto studie testovala dlouhé soubory zvlášť (tabulka 16 přílohy, large-v2):

Dlouhá testovací sada Obsah WER
TED-LIUM 3 11 úplných přednášek TED 3.5 %
Meanwhile 64 nočních televizních segmentů s mnoha neobvyklými slovy 5.1 %
Kincaid46 46 různých nahrávek ze srovnání 2018 8.8 %
Earnings-21 Hovory o hospodářských výsledcích 9.7 %
Rev16 16 epizod podcastů 11.3 %
Earnings-22 Další hovory o výsledcích, mnoho přízvuků 12.6 %
CORAAL 231 celých rozhovorů v afroamerické angličtině 19.6 %

Whisper versus lidští přepisovatelé

OpenAI nechala 25 nahrávek Kincaid46 přepsat čtyřmi lidskými službami a jednou počítačem podporovanou. Podporovaná služba dosáhla výsledku o 1.15 procentního bodu lepšího než Whisper a čistě lidské služby byly lepší jen o zlomek bodu. Studie uzavírá, že výsledek není dokonalý, ale je velmi blízký lidské přesnosti.

Na velikosti modelu záleží

Whisper má několik velikostí a aplikace ne vždy uvádějí, kterou používají (tabulka 9 přílohy):

Model Parametry LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7 % 26.1 % 18.3 % 48.0 %
base 74M 4.9 % 19.4 % 15.6 % 40.0 %
small 244M 3.3 % 12.8 % 13.3 % 30.9 %
medium 769M 2.7 % 9.7 % 13.2 % 27.6 %
large-v2 1550M 2.5 % 8.2 % 13.6 % 24.9 %

Rozdíl roste s obtížností audia: asi 4 body u čistých audioknih a 23 bodů na večeři. Novější model turbo, optimalizovaný large-v3, přijímá podle README na GitHubu OpenAI minimální zhoršení přesnosti výměnou za mnohem rychlejší přepis.

Jak přesný je Whisper v jiných jazycích?

Mimo angličtinu závisí přesnost především na množství trénovacího audia v daném jazyce. Studie zjistila čtverec korelace 0.83 mezi logaritmem trénovacích hodin a logaritmem WER a odhaduje, že WER klesne na polovinu při každém 16násobném zvýšení dat. Většina z 96 neanglických jazyků měla méně než 1,000 hodin.

Vybrané výsledky Fleurs (čtené věty, large-v2, tabulka 13 přílohy):

Jazyk WER Fleurs Poznámka
Španělština 3.0 % Nejnižší v tabulce
Angličtina 4.2 %
Portugalština 4.3 %
Němčina 4.5 %
Japonština 5.3 % Znaková chybovost
Ruština 5.6 %
Francouzština 8.3 %
Korejština 14.3 % Označeno jako odlehlá hodnota
Čínština 14.7 % Znaková chybovost
Arabština 16.0 %
Hindština 21.5 %
Hebrejština 27.1 % Označeno jako odlehlá hodnota
Svahilština 39.3 %
Telugština 99.0 % Označeno jako odlehlá hodnota

Studie upozorňuje, že hebrejština, telugština, čínština a korejština dopadly hůře, než předpovídalo množství dat, možná kvůli jazykové vzdálenosti, nevhodnému tokenizeru pro tato písma nebo kvalitě dat. Fleurs obsahuje čtenou řeč, takže u rozhovorů očekávejte vyšší chybovost. README má novější graf large-v3 a large-v2 na Common Voice 15 a Fleurs.

Španělské výsledky jsou povzbudivé, pokud přepisujete španělské audio na text. U jazyků s méně zdroji vyzkoušejte krátkou ukázku před zahájením celého projektu.

Co ovlivňuje přesnost Whisper?

Nejdůležitější jsou podmínky nahrávání. Důkazy ze studie a karty modelu:

Faktor Co ukazují důkazy Co dělat
Hluk v pozadí Při hospodském hluku pod 10 dB poměru signálu k šumu Whisper překonal všech 14 srovnávaných modelů, ale všechny se se zvyšujícím se hlukem zhoršily Nahrávejte v tiché místnosti, mimo ventilátory a hudbu
Vzdálenost mikrofonu Stejné schůzky AMI: 17.4 % s náhlavními mikrofony, 39.9 % s jedním stolním Mikrofon blízko právě mluvící osoby
Rozhovor a překrývání Telefonáty a večeře mají 13.6 % až 24.9 % oproti 2.5 % u čtené řeči Mluvit po jednom; mikrofon pro každého
Přízvuky a dialekty Karta modelu uvádí nerovnoměrnou přesnost; dlouhé rozhovory CORAAL měly 19.6 % Testujte na mluvčích podobných skutečným nahrávkám
Vzácná slova a žargon Dobré na odborné sadě Meanwhile (5.1 %), jména a technické výrazy však zůstávají častými chybami Porovnejte jména a výrazy se seznamem
Jazykové zdroje WER Fleurs od 3.0 % (španělština) do 99.0 % (telugština) Vyberte jazyk sami; u jazyků s méně zdroji počítejte s větší kontrolou
Velikost modelu tiny má 48.0 % na CHiME-6, large-v2 24.9 % Zjistěte model nástroje nebo použijte největší dostupný
Formát souboru a vzorkovací frekvence Kód Whisper převzorkuje vše na 16 kHz mono WAV 48 kHz nepřináší výhodu proti čistému 16 kHz souboru

Převod MP3 na velký WAV neobnoví ztracené detaily. Čistá nahrávka s mírným datovým tokem je lepší než hlučná s vysokým.

Známé problémy Whisper: halucinace, opakování a časové značky

OpenAI dokumentuje všechna tato selhání, která mohou být důležitější, než naznačuje jejich podíl na WER.

Halucinovaný text

Whisper může napsat slova, která nikdo neřekl. Karta modelu uvádí, že předpovědi mohou obsahovat text, který v audiu nezazněl, pravděpodobně proto, že model předpovídá i pravděpodobná další slova. Studie v omezeních zmiňuje i úplnou halucinaci, tedy výstup nesouvisející s audiem.

Nezávislá studie Careless Whisper (Koenecke a kol., 2024) v dubnu a květnu 2023 zpracovala 13,140 úseků pomocí Whisper API OpenAI. Asi 1 % přepisů (v průměru 1.4 %) obsahovalo celé vymyšlené fráze či věty a 38 % z nich zahrnovalo škodlivý obsah, například násilí nebo falešné souvislosti. U mluvčích s delšími pauzami, v tomto případě lidí s afázií, bylo jevů více. API se od té doby změnilo, proto jde o měření z roku 2023.

Opakování a vynechaná slova

Karta modelu uvádí sklon vytvářet opakovaný text, který beam search a plánování teploty snižují, nikoli dokonale. Studie také zmiňuje vynechání prvních či posledních slov segmentu. Úpravy dekódování snížily průměrný WER dlouhého audia z 11.0 % na 10.0 %: zlepšení, nikoli vyřešení.

Ticho, hudba a výplňová slova

Vymyšlený text se často objevuje při dlouhém tichu a hudbě. Studie zjistila, že vlastní signál Whisper „bez řeči“ není sám spolehlivý, a open-source kód má nyní možnost přeskočit dlouhé ticho při pravděpodobné halucinaci.

Posun časových značek a dlouhé soubory

Whisper prochází dlouhé audio po 30sekundových oknech a vlastními předpovězenými značkami umisťuje další okno, takže podle studie se chyba může přenést dál. Časové značky na úrovni slov jsou v kódu označeny jako experimentální. U titulků namátkou kontrolujte časování kolem pauz.

Při vývoji OpenAI také viděla, že Whisper hádá jména mluvčích a ta jsou téměř vždy nesprávná. Vydané modely byly dále upraveny k omezení tohoto chování, přesto každé jméno ověřte.

10 způsobů, jak zlepšit přesnost přepisu Whisper

Většina zlepšení vzniká před spuštěním přepisu. Přibližně od největšího účinku:

  1. Umístěte mikrofon blízko. Samotná vzdálenost ve schůzkách AMI více než zdvojnásobila chybovost.
  2. Omezte hluk u zdroje. Zavřete okna, vypněte ventilátory a zastavte hudbu.
  3. Zabraňte překrývání řeči. Jeden mluvčí najednou je lepší než jakékoli nastavení.
  4. Odstřihněte dlouhé ticho a hudební úvody, kde se vymyšlený text často objevuje. Stříhejte v pauzách, ne uprostřed věty.
  5. Nastavte jazyk sami. Whisper správně rozpoznal jazyk v 80.3 % napříč 82 jazyky Fleurs, takže automatika může u krátkých či přízvučných klipů selhat.
  6. Použijte největší dostupný model, zvláště u hlučných nahrávek.
  7. Při vlastním provozu zadejte jména a výrazy v promptu. Open-source Whisper přijímá --initial_prompt s očekávaným pravopisem.
  8. Nahrajte originál. Opakované nahrávání přes reproduktor nebo komprese ztrácí detaily.
  9. Zkontrolujte termíny. Najděte každé jméno, číslo, datum a zkratku a ověřte je podle audia.
  10. Kontrolujte ve dvou průchodech. Nejprve opravte chyby při běžné rychlosti. Pak hledejte známky halucinace: opakované řádky, věty během ticha, závěry jako „Děkujeme za sledování.“ U právní, zdravotnické nebo publikované práce nechte vše zkontrolovat člověkem.

Jak změřit přesnost Whisper na vlastním audiu

Nejlepší odhad pro vaši práci poskytne 30minutový test vlastních nahrávek. Tyto kroky provedete vy; nejde o test whispertranscribe.ai.

  1. Vyberte tři dvouminutové klipy podobné skutečné práci: jeden snadný, jeden běžný a jeden těžký.
  2. Ručně napište referenční přepis slovo od slova. Nejprve nastavte pravidla: ponechat nebo odstranit „ehm“, číslice nebo slova pro čísla.
  3. Přepište každý klip testovaným nástrojem a uložte prostý text.
  4. Normalizujte oba texty stejným způsobem. Normalizátor OpenAI je součástí openai-whisper.
  5. Vypočítejte WER pomocí jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Kritické chyby počítejte zvlášť. Pět chybných výplňových slov a pět chybných jmen klientů dávají stejné WER, ale nejde o stejný problém.
  2. Zaznamenejte výsledky pro srovnání nástrojů či nastavení:
Klip Podmínky Slova reference S D I WER Kritické chyby
Klip A Tichá místnost, jeden mluvčí 310
Klip B Videohovor, dva mluvčí 285
Klip C Kavárna, mluvčí s přízvukem 296

Počty slov jsou zástupné. Pozor u kroku 4: normalizátor může rozdílně zpracovat zkratky a čísla. Whisper CLI nebylo v našem prostředí nainstalováno, proto jsme tento test nespustili. Před důvěrou ve skóre si označené rozdíly přečtěte.

Jak přesná je whispertranscribe.ai?

whispertranscribe.ai je webový přepisovací nástroj AI založený na Whisper, který podporuje 130+ jazyků a soubory až 5GB a 10 hodin. Přesnost u čistého audia dosahuje až 99 %; hluk, silné přízvuky a překrývání ji snižují, jak ukazují výše uvedené benchmarky samotného Whisper. Netvrdíme, že dosahujeme či překonáváme hodnoty studie, a nezveřejnili jsme vlastní benchmark, proto otestujte své klipy výše uvedeným postupem.

Můžete začít zdarma bez účtu. Placené plány začínají na $9.99/měsíc při roční platbě; viz ceny.

Časté dotazy

Je Whisper přesný na 99 %?

Obecně ne. Nejlepší zveřejněný výsledek Whisper je WER 2.5 % na LibriSpeech test-clean, sadě čistě čtených audioknih, tedy asi 97.5 % správných slov. U hovorů, schůzek a hlučných místností se vlastní výsledky OpenAI pohybují přibližně mezi 13 % a 40 % WER. Tvrzení „99 %“ něco znamená pouze tehdy, když určí měřené audio. Nástroje založené na Whisper, včetně whispertranscribe.ai, posuzujte podle svých nahrávek, nikoli titulkového procenta.

Který model Whisper je nejpřesnější?

Nejpřesnější jsou velké modely. Ve studii OpenAI měl large-v2 nejnižší chybovost u většiny sad a karta large-v3 uvádí o 10 % až 20 % méně chyb než large-v2 v mnoha jazycích. Model turbo je optimalizovaný large-v3, který podle OpenAI ztrácí málo přesnosti výměnou za výrazně vyšší rychlost. Nejmenší tiny je u obtížného audia mnohem méně přesný: 48.0 % WER na hlučné večeři oproti 24.9 % u large-v2.

Proč Whisper píše nevyslovená slova?

Whisper může halucinovat, protože se kromě přepisu zvuku učí předpovídat pravděpodobný text, a karta modelu OpenAI varuje před výstupem, který v audiu není. Nejčastěji se to děje během dlouhého ticha, hudby či hluku. Nezávislá studie z roku 2023 našla vymyšlené fráze asi v 1 % přepisů a pauzy je činily pravděpodobnějšími. Odstřižení ticha, nastavení jazyka a kontrola tichých míst riziko snižují.

Jak přesný je Whisper s přízvuky?

Whisper zvládá přízvuky lépe než mnoho starších systémů, ale nerovnoměrně. Karta OpenAI uvádí rozdíly mezi přízvuky a dialekty téhož jazyka. Ve studii měly dlouhé rozhovory v afroamerické angličtině (CORAAL) WER 19.6 % oproti 3.5 % u úplných přednášek TED, i když se liší také podmínky nahrávání. Spolehlivý postup je vyzkoušet klip s mluvčími podobnými skutečným nahrávkám a u silných přízvuků plánovat více kontroly.

Je Whisper stejně přesný jako lidský přepisovatel?

V angličtině se přibližuje, ale nejlepším nestačí. OpenAI jej porovnala s pěti profesionálními službami na 25 nahrávkách. Počítačem podporovaná služba měla souhrnný WER o 1.15 bodu nižší než Whisper a čtyři čistě lidské služby byly lepší o zlomek bodu. Lidé stále obvykle lépe zvládají jména, překrývání a nejasnou řeč. U čehokoli citovaného, předkládaného či publikovaného má člověk přepis zkontrolovat podle nahrávky.

Jak přesný je Whisper mimo angličtinu?

Velmi se liší podle jazyka. Na Fleurs měl large-v2 WER 3.0 % ve španělštině, 4.5 % v němčině a 8.3 % ve francouzštině, ale 27.1 % v hebrejštině a 99.0 % v telugštině. Čínština a japonština se hodnotí znakovou chybovostí: 14.7 % a 5.3 %. Studie zjistila souvislost přesnosti s množstvím trénovacího audia pro daný jazyk. U jazyků s méně zdroji nejprve otestujte krátký klip a vyhraďte více času na opravy.

Vyzkoušejte přesnost na vlastní nahrávce

Benchmarky popisují cizí audio. Nahrajte klip do whispertranscribe.ai v některém ze 130+ jazyků a vyhodnoťte jej podle tohoto průvodce. Začněte zdarma bez účtu nebo porovnejte plány.

Související články: Co je Whisper AI? · Nejlepší bezplatný software pro přepis · Nejlepší alternativy TurboScribe · Jak přepsat video YouTube · Co je soubor SRT? · Pevné versus volitelné titulky

Zdroje

Chcete převést nahrávky na text?

Přepisujte zvuk a video s whispertranscribe.ai.

Začít s přepisem ↗