Co je Whisper AI? Jak funguje model rozpoznávání řeči od OpenAI

Redakce whispertranscribe.ai · Aktualizováno: listopad 2026 · Čtení na 13 minut

Whisper AI ve většině vyhledávání znamená OpenAI Whisper, open-source model rozpoznávání řeči zveřejněný v září 2022. Převádí nahranou řeč na text, rozpoznává jazyk a umí překládat jiné jazyky do angličtiny. OpenAI jej natrénovala na 680,000 hodinách webového zvuku a zveřejnila kód a váhy pod licencí MIT.

Na úvod: vytváříme whispertranscribe.ai. whispertranscribe.ai je webový nástroj AI převádějící zvuk a video na text ve 130+ jazycích. Tento průvodce rozlišuje model a produkty kolem něj; všechna čísla o modelu pocházejí ze studie, repozitáře nebo modelové karty OpenAI.

Stručná odpověď: co je Whisper AI?

Whisper je model řeči na text, nikoli aplikace či společnost. Můžete jej stáhnout z repozitáře GitHub OpenAI a spustit na vlastním počítači nebo použít službu, která jej spouští za vás.

  • Autor: OpenAI. Studie Robust Speech Recognition via Large-Scale Weak Supervision byla zveřejněna na arXiv 6. prosince 2022.
  • Co dělá: přepisuje řeč, rozpoznává jazyk, překládá řeč do angličtiny a přidává časové značky úseků.
  • Co neumí bez úprav: označovat mluvčí ani živě přepisovat. Modelová karta OpenAI říká, že bez úprav nelze použít pro přepis v reálném čase.
  • Velikosti: šest, od tiny (39 milionů parametrů) po large (1,550 milionů).
  • Cena: stažení a spuštění zdarma. Hardware zajišťujete sami.

„Whisper AI“ může znamenat tři různé věci

Název se používá volně a významy se snadno pletou.

Co se nazývá „Whisper AI“ Co to je Kdo jej vytváří Použití
OpenAI Whisper Open-source model rozpoznávání řeči OpenAI Stáhnete kód a váhy a spustíte sami
whisper-1 Hostovaný model OpenAI API pro přepis OpenAI Odešlete zvuk do API OpenAI a platíte za použití
Aplikace s „Whisper“ v názvu Přepisové produkty jako whisperai.com a whispertranscribe.ai (tento web) Samostatné společnosti Nahrajete nebo zaznamenáte zvuk v jejich aplikacích

Produkty ve třetím řádku nejsou samotným modelem ani zaměnitelné. Každá firma stanovuje vlastní funkce, limity, ceny a soukromí. V tomto článku „Whisper“ znamená model OpenAI.

Jak Whisper funguje?

Whisper je Transformer typu encoder-decoder. Encoder převede 30 sekund zvuku na číselnou reprezentaci a decoder píše odpovídající text po tokenech, řízen zvláštními tokeny určujícími úkol.

Studie Whisper popisuje postup:

  1. Převzorkování. Zvuk se převede na 16,000 Hz.
  2. Rozdělení do 30sekundových oken. Model vidí vždy 30 sekund. Kratší klipy se doplní.
  3. Spektrogram. Každé okno se změní na 80kanálový log-Mel spektrogram zobrazující změny energie podle frekvence, vypočítaný z 25milisekundových rámců každých 10 milisekund. (Large-v3 přešel na 128 kanálů.)
  4. Kódování. Spektrogram zpracují dvě konvoluční vrstvy a bloky Transformeru.
  5. Dekódování. Decoder předpoví jazyk nebo token „bez řeči“, následně úkol (přepis nebo překlad), zahrnutí časů a nakonec text.

Časové značky se také předpovídají jako tokeny, zaokrouhlené na nejbližších 20 milisekund. Jeden model tak zvládá jazyk, přepis, překlad i časování.

Na čem byl Whisper trénován?

Původní modely se učily ze 680,000 hodin internetového zvuku s odpovídajícími přepisy. OpenAI tomu říká slabý dohled, protože přepisy nebyly ručně ověřeny jako benchmarkové sady.

Podíl trénovacího zvuku Hodiny Obsah
Asi 65% 438,000 Anglický zvuk s anglickými přepisy
Asi 18% 126,000 Neanglický zvuk s anglickými přepisy (překladová data)
Asi 17% 117,000 Neanglický zvuk s přepisy ve stejném jazyce

Zdroj: modelová karta Whisper OpenAI. Studie zaokrouhluje překladová data na 125,000 hodin.

Dvě podrobnosti vysvětlují chování modelu. OpenAI odfiltrovala přepisy vypadající jako strojové, například psané velkými písmeny, takže se model naučil interpunkci. Rané modely také odhadovaly jména mluvčích, protože je webové přepisy často obsahovaly. OpenAI tento zvyk doladěním potlačila, ale ukazuje to vliv trénovacího textu.

Large-v3 byl trénován jinak, asi na 5 milionech hodin: 1 milion se slabými webovými štítky a 4 miliony označené large-v2, podle modelové karty Hugging Face.

Srovnání velikostí modelů Whisper

Whisper má šest velikostí. Menší běží rychleji na skromném hardwaru, větší chybují méně, ale potřebují více grafické paměti (VRAM). Údaje pocházejí z README OpenAI.

Velikost Parametry Jen anglická verze Vícejazyčná verze Potřebná VRAM Rychlost proti large
tiny 39 M tiny.en tiny ~1 GB ~10x
base 74 M base.en base ~1 GB ~7x
small 244 M small.en small ~2 GB ~4x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M Žádná large ~10 GB 1x
turbo 809 M Žádná turbo ~6 GB ~8x

OpenAI měřila rychlosti na anglické řeči s datacentrovým GPU A100 a upozorňuje na výrazné rozdíly v praxi. Notebook bude pomalejší.

Který model Whisper vybrat?

Začněte dostupnou pamětí a zamýšleným použitím:

  • Zkoušení na základním počítači: tiny nebo base, asi 1 GB VRAM. Počítejte s více chybami.
  • Pouze angličtina: použijte model .en. Podle OpenAI funguje lépe zejména u tiny a base.
  • Dobrá kvalita při rozumné rychlosti: turbo, asi 6 GB. Je výchozí v příkazové řádce.
  • Překlad řeči do angličtiny: medium nebo large. Turbo není trénováno pro překlad a vrací původní jazyk i při požadavku na překlad.
  • Nejtěžší zvuk a nejlepší možný výsledek: large, asi 10 GB VRAM.

Verze Whisper: stručná časová osa

„Large“ zahrnuje tři vydání a turbo je odlehčený large-v3. Verze je důležitá, protože výsledky checkpointů se liší.

Verze Vydání Změna
Původní modely (tiny až large) Září 2022 První open-source vydání se studií
large-v2 Prosinec 2022 Stejná velikost, 2.5krát delší trénink a další regularizace
large-v3 Listopad 2023 128 Mel kanálů, nový token kantonštiny, o 10% až 20% méně chyb než v2 v mnoha jazycích
turbo (large-v3-turbo) Září 2024 Vrstvy decoderu sníženy z 32 na 4 pro rychlost; bez překladu

Zdroje: modelová karta Whisper, poznámka studie k large-v2 a karty Hugging Face pro large-v3 a large-v3-turbo.

Kolik jazyků Whisper podporuje?

Whisper rozpoznává asi 99 jazyků. Detektor ve studii používal 99 jazykových tokenů a současný tokenizer uvádí 100 kódů po přidání kantonštiny v large-v3. Podpora neznamená stejnou kvalitu: modelová karta uvádí silné výsledky přibližně v „~10 jazycích“.

Kvalita souvisí s trénovacími daty. Studie zjistila, že počet hodin jazyka dobře předpovídá výkon a většina jazyků měla méně než 1,000 hodin. Angličtina, španělština či němčina obvykle vyjdou lépe než jazyk s málem dat. README odkazuje na graf chybovosti podle jazyků.

Nezaměňujte to s údaji produktů. whispertranscribe.ai podporuje 130+ jazyků. Jde o podporu našeho produktu (stránka cen říká „130+ jazyků a přízvuků“), nikoli vlastnost open-source modelu Whisper.

Jak přesný je Whisper?

Jedno číslo přesnosti neexistuje: záleží na velikosti, jazyce a nahrávce. Na čisté čtené angličtině dosáhl large-v2 chybovosti slov (WER) 2.7%. Průměr přes 14 anglických testovacích sad, většinou těžších, byl 12.8%.

WER je podíl chybně zaměněných, vynechaných nebo vložených slov proti referenčnímu lidskému přepisu. Nižší je lepší. Tabulka 2 studie porovnává Whisper large-v2 s modelem wav2vec 2.0 trénovaným na audioknihách LibriSpeech:

Testovací sada wav2vec 2.0 WER Whisper large-v2 WER
LibriSpeech clean (čtené audioknihy) 2.7% 2.7%
Common Voice (řeč nahraná dobrovolníky) 29.9% 9.0%
CHiME-6 (hlučné večeře) 65.8% 25.5%
Průměr všech 14 sad v tabulce 29.3% 12.8%

Důležitý je vzorec. Na audioknihách jsou modely stejné, jinde Whisper obstál lépe a v průměru udělal o 55.2% méně chyb. Oznámení OpenAI zaokrouhluje na „o 50% méně chyb“. V testech hluku modely LibriSpeech překonaly Whisper na téměř čistém zvuku, ale zaostaly při hlasitém hluku podobném hospodě, pod poměrem signálu k šumu 10 dB.

Jde o výzkumné benchmarky, nikoli příslib pro vaše soubory; tvrzení produktů jsou oddělená. Například whispertranscribe.ai dosahuje až 99% u čistého zvuku, přičemž hluk, překrývání a silné přízvuky přesnost snižují.

Jaká jsou omezení Whisperu?

Hlavní slabinou je plynulý text, který nikdo neřekl. Modelová karta OpenAI tomu říká halucinace a spojuje ji se slabým dohledem. Uvádí také opakování, nerovnoměrnou přesnost podle jazyka a přízvuku a chybějící vestavěné označení mluvčích.

  1. Vymyšlený text. Ve studii z roku 2024 Careless Whisper výzkumníci zjistili celé fráze či věty chybějící ve zvuku zhruba v 1% kontrolovaných přepisů. Častější byly při dlouhých pauzách.
  2. Smyčky opakování. Model může opakovat frázi. Beam search a temperature fallback je podle karty částečně omezují, nikoli zcela.
  3. Chybějící první či poslední slova. Studie uvádí vynechání několika slov na začátku nebo konci úseku jako známé selhání.
  4. Dlouhé nahrávky potřebují okna. Whisper vidí jen 30 sekund najednou. Nástroj posouvá okno podle předpovězených časů, takže chyba může ovlivnit následující úsek.
  5. Bez označení mluvčích. Diarizace nebyla podle modelové karty důkladně vyhodnocena. Je potřeba samostatný nástroj.
  6. Standardně bez reálného času. Byl vytvořen pro záznamy; živé titulky vyžadují další vývoj.
  7. Nerovnoměrnost jazyků a přízvuků. Karta uvádí vyšší chybovost u některých přízvuků, dialektů a demografických skupin.

OpenAI také varuje před přepisem osob bez jejich souhlasu a před použitím pro vysoce riziková rozhodnutí.

Kde si oficiální zdroje odporují

Některé údaje se liší kvůli zaokrouhlení nebo verzím. Před citací je ověřte:

Téma Jeden oficiální zdroj Jiný zdroj Co použít
Snížení chyb vůči modelům LibriSpeech Studie: v průměru o 55.2% méně chyb Oznámení OpenAI: o 50% méně Citovat studii a uvést srovnání
Jazyky trénovacích dat kromě angličtiny Studie: 96 dalších Modelová karta: 98 „Asi 99 jazyků“ pro rozpoznávání
Hodiny překladového tréninku Karta: 126,000 Studie: 125,000 Kterýkoli s označením přibližné hodnoty
Počet parametrů turbo README a Hugging Face: 809 M Tabulka karty: 798 M 809 M podle většiny zdrojů
Velikost trénovacích dat Původní studie: 680,000 hodin Karta large-v3: 5 milionů hodin Uvést příslušnou verzi
Licence GitHub: MIT pro kód a váhy Metadata large-v3 na Hugging Face: Apache-2.0 Ověřit licenci stažené kopie

Jak Whisper použít: vlastní spuštění, API nebo aplikace

Existují tři praktické cesty. Vlastní spuštění je zdarma a ponechá zvuk v počítači. API OpenAI odstraňuje instalaci, ale omezuje velikost. Hostovaná aplikace přidává editor, mluvčí a exporty, ale jde o službu třetí strany s vlastními podmínkami.

Open-source Whisper Přepisové API OpenAI Hostovaná aplikace
Nastavení Python, PyTorch a FFmpeg Kód a klíč API Prohlížeč
Cena Zdarma; vlastní hardware Platba za použití Bezplatný tarif nebo předplatné podle aplikace
Limity souborů Váš hardware 25 MB na soubor Stanovuje aplikace
Kam jde zvuk Zůstává v počítači Odesílá se OpenAI Odesílá se na servery aplikace
Mluvčí Nejsou vestavěni Ne u whisper-1 Podle aplikace
Úpravy a exporty TXT, SRT, VTT, TSV, JSON z příkazové řádky Výsledek v kódu; zbytek vytvoříte Obvykle editor a export dokumentů i titulků

Spuštění Whisperu na vlastním počítači

README OpenAI uvádí instalaci a základní spuštění:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

Tyto příkazy jsme zde netestovali, protože Whisper CLI nebyl nainstalován. Potřebujete také FFmpeg; README uvádí Python 3.8 až 3.11. Přidejte --language pro jazyk řeči nebo --task translate s vícejazyčným modelem pro angličtinu. Váhy modelu se stáhnou při prvním použití.

Použití API OpenAI

Průvodce řečí na text OpenAI omezuje soubory na 25 MB, větší tedy komprimujte nebo rozdělte. Při kontrole v listopadu 2026 označuje whisper-1 za zastaralý s ukončením 26. února 2027 a odkazuje na novější modely přepisu. Tyto novější modely řeči OpenAI nejsou novými vydáními open-source rodiny Whisper.

Použití hostované aplikace

Pokud nechcete nic instalovat, hostovaná aplikace zpracovává soubory na serverech. Jednou možností je whispertranscribe.ai a jeho bezplatný převodník zvuku na text pro rychlé vyzkoušení. Úvodní stránka popisuje whispertranscribe.ai jako nástroj využívající Whisper a AI nové generace. Podle produktových stránek nabízí:

Kompromisy jsou skutečné. Soubor jde do cloudu místo setrvání v počítači. Nenabízíme API, vlastní slovník ani bota schůzek. Placené programy začínají od $9.99/měsíc při roční platbě (ceny) a můžete začít zdarma bez účtu. Podrobnosti jsou na stránce nástroje Whisper AI a všech funkcí.

Je Whisper open source a co licence dovoluje?

Ano. Repozitář OpenAI uvádí, že kód a váhy modelu jsou zveřejněny pod MIT licencí. MIT je permisivní licence. Obecně dovoluje software používat, kopírovat, upravovat a prodávat, pokud zachováte oznámení o autorských právech a licenci.

Dvě upozornění. Kopie na jiných webech mohou mít jiná licenční metadata; stránka large-v3 na Hugging Face uvádí Apache-2.0. Přečtěte licenci své kopie. Licence pokrývá software, nikoli vložené nahrávky. Na zvuk se stále vztahují pravidla souhlasu a soukromí. Jde o obecné informace, nikoli právní radu; oficiálním zdrojem je text licence MIT.

Pro koho je Whisper?

Whisper se hodí vývojářům a lidem se znalostí terminálu, kteří chtějí zdarma soukromý neomezený přepis. Pro hotový přepis s editorem a exporty je obvykle rychlejší hostovaná aplikace.

Jste… Vhodná volba Proč
Vývojář vytvářející produkt Open-source Whisper nebo API Plná kontrola postupu
Výzkumník s citlivými rozhovory Open-source Whisper lokálně Zvuk neopustí počítač
Tvůrce potřebující titulky tento týden Hostovaná aplikace s SRT nebo VTT Bez instalace; časované soubory připravené k nahrání
Uživatel notebooku bez GPU Malý lokální model nebo hostovaná aplikace Velké modely potřebují asi 10 GB VRAM

Než přepisu Whisper uvěříte: kontrolní seznam

Seznam vychází ze selhání ve studii a modelové kartě OpenAI:

  • Zkontrolujte pauzy a ticho kvůli větám, které nikdo neřekl.
  • Vyhledejte opakování stejné fráze několikrát za sebou.
  • Ověřte první a poslední řádky proti zvuku.
  • Ověřte jména, čísla a odborné termíny.
  • Potvrďte správné rozpoznání jazyka nebo jej nastavte ručně.
  • U překladu ověřte, že jste nepoužili turbo.
  • Potřebné mluvčí označte samostatným nástrojem.
  • Před nahráváním nebo přepisem jiných osob získejte potřebný souhlas a případné svolení pořadatele.

Časté dotazy

Je Whisper AI zdarma?

Ano, OpenAI Whisper lze zdarma stáhnout a spustit. OpenAI vydává kód a váhy pod MIT, takže za použití neplatíte OpenAI. Počítač však zajišťujete sami a model large potřebuje asi 10 GB grafické paměti. Hostované možnosti stojí peníze: API OpenAI účtuje použití a aplikace mají vlastní tarify. „Zdarma“ neznamená snadno; potřebujete Python, FFmpeg a základní znalost příkazové řádky.

Dokáže Whisper rozlišit mluvčí?

Sám ne. Whisper zapisuje, co zaznělo, ale neoznačuje, kdo to řekl. Modelová karta uvádí, že schopnosti jako diarizace nebyly důkladně vyhodnoceny. Pro označení lidé kombinují Whisper se samostatným nástrojem nebo používají aplikaci s rozlišením mluvčích. Například whispertranscribe.ai umožňuje tuto možnost před přepisem zapnout. U podobných hlasů štítky vždy zkontrolujte.

Dokáže Whisper přepisovat v reálném čase?

Bez úprav ne. Whisper je určen pro nahraný zvuk a zpracovává jej v 30sekundových oknech; modelová karta říká, že bez další práce není určen pro reálný čas. Vývojáři kolem něj vytvořili téměř živé nástroje posílající krátké úseky. Pro živé titulky hledejte nástroj se zvláštním režimem a počítejte s většími úpravami než u hotové nahrávky.

Kolik jazyků Whisper podporuje?

Rozpoznává asi 99 jazyků a současný tokenizer uvádí 100 kódů po přidání kantonštiny v large-v3. Kvalita se výrazně liší. Modelová karta OpenAI uvádí silné výsledky asi v 10 jazycích a studie zjistila, že většina jazyků měla méně než 1,000 hodin trénovacího zvuku. Před použitím méně běžného jazyka vyzkoušejte krátký klip. Produktové údaje jako 130+ jazyků whispertranscribe.ai popisují podporu produktu, nikoli open-source modelu.

Je whispertranscribe.ai totéž co OpenAI Whisper?

Ne. OpenAI Whisper je open-source model ke stažení a vlastnímu spuštění. whispertranscribe.ai je samostatná služba v prohlížeči, jejíž úvodní stránka uvádí Whisper a AI nové generace. Přidává funkce, které základní model nemá, například soubory do 5GB, odkazy YouTube či Google Drive, rozlišení mluvčích a export DOCX, PDF, SRT a VTT. Další aplikace s „Whisper“ v názvu jsou oddělené produkty různých společností.

Proč Whisper někdy píše slova, která nikdo neřekl?

Protože předpovídá text podobně jako jazykový model. Karta OpenAI říká, že rozsáhlá zašuměná webová data vedou model občas k produkci slov, která ve zvuku nejsou. Podle OpenAI kombinuje předpověď dalšího pravděpodobného slova s přepisem slyšeného. Studie z roku 2024 našla celé vymyšlené fráze asi v 1% kontrolovaných přepisů, častěji u dlouhých pauz. Pauzy, ticho a důležitá místa ověřujte proti zvuku.


Chcete přepis Whisper bez instalace? Nahrajte soubor nebo vložte odkaz do whispertranscribe.ai a získejte text ve 130+ jazycích s exporty DOCX, PDF, SRT a VTT.

Zdroje

Chcete převést nahrávky na text?

Přepisujte zvuk a video s whispertranscribe.ai.

Začít s přepisem ↗