Čo je Whisper AI? Ako funguje model rozpoznávania reči od OpenAI

Redakcia whispertranscribe.ai · Aktualizované v novembri 2026 · Čítanie: 13 minút

Čo je Whisper AI? Vo väčšine vyhľadávaní ide o OpenAI Whisper, open-source model rozpoznávania reči, ktorý OpenAI zverejnila v septembri 2022. Mení nahranú reč na text, určuje hovorený jazyk a dokáže prekladať iné jazyky do angličtiny. OpenAI ho trénovala na 680 000 hodinách webového zvuku a kód aj váhy modelu vydala pod licenciou MIT.

Krátke vysvetlenie: vytvárame whispertranscribe.ai. whispertranscribe.ai je webový nástroj na AI transkripciu, ktorý mení zvuk a video na text vo viac ako 130 jazykoch. Tento návod jasne oddeľuje model od produktov, ktoré na ňom stavajú; všetky čísla o modeli pochádzajú z práce, repozitára alebo model card OpenAI.

Rýchla odpoveď: čo je Whisper AI?

Whisper je model na prevod reči na text, nie aplikácia ani spoločnosť. Môžete si ho stiahnuť z GitHub repozitára OpenAI a spustiť vo vlastnom počítači alebo použiť službu, ktorá ho prevádzkuje za vás.

  • Autor: OpenAI. Výskumná práca Robust Speech Recognition via Large-Scale Weak Supervision bola zverejnená na arXiv 6. decembra 2022.
  • Čo robí: prepisuje reč, rozpoznáva jazyk, prekladá reč do angličtiny a pridáva časové značky segmentov.
  • Čo neobsahuje priamo: označenie hovoriacich ani živý prepis. Podľa model card OpenAI ho nemožno bez ďalších úprav použiť na transkripciu v reálnom čase.
  • Veľkosti: šesť, od tiny (39 miliónov parametrov) po large (1 550 miliónov).
  • Cena: stiahnutie a spustenie sú bezplatné; hardvér zabezpečíte vy.

„Whisper AI“ môže znamenať tri rôzne veci

Názov sa používa voľne a tieto tri významy sa ľahko zamieňajú.

Čo ľudia nazývajú „Whisper AI“ Čo to je Kto to vytvára Ako to používate
OpenAI Whisper Open-source model rozpoznávania reči OpenAI Stiahnete kód a váhy a spustíte ich sami
whisper-1 Hostovaný API model OpenAI na transkripciu OpenAI Pošlete zvukové súbory do API OpenAI a platíte podľa použitia
Aplikácie s „Whisper“ v názve Transkripčné produkty, napríklad whisperai.com a whispertranscribe.ai (tento web) Samostatné spoločnosti Nahrajete alebo zaznamenáte zvuk v ich aplikácii

Produkty v treťom riadku nie sú samotný model ani nie sú zameniteľné. Každá spoločnosť stanovuje vlastné funkcie, limity, ceny a pravidlá ochrany súkromia. V tomto článku znamená „Whisper“ model OpenAI.

Ako funguje Whisper?

Whisper je Transformer typu encoder-decoder. Encoder premieňa 30 sekúnd zvuku na číselnú reprezentáciu a decoder zapisuje zodpovedajúci text po jednotlivých tokenoch podľa špeciálnych tokenov určujúcich úlohu.

Práca o Whisper opisuje tento postup:

  1. Prevzorkovanie. Zvuk sa prevedie na 16 000 Hz.
  2. Rozdelenie na 30-sekundové okná. Model sa naraz pozerá vždy na 30 sekúnd. Kratšie klipy sa doplnia.
  3. Vytvorenie spektrogramu. Každé okno sa zmení na 80-kanálový log-Mel spektrogram, obraz zmeny zvukovej energie naprieč frekvenciami, počítaný na 25-milisekundových snímkach každých 10 milisekúnd. Large-v3 prešiel na 128 kanálov.
  4. Kódovanie. Spektrogram spracujú dve konvolučné vrstvy a sústava blokov Transformer.
  5. Dekódovanie. Decoder najprv predpovie jazyk alebo token „bez reči“. Nasleduje úloha, teda prepis alebo preklad, určenie časových značiek a samotný text.

Aj časové značky sa predpovedajú ako tokeny zaokrúhlené na najbližších 20 milisekúnd. Tak jeden model zvláda rozpoznanie jazyka, prepis, preklad a časovanie.

Na čom sa Whisper trénoval?

Pôvodné modely sa učili zo 680 000 hodín internetového zvuku s príslušnými prepismi. OpenAI to nazýva „weak supervision“, pretože prepisy neboli ručne kontrolované ako benchmarkové datasety.

Podiel tréningového zvuku Hodiny Obsah
Približne 65% 438 000 Anglický zvuk s anglickými prepismi
Približne 18% 126 000 Neanglický zvuk s anglickými prepismi (prekladové dáta)
Približne 17% 117 000 Neanglický zvuk s prepismi v rovnakom jazyku

Zdroj: Whisper model card od OpenAI. Práca zaokrúhľuje prekladovú časť na 125 000 hodín.

Správanie Whisper vysvetľujú dva detaily. OpenAI filtrovala prepisy, ktoré vyzerali ako strojové, napríklad text výlučne veľkými písmenami, takže model sa naučil písať vety s interpunkciou. A skoré modely hádali mená hovoriacich, pretože mnohé webové prepisy ich obsahovali. OpenAI tento zvyk obmedzila doladením, no ukazuje to, ako blízko model kopíruje tréningový text.

Large-v3 sa trénoval inak, približne na 5 miliónoch hodín: 1 milión so slabými webovými štítkami a 4 milióny označené modelom large-v2, podľa jeho Hugging Face model card.

Porovnanie veľkostí modelu Whisper

Whisper existuje v šiestich veľkostiach. Menšie modely bežia rýchlejšie na skromnejšom hardvéri; väčšie robia menej chýb, ale vyžadujú viac video pamäte (VRAM). Čísla sú z README OpenAI.

Veľkosť Parametre Verzia iba pre angličtinu Viacjazyčná verzia Potrebná VRAM Rýchlosť oproti large
tiny 39 M tiny.en tiny ~1 GB ~10x
base 74 M base.en base ~1 GB ~7x
small 244 M small.en small ~2 GB ~4x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M Žiadna large ~10 GB 1x
turbo 809 M Žiadna turbo ~6 GB ~8x

OpenAI merala rýchlosti na anglickej reči pomocou GPU A100 v dátovom centre a uvádza, že v praxi sa môžu výrazne líšiť. Notebook bude pomalší.

Ktorý model Whisper si vybrať?

Začnite dostupnou pamäťou a účelom prepisu:

  • Testovanie na základnom počítači: tiny alebo base, približne 1 GB VRAM. Očakávajte viac chýb.
  • Iba angličtina: použite model .en. OpenAI uvádza lepší výsledok najmä pri tiny a base.
  • Dobrá kvalita pri rozumnej rýchlosti: turbo, približne 6 GB. Je predvolený v príkazovom riadku.
  • Preklad reči do angličtiny: medium alebo large. Turbo nie je trénovaný na preklad a vracia pôvodný jazyk aj pri požiadavke na preklad.
  • Najťažší zvuk a najlepší možný výsledok: large, približne 10 GB VRAM.

Verzie Whisper: krátka časová os

Pod „large“ patria tri vydania a turbo je zoštíhlený large-v3. Verzia je dôležitá, pretože výsledky sa podľa checkpointu líšia.

Verzia Vydanie Čo sa zmenilo
Pôvodné modely (tiny až large) September 2022 Prvé open-source vydanie s prácou
large-v2 December 2022 Rovnaká veľkosť, tréning 2.5-krát dlhší s dodatočnou regularizáciou
large-v3 November 2023 128 Mel kanálov, nový token pre kantončinu, o 10% až 20% menej chýb ako v2 v mnohých jazykoch
turbo (large-v3-turbo) September 2024 Vrstvy decoderu znížené z 32 na 4 pre rýchlosť; bez prekladu

Zdroje: Whisper model card, poznámka práce k large-v2 a Hugging Face karty pre large-v3 a large-v3-turbo.

Koľko jazykov Whisper podporuje?

Whisper rozpoznáva približne 99 jazykov. Detektor v práci používal 99 jazykových tokenov a súčasný tokenizer uvádza 100 jazykových kódov po pridaní kantončiny v large-v3. Podpora však neznamená rovnakú kvalitu: podľa model card má Whisper silné výsledky približne v 10 jazykoch.

Kvalita súvisí s tréningovými dátami. Práca zistila silnú predvídateľnosť výkonu podľa počtu hodín daného jazyka a väčšina jazykov mala menej ako 1 000 hodín. Angličtina, španielčina alebo nemčina zvyčajne vyjdú čistejšie ako jazyk s málo dátami. README odkazuje na graf chýb podľa jazyka.

Nezamieňajte si to s počtom v produkte. whispertranscribe.ai podporuje viac ako 130 jazykov. Tento údaj patrí produktu, pričom cenník uvádza „130+ languages & accents“; nejde o vlastnosť open-source modelu Whisper.

Aký presný je Whisper?

Neexistuje jedno číslo presnosti, pretože závisí od veľkosti modelu, jazyka a nahrávky. Pri čistej čítanej angličtine dosiahol large-v2 mieru chybovosti slov (WER) 2.7%. V priemere 14 anglických testovacích súborov, väčšinou náročnejších, to bolo 12.8%.

WER vyjadruje podiel chybných slov vrátane zamenených, vynechaných alebo pridaných v porovnaní s referenčným prepisom od človeka. Menej je lepšie. Čísla pochádzajú z tabuľky 2 práce, ktorá porovnáva Whisper large-v2 s modelom wav2vec 2.0 trénovaným na audioknihách LibriSpeech:

Testovacia množina wav2vec 2.0 WER Whisper large-v2 WER
LibriSpeech clean (čítané audioknihy) 2.7% 2.7%
Common Voice (reč nahraná dobrovoľníkmi) 29.9% 9.0%
CHiME-6 (hlučné nahrávky z večere) 65.8% 25.5%
Priemer všetkých 14 množín v tabuľke 29.3% 12.8%

Dôležitý je vzorec. Na audioknihách sú modely vyrovnané, no inde si Whisper vedie výrazne lepšie a v priemere robí o 55.2% menej chýb. OpenAI toto číslo v oznámení zaokrúhľuje na 50%. V testoch hluku modely trénované na LibriSpeech prekonali Whisper pri takmer čistom zvuku, no zaostali pri silnom hluku typickom pre podnik, pod pomerom signálu a šumu 10 dB.

Ide o výskumné benchmarky, nie prísľub pre vaše súbory; tvrdenia produktov sú samostatné. Napríklad whispertranscribe.ai dosahuje pri čistom zvuku presnosť až 99%, ktorú znižuje hluk, prekrývanie reči a silný prízvuk.

Aké sú obmedzenia Whisper?

Hlavnou slabinou je, že môže napísať plynulý text, ktorý nikto nepovedal. Model card OpenAI to nazýva halucináciou a spája so slabo kontrolovaným tréningom. Uvádza aj opakovanie, nerovnomernú presnosť podľa jazyka a prízvuku a chýbajúce vstavané označenie hovoriacich.

  1. Halucinovaný text. V štúdii z roku 2024 Careless Whisper výskumníci zistili, že približne 1% kontrolovaných prepisov obsahovalo celé frázy alebo vety chýbajúce v zvuku. Častejšie vznikali pri dlhých pauzách.
  2. Opakovanie. Model sa môže zaseknúť pri opakovaní frázy. Beam search a temperature fallback to podľa model card do istej miery znižujú, nie však úplne.
  3. Chýbajúce prvé alebo posledné slová. Práca uvádza preskočenie prvých alebo posledných slov segmentu ako známy problém.
  4. Dlhé nahrávky potrebujú delenie na okná. Whisper vidí naraz 30 sekúnd. Pri dlhších súboroch nástroj posúva okno podľa predpovedaných časových značiek, takže chyba môže ovplyvniť ďalšie okno.
  5. Žiadne označenia hovoriacich. Diarizácia, teda určenie kto a kedy hovoril, nebola podľa model card dôkladne vyhodnotená. Potrebný je samostatný nástroj.
  6. Predvolene nie je v reálnom čase. Vznikol pre nahrané súbory. Živé titulky vyžadujú ďalšie technické riešenie.
  7. Nerovnomerná kvalita podľa jazyka a prízvuku. Model card uvádza vyššie chybovosti pri niektorých prízvukoch, dialektoch a demografických skupinách.

OpenAI tiež varuje pred prepisovaním ľudí bez ich súhlasu a použitím pri vysoko rizikovom rozhodovaní.

Kde sa oficiálne zdroje líšia

Niektoré čísla sa v dokumentoch OpenAI líšia, väčšinou pre zaokrúhľovanie alebo zmeny verzie. Pred citovaním overte:

Téma Jeden oficiálny zdroj Iný zdroj Čo použiť
Zníženie chýb oproti modelom LibriSpeech Práca: priemerne o 55.2% menej chýb Oznámenie OpenAI: o 50% menej chýb Citujte prácu a pomenujte porovnanie
Tréningové jazyky okrem angličtiny Práca: 96 ďalších jazykov Model card: 98 jazykov „Približne 99 jazykov“ pri rozpoznávaní
Hodiny prekladového tréningu Model card: 126 000 Práca: 125 000 Ktorýkoľvek údaj s označením približnosti
Počet parametrov turbo README a Hugging Face: 809 M Tabuľka model card: 798 M 809 M, údaj používaný väčšinou zdrojov
Veľkosť tréningových dát Pôvodná práca: 680 000 hodín Karta large-v3: 5 miliónov hodín Uveďte konkrétnu verziu
Licencia GitHub: MIT pre kód a váhy Metadáta Hugging Face large-v3: Apache-2.0 Skontrolujte licenčný súbor stiahnutej kópie

Ako používať Whisper: vlastné spustenie, API alebo aplikácia

Máte tri praktické možnosti. Vlastné spustenie je bezplatné a zvuk zostáva vo vašom počítači. API OpenAI odstraňuje potrebu nastavenia, no obmedzuje veľkosť súboru. Hostovaná aplikácia pridáva úpravy, označenie hovoriacich a exporty, ale ide o službu tretej strany s vlastnými podmienkami.

Vlastný open-source Whisper OpenAI transcription API Hostovaná transkripčná aplikácia
Nastavenie Python, PyTorch a FFmpeg Kód a API kľúč Prehliadač
Cena Zadarmo; vlastný hardvér Platba podľa použitia Bezplatná úroveň alebo predplatné podľa aplikácie
Limity súborov Váš hardvér 25 MB na súbor Určuje aplikácia
Kam ide zvuk Zostáva v počítači Posiela sa OpenAI Posiela sa na servery aplikácie
Označenie hovoriacich Nie je vstavané Nie vo whisper-1 Závisí od aplikácie
Úpravy a exporty TXT, SRT, VTT, TSV, JSON z príkazového riadku Výsledok sa vráti do vášho kódu; zvyšok vytvoríte vy Zvyčajne editor a export dokumentov a titulkov

Spustenie Whisper vo vlastnom počítači

README OpenAI uvádza príkaz na inštaláciu a základné spustenie:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

Potrebujete aj nainštalovaný FFmpeg a podľa README by kód mal fungovať s Python 3.8 až 3.11. Pridajte --language na určenie hovoreného jazyka alebo --task translate s viacjazyčným modelom pre angličtinu. Váhy modelu sa stiahnu pri prvom použití.

Použitie API OpenAI

Sprievodca prevodom reči na text OpenAI obmedzuje nahrávanie na 25 MB na súbor, preto väčšie súbory skomprimujte alebo rozdeľte. Pri kontrole v novembri 2026 označoval whisper-1 ako zastaraný s dátumom ukončenia 26. februára 2027 a smeroval vývojárov k novším transkripčným modelom. Tieto novšie modely sú modely OpenAI na reč, nie nové vydania open-source rodiny Whisper.

Použitie hostovanej transkripčnej aplikácie

Ak nechcete nič inštalovať, hostovaná aplikácia spracuje súbory na svojich serveroch. whispertranscribe.ai je jednou z možností a jeho bezplatný prevodník zvuku na text je rýchly spôsob vyskúšania. Domovská stránka opisuje whispertranscribe.ai ako nástroj využívajúci Whisper a AI novej generácie. Podľa našich produktových stránok ponúka:

Existujú aj kompromisy. Súbor sa posiela do cloudovej služby namiesto toho, aby zostal vo vašom počítači. Neponúkame API, vlastný slovník ani meeting bot. Platené plány začínajú na $9.99 mesačne pri ročnej fakturácii (ceny) a môžete začať zadarmo bez účtu. Podrobnosti nájdete na stránke Whisper AI transcription tool alebo všetky funkcie.

Je Whisper open source a čo povoľuje licencia?

Áno. Repozitár OpenAI uvádza, že kód a váhy modelu Whisper sú vydané pod licenciou MIT. MIT je permisívna licencia: vo všeobecnosti umožňuje používať, kopírovať, upravovať a predávať softvér založený na kóde, pokiaľ zachováte oznámenie o autorských právach a licencii.

Dve upozornenia. Kópie na iných weboch môžu mať odlišné licenčné metadáta; stránka large-v3 na Hugging Face uvádza Apache-2.0. Prečítajte si licenciu priloženú ku kópii. Licencia sa vzťahuje na softvér, nie na nahrávky, ktoré doň vložíte. Pravidlá súhlasu a súkromia pre zvuk naďalej platia. Ide o všeobecné informácie, nie právne poradenstvo; oficiálnym zdrojom je text licencie MIT.

Pre koho je Whisper?

Whisper je vhodný pre vývojárov a každého, kto vie pracovať s terminálom a chce bezplatnú, súkromnú transkripciu bez pevného limitu. Ak potrebujete hotový prepis s editorom a exportom, hostovaná aplikácia býva rýchlejšia.

Ste… Vhodná možnosť Prečo
Vývojár vytvárajúci produkt Open-source Whisper alebo API Úplná kontrola nad postupom
Výskumník s citlivými rozhovormi Open-source Whisper spustený lokálne Zvuk neopustí počítač
Tvorca, ktorý tento týždeň potrebuje titulky Hostovaná aplikácia s exportom SRT alebo VTT Bez nastavovania; časované súbory pripravené na nahranie
Používateľ notebooku bez GPU Malý model lokálne alebo hostovaná aplikácia Veľké modely vyžadujú približne 10 GB VRAM

Pred dôverou v prepis Whisper: kontrolný zoznam

Zoznam vychádza z problémov opísaných v práci a model card OpenAI:

  • Skontrolujte pauzy a tiché úseky, či neobsahujú vety, ktoré nikto nepovedal.
  • Vyhľadajte frázy opakované niekoľkokrát za sebou.
  • Porovnajte prvé a posledné riadky súboru so zvukom.
  • Overte mená, čísla a odborné výrazy.
  • Potvrďte správne rozpoznanie jazyka alebo ho nastavte ručne.
  • Pri preklade sa uistite, že ste nepoužili turbo.
  • Ak potrebujete označenie hovoriacich, pridajte ho samostatným nástrojom.
  • Pred nahrávaním alebo prepisovaním iných osôb získajte súhlas.

Časté otázky

Je Whisper AI zadarmo?

Áno, OpenAI Whisper možno bezplatne stiahnuť a spustiť. OpenAI licencuje kód a váhy pod MIT, takže za ich použitie neplatíte OpenAI. Počítač však zabezpečujete vy a veľký model potrebuje približne 10 GB pamäte GPU. Hostované možnosti stoja peniaze: API OpenAI účtuje podľa použitia a transkripčné aplikácie majú vlastné plány. „Zadarmo“ neznamená jednoduché; budete potrebovať Python, FFmpeg a základnú znalosť príkazového riadku.

Dokáže Whisper rozlíšiť hovoriacich?

Nie sám o sebe. Whisper zapisuje, čo bolo povedané, ale neoznačuje, kto to povedal. Podľa model card OpenAI neboli schopnosti ako diarizácia hovoriacich dôkladne vyhodnotené. Na označenia sa Whisper bežne kombinuje so samostatným diarizačným nástrojom alebo sa používa aplikácia s rozpoznaním hovoriacich. Napríklad whispertranscribe.ai má voliteľné rozpoznanie, ktoré možno zapnúť pred prepisom. Pri podobných hlasoch označenia vždy skontrolujte.

Dokáže Whisper prepisovať v reálnom čase?

Nie bez ďalších úprav. Whisper bol navrhnutý pre nahraný zvuk a spracúva ho v 30-sekundových oknách; model card OpenAI uvádza, že bez doplnkovej práce nie je určený na transkripciu v reálnom čase. Vývojári vytvorili takmer živé nástroje tým, že priebežne dodávajú krátke úseky. Ak potrebujete živé titulky, hľadajte nástroj so samostatným živým režimom a počítajte s väčšími opravami než pri hotovej nahrávke.

Koľko jazykov Whisper podporuje?

Whisper rozpoznáva približne 99 jazykov a súčasný tokenizer uvádza 100 kódov po pridaní kantončiny v large-v3. Kvalita sa výrazne líši. Model card OpenAI uvádza silné výsledky približne v 10 jazykoch a práca zistila, že väčšina jazykov mala menej ako 1 000 hodín tréningového zvuku. Pred použitím menej bežného jazyka otestujte krátky klip. Údaje produktov, napríklad viac ako 130 jazykov whispertranscribe.ai, opisujú podporu daného produktu, nie open-source modelu.

Je whispertranscribe.ai to isté ako OpenAI Whisper?

Nie. OpenAI Whisper je open-source model, ktorý si stiahnete a spustíte sami. whispertranscribe.ai je samostatná služba na transkripciu v prehliadači; jej domovská stránka ju opisuje ako využívajúcu Whisper a AI novej generácie. Pridáva funkcie, ktoré samotný model neobsahuje, napríklad upload do 5GB, import odkazu z YouTube alebo Google Drive, rozpoznanie hovoriacich a export do DOCX, PDF, SRT a VTT. Ostatné aplikácie s „Whisper“ v názve sú samostatné produkty rôznych spoločností.

Prečo Whisper niekedy píše slová, ktoré nikto nepovedal?

Pretože predpovedá text podobne ako jazykový model. Model card OpenAI uvádza, že tréning na veľkých a hlučných webových dátach môže spôsobiť výstup slov, ktoré nie sú vo zvuku. OpenAI vysvetľuje, že model kombinuje predpovedanie pravdepodobného nasledujúceho slova s prepisom počutého. Štúdia z roku 2024 našla celé vymyslené frázy približne v 1% kontrolovaných prepisov, častejšie pri dlhých pauzách. Pauzy, tiché úseky a dôležité pasáže overte podľa zvuku.


Chcete prepis Whisper bez nastavovania? Nahrajte súbor alebo vložte odkaz do whispertranscribe.ai a získajte text vo viac ako 130 jazykoch s exportom DOCX, PDF, SRT a VTT.

Zdroje

Chcete previesť svoje nahrávky na text?

Prepisujte zvuk a video pomocou whispertranscribe.ai.

Začať s prepisom ↗