A whispertranscribe.ai szerkesztősége · Utolsó frissítés: 2026. november · 13 perc olvasás
Mi a Whisper AI? A legtöbb keresésben az OpenAI Whisper: az OpenAI 2022 szeptemberében közzétett nyílt forrású beszédfelismerő modellje. A rögzített beszédet szöveggé alakítja, felismeri a beszélt nyelvet, és más nyelvekről angolra fordíthat. Az OpenAI 680 000 órányi webes hangon tanította, kódját és súlyait MIT-licenc alatt adta ki.
Tájékoztatásként: mi készítjük a whispertranscribe.ai szolgáltatást. A whispertranscribe.ai webes AI-átíróeszköz, amely 130+ nyelven alakít hangot és videót szöveggé. Ez az útmutató világosan különválasztja a modellt és a köré épített termékeket; a modellre vonatkozó minden szám az OpenAI saját tanulmányából, repozitóriumából vagy modellkártyájából származik.
Gyors válasz: mi a Whisper AI?
A Whisper beszéd–szöveg modell, nem alkalmazás vagy vállalat. Letöltheted az OpenAI GitHub-repozitóriumából, és saját gépen futtathatod, vagy használhatsz helyetted futtató szolgáltatást.
- Készítő: OpenAI. A Robust Speech Recognition via Large-Scale Weak Supervision kutatási tanulmány 2022. december 6-án jelent meg az arXivon.
- Mit tud: beszédet ír át, nyelvet ismer fel, beszédet angolra fordít és szegmens-időbélyegeket ad.
- Mit nem tud alapból: beszélőt címkézni vagy élőben átírni. Az OpenAI modellkártyája szerint önmagában nem használható valós idejű átírásra.
- Méretek: hat, a tiny 39 millió paraméterétől a large 1 550 milliójáig.
- Ár: ingyenesen letölthető és futtatható. A hardvert neked kell biztosítanod.
A „Whisper AI” három különböző dolgot jelenthet
A nevet lazán használják, ezért könnyű összekeverni a három jelentést.
| Amit „Whisper AI”-nak neveznek | Mi ez? | Ki készíti? | Használat |
|---|---|---|---|
| OpenAI Whisper | Nyílt forrású beszédfelismerő modell | OpenAI | Kód és súlyok letöltése, saját futtatás |
| whisper-1 | Az OpenAI hosztolt átírási API-modellje | OpenAI | Hang küldése az OpenAI API-jába, használatalapú fizetéssel |
| „Whisper” nevű alkalmazások | Átírótermékek, például whisperai.com és whispertranscribe.ai (ez az oldal) | Külön vállalatok | Hang feltöltése vagy rögzítése az appban |
A harmadik sor termékei nem azonosak magával a modellel és nem felcserélhetők. Minden cég maga szabja meg funkcióit, korlátait, árait és adatvédelmi feltételeit. Ebben a cikkben a „Whisper” az OpenAI modelljét jelenti.
Hogyan működik a Whisper?
A Whisper encoder-decoder Transformer. Az encoder 30 másodpercnyi hangból numerikus reprezentációt készít, a decoder pedig tokenenként írja a hozzá tartozó szöveget, a feladatot meghatározó speciális tokenekkel vezérelve.
A Whisper-tanulmány folyamata:
- Újramintavételezés. A hang 16 000 Hz-re alakul.
- 30 másodperces ablakok. A modell egyszerre mindig 30 másodpercet lát. A rövidebb klipeket kitöltik.
- Spektrogram. Minden ablak 80 csatornás log-Mel-spektrogrammá válik, amely a hangenergia frekvenciák szerinti változását mutatja; 25 ezredmásodperces kereteken 10 ezredmásodpercenként számolják. (A large-v3 128 csatornára váltott.)
- Kódolás. Két konvolúciós réteg és Transformer-blokkok sora dolgozza fel a spektrogramot.
- Dekódolás. A dekóder először a nyelvet vagy a „nincs beszéd” tokent jósolja, majd a feladatot (átírás vagy fordítás), az időbélyegek szükségességét és végül a szöveget.
Az időbélyegek is jósolt tokenek, a legközelebbi 20 ezredmásodpercre kerekítve. Így kezeli egy modell a nyelvfelismerést, átírást, fordítást és időzítést.
Min tanították a Whispert?
Az eredeti modellek 680 000 órányi internetes hangból és hozzá tartozó átiratból tanultak. Az OpenAI ezt „gyenge felügyeletnek” nevezi, mert az átiratokat nem ellenőrizték kézzel úgy, mint a benchmark-adatkészleteket.
| A tanítóhang aránya | Óra | Tartalom |
|---|---|---|
| Körülbelül 65% | 438 000 | Angol hang angol átirattal |
| Körülbelül 18% | 126 000 | Nem angol hang angol átirattal (fordítási adat) |
| Körülbelül 17% | 117 000 | Nem angol hang azonos nyelvű átirattal |
Forrás: OpenAI Whisper-modellkártya. A tanulmány 125 000 órára kerekíti a fordítási részt.
Két részlet sokat elmagyaráz a viselkedésből. Az OpenAI kiszűrte a gépinek látszó átiratokat, például a csupa nagybetűs szöveget, így a modell írásjelezett mondatokat tanult. A korai modellek beszélőneveket is találgattak, mert sok webes átirat tartalmazta őket. Az OpenAI finomhangolással visszaszorította ezt, de jól mutatja a tanítószöveg hatását.
A large-v3 másképp készült: körülbelül 5 millió órán, ebből 1 millió gyengén címkézett webes és 4 millió large-v2 által címkézett, a Hugging Face modellkártyája szerint.
Whisper-modellméretek összehasonlítása
A Whisper hat méretben érhető el. A kisebb modellek szerény hardveren gyorsabbak; a nagyobbak kevesebbet hibáznak, de több videomemóriát (VRAM) igényelnek. Az alábbi számok az OpenAI README fájljából valók.
| Méret | Paraméterek | Csak angol verzió | Többnyelvű verzió | Szükséges VRAM | Sebesség a large-hoz képest |
|---|---|---|---|---|---|
| tiny | 39 M | tiny.en | tiny | ~1 GB | ~10x |
| base | 74 M | base.en | base | ~1 GB | ~7x |
| small | 244 M | small.en | small | ~2 GB | ~4x |
| medium | 769 M | medium.en | medium | ~5 GB | ~2x |
| large | 1550 M | Nincs | large | ~10 GB | 1x |
| turbo | 809 M | Nincs | turbo | ~6 GB | ~8x |
Az OpenAI angol beszéden, A100 adatközponti GPU-val mérte ezeket, és jelzi, hogy a valós sebesség jelentősen eltérhet. Laptopon lassabb lesz.
Melyik Whisper-modellt válaszd?
A rendelkezésre álló memória és a cél alapján indulj:
- Teszt egyszerű gépen: tiny vagy base, körülbelül 1 GB VRAM. Több hiba várható.
- Csak angol:
.enmodellt használj. Az OpenAI szerint ezek jobbak, különösen tiny és base méretben. - Jó minőség ésszerű sebességgel: turbo, körülbelül 6 GB. Ez a parancssori alapértelmezés.
- Beszéd fordítása angolra: medium vagy large. A turbo nincs fordításra tanítva, és kérésre is az eredeti nyelvet adja vissza.
- Legnehezebb hang, legjobb elérhető eredmény: large, körülbelül 10 GB VRAM.
Whisper-verziók: rövid idővonal
A „large” három kiadást jelentett, a turbo pedig karcsúsított large-v3. A verzió számít, mert az ellenőrzőpontok eltérő eredményt adnak.
| Verzió | Megjelenés | Mi változott? |
|---|---|---|
| Eredeti modellek (tiny–large) | 2022. szeptember | Első nyílt forrású kiadás a tanulmánnyal |
| large-v2 | 2022. december | Azonos méret, 2,5-szer hosszabb tanítás több regularizációval |
| large-v3 | 2023. november | 128 Mel-csatorna, új kantoni token, sok nyelven 10–20%-kal kevesebb hiba a v2-nél |
| turbo (large-v3-turbo) | 2024. szeptember | Dekóderrétegek száma 32-ről 4-re csökkent a sebességért; nincs fordítás |
Források: Whisper-modellkártya, a tanulmány large-v2 lábjegyzete és a large-v3, illetve large-v3-turbo Hugging Face-kártyák.
Hány nyelvet támogat a Whisper?
A Whisper körülbelül 99 nyelvet ismer fel. A tanulmány nyelvdetektora 99 nyelvi tokent használt, a jelenlegi tokenizer 100 nyelvkódot sorol fel, miután a large-v3 hozzáadta a kantonit. A támogatás nem jelent egyforma minőséget: a modellkártya körülbelül 10 nyelven jelez erős eredményt.
A minőség a tanítóadattól függ. A tanulmány szerint a nyelvenként látott órák száma erősen előre jelzi a teljesítményt, és a legtöbb nyelv 1 000 óránál kevesebbet kapott. Angol, spanyol vagy német általában tisztább eredményt ad, mint a kevés adattal rendelkező nyelv. A README nyelvenkénti hibadiagramra hivatkozik.
Ne keverd össze a termékek számaival. A whispertranscribe.ai 130+ nyelvet támogat. Ez a termék támogatása (az ároldal „130+ languages & accents” kifejezést használ), nem a nyílt Whisper-modell tulajdonsága.
Mennyire pontos a Whisper?
Nincs egyetlen Whisper-pontossági szám: a modell méretétől, nyelvétől és a felvételtől függ. Tiszta felolvasott angolon a large-v2 2,7% szóhibaarányt (WER) ért el. Tizennégy angol tesztkészlet átlagában, amelyek többsége nehezebb, 12,8% volt.
A WER az emberi referenciaátirathoz képest felcserélt, kihagyott vagy hozzáadott szavak aránya. Az alacsonyabb jobb. A táblázat a tanulmány 2. táblázatából származik; a Whisper large-v2 modellt egy LibriSpeech hangoskönyv-adatkészleten tanított wav2vec 2.0 modellel hasonlítja össze:
| Tesztkészlet | wav2vec 2.0 WER | Whisper large-v2 WER |
|---|---|---|
| LibriSpeech clean (felolvasott hangoskönyvek) | 2,7% | 2,7% |
| Common Voice (önkéntesek felvételei) | 29,9% | 9,0% |
| CHiME-6 (zajos vacsorafelvételek) | 65,8% | 25,5% |
| A táblázat 14 tesztjének átlaga | 29,3% | 12,8% |
A mintázat fontos. A hangoskönyv-teszt döntetlen, a többi körülményen a Whisper jóval ellenállóbb, átlagosan 55,2%-kal kevesebb hibával. Az OpenAI bejelentése ezt 50%-ra kerekíti. A zajtesztben a LibriSpeech-en tanított modellek közel tiszta hangon jobbak voltak, de 10 dB jel–zaj arány alatt, hangos kocsmazajban elmaradtak a Whispertől.
Ezek kutatási benchmarkok, nem ígéretek a saját fájlodra; a termékállítások külön kezelendők. A whispertranscribe.ai például tiszta hangon akár 99% pontosságot ér el, amit zaj, átfedés és erős akcentus csökkent.
Melyek a Whisper korlátai?
A Whisper fő gyengesége, hogy gördülékeny szöveget írhat olyasmiről, amit senki sem mondott. Az OpenAI modellkártyája ezt hallucinációnak nevezi, és a gyengén felügyelt tanítással hozza kapcsolatba. Ismétlést, nyelvek és akcentusok közötti eltérő pontosságot, valamint beépített beszélőcímke hiányát is felsorolja.
- Hallucinált szöveg. A 2024-es Careless Whisper vizsgálatban az ellenőrzött átiratok körülbelül 1%-a teljes, a hangban nem szereplő kifejezést vagy mondatot tartalmazott. A hallucináció hosszú szünetnél gyakoribb volt.
- Ismétlési ciklusok. A modell megakadhat egy kifejezés ismétlésében. A beam search és temperature fallback a modellkártya szerint valamelyest csökkenti, de nem szünteti meg.
- Hiányzó első vagy utolsó szavak. A tanulmány ismert hibaként említi a szegmens első vagy utolsó néhány szavának kihagyását.
- A hosszú felvétel ablakolást igényel. A Whisper egyszerre csak 30 másodpercet lát. Hosszabb fájlnál az átíróeszköz a jósolt időbélyegek alapján csúsztatja az ablakot, így egy hiba a következőt is befolyásolhatja.
- Nincs beszélőcímke. A diarizációt, vagyis ki mikor beszélt, a modellkártya szerint nem értékelték átfogóan. Külön eszköz kell hozzá.
- Alapból nem valós idejű. Felvett fájlokra készült. Élő feliratozáshoz további fejlesztés kell.
- Nyelvenként és akcentusonként egyenetlen. A modellkártya egyes akcentusokra, dialektusokra és demográfiai csoportokra magasabb hibaarányt jelez.
Az OpenAI mások beleegyezés nélküli átírása és magas kockázatú döntések ellen is figyelmeztet.
Amiben a hivatalos források eltérnek
Az OpenAI dokumentumainak számai főként kerekítés vagy verzióváltás miatt eltérhetnek. Idézés előtt ellenőrizd:
| Téma | Egyik hivatalos forrás | Másik | Mit használj? |
|---|---|---|---|
| Hibacsökkenés LibriSpeech-modellekhez képest | Tanulmány: átlagosan 55,2%-kal kevesebb | OpenAI-bejelentés: 50%-kal kevesebb | A tanulmányt idézd és nevezd meg az összehasonlítást |
| Az angolon kívüli tanítónyelvek | Tanulmány: 96 másik nyelv | Modellkártya: 98 nyelv | „Körülbelül 99 nyelv” felismeréshez |
| Fordítási tanítóórák | Modellkártya: 126 000 | Tanulmány: 125 000 | Bármelyik közelítőként megjelölve |
| Turbo paraméterszáma | README és Hugging Face: 809 M | Modellkártya táblázata: 798 M | 809 M, ezt használja a legtöbb forrás |
| Tanítóadat mérete | Eredeti tanulmány: 680 000 óra | Large-v3 kártya: 5 millió óra | Nevezd meg a verziót |
| Licenc | GitHub: MIT a kódra és súlyokra | Hugging Face large-v3 metaadat: Apache-2.0 | Ellenőrizd a letöltött példány licencfájlját |
A Whisper használata: saját futtatás, API vagy alkalmazás
Három gyakorlati út van. A saját futtatás ingyenes és a gépen tartja a hangot. Az OpenAI API-ja megspórolja a telepítést, de fájlméretkorlátja van. Egy hosztolt átíró szerkesztőt, beszélőcímkét és exportot ad, de harmadik fél saját feltételeivel.
| Nyílt Whisper saját futtatása | OpenAI átírási API | Hosztolt átíróapp | |
|---|---|---|---|
| Beállítás | Python, PyTorch és FFmpeg | Kód és API-kulcs | Böngésző |
| Ár | Ingyenes; saját hardver | Használatalapú | Ingyenes szint vagy előfizetés, appfüggő |
| Fájlkorlát | Saját hardver | Fájlonként 25 MB | Apponként meghatározott |
| Hová kerül a hang? | A gépen marad | OpenAI-hoz küldve | Az app szervereire küldve |
| Beszélőcímke | Nem beépített | whisper-1-ben nincs | Apptól függ |
| Szerkesztés és export | TXT, SRT, VTT, TSV, JSON parancssorból | A kódba érkezik; a többit neked kell megépíteni | Többnyire szerkesztő és dokumentum-, illetve feliratexport |
Whisper futtatása saját gépen
Az OpenAI README telepítési parancsot és alapfuttatást ad:
pip install -U openai-whisper
whisper interview.mp3 --model turbo
Telepített FFmpeg is kell, és a README szerint a kód Python 3.8–3.11 verzión fut. A beszélt nyelvhez add meg a --language, többnyelvű modellel angol fordításhoz a --task translate kapcsolót. A súlyok első használatkor letöltődnek. A Whisper CLI itt nincs telepítve, és nem teszteltük.
Az OpenAI API használata
Az OpenAI beszéd–szöveg útmutatója fájlonként 25 MB-ra korlátozza a feltöltést, ezért a nagyobbat tömörítsd vagy oszd fel. A 2026. novemberi ellenőrzéskor az útmutató a whisper-1 modellt kivezetettként jelölte, 2027. február 26-i leállási dátummal, és újabb átírómodellekre mutatott. Ezek újabb OpenAI beszédmodellek, nem a nyílt Whisper-család új kiadásai.
Hosztolt átíróapp használata
Ha nem szeretnél telepíteni, a hosztolt app a szerverein dolgozza fel a fájlt. A whispertranscribe.ai egy lehetőség, amelynek ingyenes hang–szöveg konvertálója gyors próba. Főoldalunk Whisperrel és következő generációs AI-val működőként írja le a whispertranscribe.ai szolgáltatást. Termékoldalaink alapján:
- Hang- vagy videófájl feltöltése legfeljebb 5 GB és 10 óra méretben, illetve YouTube-, Vimeo-, Google Drive- vagy Dropbox-link a Transcribe from URL oldalon.
- 130+ nyelv, bekapcsolható beszélőfelismeréssel.
- Élő átírás mikrofonból és böngészős rögzítés és átírás. Rögzítés előtt szerezd be a szükséges hozzájárulásokat és a szervező engedélyét.
- DOCX, PDF, SRT, VTT, TXT és CSV export, köztük az AI-feliratgenerátor feliratai.
- Hang angolra fordítása nem angol felvételekhez.
A kompromisszum valós: a fájl felhőszolgáltatáshoz kerül, nem marad a gépen. Nem kínálunk API-t, saját szókincset vagy megbeszélésbotot. A fizetős csomag $9.99/hó ártól indul éves számlázással (árak), és ingyen, fiók nélkül kezdhetsz. Részletek: Whisper AI átíróeszköz vagy összes funkció.
Nyílt forrású a Whisper, és mit enged a licenc?
Igen. Az OpenAI repozitóriuma szerint a Whisper kódját és modellsúlyait MIT-licenc alatt adták ki. Az MIT megengedő licenc. Általában engedi a kód használatát, másolását, módosítását és az arra épülő szoftver értékesítését, ha a szerzői jogi és licencértesítést megtartod.
Két figyelmeztetés: más webhelyek példányai eltérő licencmetaadatot tartalmazhatnak; a Hugging Face large-v3 oldala Apache-2.0-t sorol fel. Olvasd el a használt példány licencét. A licenc a szoftverre vonatkozik, nem a betáplált felvételre. A hangra továbbra is érvényes a hozzájárulás és adatvédelem. Ez általános tájékoztatás, nem jogi tanács; a hivatalos forrás az MIT-licenc szövege.
Kinek való a Whisper?
A Whisper fejlesztőknek és terminált használni tudóknak jó, akik ingyenes, privát, korlátlan átírást szeretnének. Ha kész átiratot keresel szerkesztővel és exporttal, egy hosztolt app általában gyorsabb.
| Ha te… | Jó választás | Miért? |
|---|---|---|
| Terméket építő fejlesztő vagy | Nyílt Whisper vagy API | Teljes kontroll a folyamat felett |
| Érzékeny interjúkkal dolgozó kutató vagy | Helyben futtatott nyílt Whisper | A hang nem hagyja el a gépet |
| Alkotó vagy, akinek ezen a héten felirat kell | Hosztolt app SRT- vagy VTT-exporttal | Nincs beállítás; időzített fájl feltöltésre kész |
| GPU nélküli laptopod van | Kis helyi modell vagy hosztolt app | A nagy modell körülbelül 10 GB VRAM-ot igényel |
Ellenőrzőlista, mielőtt a Whisper-átiratra hagyatkozol
A listát az OpenAI tanulmányában és modellkártyájában szereplő hibák alapján állítottuk össze:
- A szünetekben és csendes részekben ellenőrizd a ki nem mondott mondatokat.
- Keresd az egymás után többször ismételt kifejezéseket.
- A fájl első és utolsó sorát ellenőrizd a hanghoz.
- Ellenőrizd a neveket, számokat és szakkifejezéseket.
- Győződj meg a helyes nyelvfelismerésről, vagy állítsd be kézzel.
- Fordításhoz ne a turbo modellt használd.
- Szükség esetén külön eszközzel adj beszélőcímkéket.
- Mások rögzítése vagy átírása előtt szerezd be a szükséges hozzájárulásokat és a szervező engedélyét.
Gyakori kérdések
Ingyenes a Whisper AI?
Igen, az OpenAI Whisper ingyen letölthető és futtatható. Az OpenAI a kódot és súlyokat MIT alatt licenceli, így használatukért nem kell fizetni neki. A számítógépet neked kell biztosítanod, és a large modell nagyjából 10 GB GPU-memóriát kér. A hosztolt lehetőségek pénzbe kerülnek: az OpenAI API használatalapú díjas, az átíróappok saját csomagokat kínálnak. Az ingyenes nem feltétlenül egyszerű: Python, FFmpeg és parancssori jártasság kell.
Meg tudja különböztetni a Whisper a beszélőket?
Nem önmagában. A Whisper leírja az elhangzottakat, de nem címkézi, ki mondta. Az OpenAI modellkártyája szerint a beszélődiarizációt nem értékelték átfogóan. Címkézéshez külön diarizációs eszközzel párosítják, vagy beszélőfelismerő átíróappot használnak. A whispertranscribe.ai például átírás előtt bekapcsolható beszélőfelismerést kínál. Hasonló hangoknál mindig ellenőrizd a címkéket.
Átírhat a Whisper valós időben?
Nem alapból. A Whisper felvett hangra készült és 30 másodperces ablakokban dolgozik; az OpenAI modellkártyája szerint valós idejű átíráshoz további munka kell. Fejlesztők rövid beérkező szakaszokkal közel valós idejű eszközöket építettek köré. Élő felirathoz válassz külön élő módot kínáló eszközt, és számíts több javításra, mint kész felvétel átiratánál.
Hány nyelvet támogat a Whisper?
Körülbelül 99 nyelvet ismer fel; a jelenlegi tokenizer 100 nyelvkódot tartalmaz, miután a large-v3 hozzáadta a kantonit. A minőség nagyon eltér. Az OpenAI modellkártyája körülbelül 10 nyelven jelez erős eredményt, a tanulmány szerint a legtöbb nyelv 1 000 óránál kevesebb tanítóhangot kapott. Ritkább nyelvnél kipróbálás nélkül ne hagyatkozz rá. Az olyan termékszámok, mint a whispertranscribe.ai 130+ nyelve, a termék, nem a nyílt modell támogatását jelentik.
Ugyanaz a whispertranscribe.ai és az OpenAI Whisper?
Nem. Az OpenAI Whisper letölthető és saját gépen futtatható nyílt modell. A whispertranscribe.ai külön böngészős átírási szolgáltatás, amelynek főoldala Whisperrel és következő generációs AI-val működőként írja le. Olyan funkciókat ad, amelyek a nyers modellben nincsenek: legfeljebb 5 GB feltöltés, YouTube- vagy Google Drive-linkimport, beszélőfelismerés és DOCX-, PDF-, SRT-, VTT-export. Más „Whisper” nevű appok külön cégek külön termékei.
Miért ír a Whisper néha ki nem mondott szavakat?
Mert nyelvi modellként jósol szöveget. Az OpenAI modellkártyája szerint a nagy és zajos webes adatokon történő tanítás miatt a modell olykor a hangban nem szereplő szavakat ad. Az OpenAI magyarázata szerint a következő valószínű szó előrejelzése keveredik a hallottak átírásával. Egy 2024-es tanulmány a vizsgált átiratok mintegy 1%-ában talált kitalált teljes kifejezést, gyakrabban hosszú szüneteknél. A szüneteket, halk részeket és fontos tartalmat ellenőrizd a hang alapján.
Whisper-átiratot szeretnél telepítés nélkül? Tölts fel fájlt vagy illessz linket a whispertranscribe.ai oldalra, és kapj szöveget 130+ nyelven DOCX, PDF, SRT és VTT exporttal.
Hivatkozások
- OpenAI: Introducing Whisper (2022. szeptember 21.)
- Radford és társai: Robust Speech Recognition via Large-Scale Weak Supervision (arXiv 2212.04356)
- OpenAI: Whisper GitHub-repozitórium és README, modellkártya és MIT-licenc
- Hugging Face: openai/whisper-large-v3 modellkártya
- OpenAI API-dokumentáció: Speech to text útmutató (ellenőrizve 2026 novemberében)
- Koenecke és társai: Careless Whisper: Speech-to-Text Hallucination Harms (arXiv 2402.08021)
