Mi a Whisper AI? Az OpenAI beszédfelismerő modelljének működése

A whispertranscribe.ai szerkesztősége · Utolsó frissítés: 2026. november · 13 perc olvasás

Mi a Whisper AI? A legtöbb keresésben az OpenAI Whisper: az OpenAI 2022 szeptemberében közzétett nyílt forrású beszédfelismerő modellje. A rögzített beszédet szöveggé alakítja, felismeri a beszélt nyelvet, és más nyelvekről angolra fordíthat. Az OpenAI 680 000 órányi webes hangon tanította, kódját és súlyait MIT-licenc alatt adta ki.

Tájékoztatásként: mi készítjük a whispertranscribe.ai szolgáltatást. A whispertranscribe.ai webes AI-átíróeszköz, amely 130+ nyelven alakít hangot és videót szöveggé. Ez az útmutató világosan különválasztja a modellt és a köré épített termékeket; a modellre vonatkozó minden szám az OpenAI saját tanulmányából, repozitóriumából vagy modellkártyájából származik.

Gyors válasz: mi a Whisper AI?

A Whisper beszéd–szöveg modell, nem alkalmazás vagy vállalat. Letöltheted az OpenAI GitHub-repozitóriumából, és saját gépen futtathatod, vagy használhatsz helyetted futtató szolgáltatást.

  • Készítő: OpenAI. A Robust Speech Recognition via Large-Scale Weak Supervision kutatási tanulmány 2022. december 6-án jelent meg az arXivon.
  • Mit tud: beszédet ír át, nyelvet ismer fel, beszédet angolra fordít és szegmens-időbélyegeket ad.
  • Mit nem tud alapból: beszélőt címkézni vagy élőben átírni. Az OpenAI modellkártyája szerint önmagában nem használható valós idejű átírásra.
  • Méretek: hat, a tiny 39 millió paraméterétől a large 1 550 milliójáig.
  • Ár: ingyenesen letölthető és futtatható. A hardvert neked kell biztosítanod.

A „Whisper AI” három különböző dolgot jelenthet

A nevet lazán használják, ezért könnyű összekeverni a három jelentést.

Amit „Whisper AI”-nak neveznek Mi ez? Ki készíti? Használat
OpenAI Whisper Nyílt forrású beszédfelismerő modell OpenAI Kód és súlyok letöltése, saját futtatás
whisper-1 Az OpenAI hosztolt átírási API-modellje OpenAI Hang küldése az OpenAI API-jába, használatalapú fizetéssel
„Whisper” nevű alkalmazások Átírótermékek, például whisperai.com és whispertranscribe.ai (ez az oldal) Külön vállalatok Hang feltöltése vagy rögzítése az appban

A harmadik sor termékei nem azonosak magával a modellel és nem felcserélhetők. Minden cég maga szabja meg funkcióit, korlátait, árait és adatvédelmi feltételeit. Ebben a cikkben a „Whisper” az OpenAI modelljét jelenti.

Hogyan működik a Whisper?

A Whisper encoder-decoder Transformer. Az encoder 30 másodpercnyi hangból numerikus reprezentációt készít, a decoder pedig tokenenként írja a hozzá tartozó szöveget, a feladatot meghatározó speciális tokenekkel vezérelve.

A Whisper-tanulmány folyamata:

  1. Újramintavételezés. A hang 16 000 Hz-re alakul.
  2. 30 másodperces ablakok. A modell egyszerre mindig 30 másodpercet lát. A rövidebb klipeket kitöltik.
  3. Spektrogram. Minden ablak 80 csatornás log-Mel-spektrogrammá válik, amely a hangenergia frekvenciák szerinti változását mutatja; 25 ezredmásodperces kereteken 10 ezredmásodpercenként számolják. (A large-v3 128 csatornára váltott.)
  4. Kódolás. Két konvolúciós réteg és Transformer-blokkok sora dolgozza fel a spektrogramot.
  5. Dekódolás. A dekóder először a nyelvet vagy a „nincs beszéd” tokent jósolja, majd a feladatot (átírás vagy fordítás), az időbélyegek szükségességét és végül a szöveget.

Az időbélyegek is jósolt tokenek, a legközelebbi 20 ezredmásodpercre kerekítve. Így kezeli egy modell a nyelvfelismerést, átírást, fordítást és időzítést.

Min tanították a Whispert?

Az eredeti modellek 680 000 órányi internetes hangból és hozzá tartozó átiratból tanultak. Az OpenAI ezt „gyenge felügyeletnek” nevezi, mert az átiratokat nem ellenőrizték kézzel úgy, mint a benchmark-adatkészleteket.

A tanítóhang aránya Óra Tartalom
Körülbelül 65% 438 000 Angol hang angol átirattal
Körülbelül 18% 126 000 Nem angol hang angol átirattal (fordítási adat)
Körülbelül 17% 117 000 Nem angol hang azonos nyelvű átirattal

Forrás: OpenAI Whisper-modellkártya. A tanulmány 125 000 órára kerekíti a fordítási részt.

Két részlet sokat elmagyaráz a viselkedésből. Az OpenAI kiszűrte a gépinek látszó átiratokat, például a csupa nagybetűs szöveget, így a modell írásjelezett mondatokat tanult. A korai modellek beszélőneveket is találgattak, mert sok webes átirat tartalmazta őket. Az OpenAI finomhangolással visszaszorította ezt, de jól mutatja a tanítószöveg hatását.

A large-v3 másképp készült: körülbelül 5 millió órán, ebből 1 millió gyengén címkézett webes és 4 millió large-v2 által címkézett, a Hugging Face modellkártyája szerint.

Whisper-modellméretek összehasonlítása

A Whisper hat méretben érhető el. A kisebb modellek szerény hardveren gyorsabbak; a nagyobbak kevesebbet hibáznak, de több videomemóriát (VRAM) igényelnek. Az alábbi számok az OpenAI README fájljából valók.

Méret Paraméterek Csak angol verzió Többnyelvű verzió Szükséges VRAM Sebesség a large-hoz képest
tiny 39 M tiny.en tiny ~1 GB ~10x
base 74 M base.en base ~1 GB ~7x
small 244 M small.en small ~2 GB ~4x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M Nincs large ~10 GB 1x
turbo 809 M Nincs turbo ~6 GB ~8x

Az OpenAI angol beszéden, A100 adatközponti GPU-val mérte ezeket, és jelzi, hogy a valós sebesség jelentősen eltérhet. Laptopon lassabb lesz.

Melyik Whisper-modellt válaszd?

A rendelkezésre álló memória és a cél alapján indulj:

  • Teszt egyszerű gépen: tiny vagy base, körülbelül 1 GB VRAM. Több hiba várható.
  • Csak angol: .en modellt használj. Az OpenAI szerint ezek jobbak, különösen tiny és base méretben.
  • Jó minőség ésszerű sebességgel: turbo, körülbelül 6 GB. Ez a parancssori alapértelmezés.
  • Beszéd fordítása angolra: medium vagy large. A turbo nincs fordításra tanítva, és kérésre is az eredeti nyelvet adja vissza.
  • Legnehezebb hang, legjobb elérhető eredmény: large, körülbelül 10 GB VRAM.

Whisper-verziók: rövid idővonal

A „large” három kiadást jelentett, a turbo pedig karcsúsított large-v3. A verzió számít, mert az ellenőrzőpontok eltérő eredményt adnak.

Verzió Megjelenés Mi változott?
Eredeti modellek (tiny–large) 2022. szeptember Első nyílt forrású kiadás a tanulmánnyal
large-v2 2022. december Azonos méret, 2,5-szer hosszabb tanítás több regularizációval
large-v3 2023. november 128 Mel-csatorna, új kantoni token, sok nyelven 10–20%-kal kevesebb hiba a v2-nél
turbo (large-v3-turbo) 2024. szeptember Dekóderrétegek száma 32-ről 4-re csökkent a sebességért; nincs fordítás

Források: Whisper-modellkártya, a tanulmány large-v2 lábjegyzete és a large-v3, illetve large-v3-turbo Hugging Face-kártyák.

Hány nyelvet támogat a Whisper?

A Whisper körülbelül 99 nyelvet ismer fel. A tanulmány nyelvdetektora 99 nyelvi tokent használt, a jelenlegi tokenizer 100 nyelvkódot sorol fel, miután a large-v3 hozzáadta a kantonit. A támogatás nem jelent egyforma minőséget: a modellkártya körülbelül 10 nyelven jelez erős eredményt.

A minőség a tanítóadattól függ. A tanulmány szerint a nyelvenként látott órák száma erősen előre jelzi a teljesítményt, és a legtöbb nyelv 1 000 óránál kevesebbet kapott. Angol, spanyol vagy német általában tisztább eredményt ad, mint a kevés adattal rendelkező nyelv. A README nyelvenkénti hibadiagramra hivatkozik.

Ne keverd össze a termékek számaival. A whispertranscribe.ai 130+ nyelvet támogat. Ez a termék támogatása (az ároldal „130+ languages & accents” kifejezést használ), nem a nyílt Whisper-modell tulajdonsága.

Mennyire pontos a Whisper?

Nincs egyetlen Whisper-pontossági szám: a modell méretétől, nyelvétől és a felvételtől függ. Tiszta felolvasott angolon a large-v2 2,7% szóhibaarányt (WER) ért el. Tizennégy angol tesztkészlet átlagában, amelyek többsége nehezebb, 12,8% volt.

A WER az emberi referenciaátirathoz képest felcserélt, kihagyott vagy hozzáadott szavak aránya. Az alacsonyabb jobb. A táblázat a tanulmány 2. táblázatából származik; a Whisper large-v2 modellt egy LibriSpeech hangoskönyv-adatkészleten tanított wav2vec 2.0 modellel hasonlítja össze:

Tesztkészlet wav2vec 2.0 WER Whisper large-v2 WER
LibriSpeech clean (felolvasott hangoskönyvek) 2,7% 2,7%
Common Voice (önkéntesek felvételei) 29,9% 9,0%
CHiME-6 (zajos vacsorafelvételek) 65,8% 25,5%
A táblázat 14 tesztjének átlaga 29,3% 12,8%

A mintázat fontos. A hangoskönyv-teszt döntetlen, a többi körülményen a Whisper jóval ellenállóbb, átlagosan 55,2%-kal kevesebb hibával. Az OpenAI bejelentése ezt 50%-ra kerekíti. A zajtesztben a LibriSpeech-en tanított modellek közel tiszta hangon jobbak voltak, de 10 dB jel–zaj arány alatt, hangos kocsmazajban elmaradtak a Whispertől.

Ezek kutatási benchmarkok, nem ígéretek a saját fájlodra; a termékállítások külön kezelendők. A whispertranscribe.ai például tiszta hangon akár 99% pontosságot ér el, amit zaj, átfedés és erős akcentus csökkent.

Melyek a Whisper korlátai?

A Whisper fő gyengesége, hogy gördülékeny szöveget írhat olyasmiről, amit senki sem mondott. Az OpenAI modellkártyája ezt hallucinációnak nevezi, és a gyengén felügyelt tanítással hozza kapcsolatba. Ismétlést, nyelvek és akcentusok közötti eltérő pontosságot, valamint beépített beszélőcímke hiányát is felsorolja.

  1. Hallucinált szöveg. A 2024-es Careless Whisper vizsgálatban az ellenőrzött átiratok körülbelül 1%-a teljes, a hangban nem szereplő kifejezést vagy mondatot tartalmazott. A hallucináció hosszú szünetnél gyakoribb volt.
  2. Ismétlési ciklusok. A modell megakadhat egy kifejezés ismétlésében. A beam search és temperature fallback a modellkártya szerint valamelyest csökkenti, de nem szünteti meg.
  3. Hiányzó első vagy utolsó szavak. A tanulmány ismert hibaként említi a szegmens első vagy utolsó néhány szavának kihagyását.
  4. A hosszú felvétel ablakolást igényel. A Whisper egyszerre csak 30 másodpercet lát. Hosszabb fájlnál az átíróeszköz a jósolt időbélyegek alapján csúsztatja az ablakot, így egy hiba a következőt is befolyásolhatja.
  5. Nincs beszélőcímke. A diarizációt, vagyis ki mikor beszélt, a modellkártya szerint nem értékelték átfogóan. Külön eszköz kell hozzá.
  6. Alapból nem valós idejű. Felvett fájlokra készült. Élő feliratozáshoz további fejlesztés kell.
  7. Nyelvenként és akcentusonként egyenetlen. A modellkártya egyes akcentusokra, dialektusokra és demográfiai csoportokra magasabb hibaarányt jelez.

Az OpenAI mások beleegyezés nélküli átírása és magas kockázatú döntések ellen is figyelmeztet.

Amiben a hivatalos források eltérnek

Az OpenAI dokumentumainak számai főként kerekítés vagy verzióváltás miatt eltérhetnek. Idézés előtt ellenőrizd:

Téma Egyik hivatalos forrás Másik Mit használj?
Hibacsökkenés LibriSpeech-modellekhez képest Tanulmány: átlagosan 55,2%-kal kevesebb OpenAI-bejelentés: 50%-kal kevesebb A tanulmányt idézd és nevezd meg az összehasonlítást
Az angolon kívüli tanítónyelvek Tanulmány: 96 másik nyelv Modellkártya: 98 nyelv „Körülbelül 99 nyelv” felismeréshez
Fordítási tanítóórák Modellkártya: 126 000 Tanulmány: 125 000 Bármelyik közelítőként megjelölve
Turbo paraméterszáma README és Hugging Face: 809 M Modellkártya táblázata: 798 M 809 M, ezt használja a legtöbb forrás
Tanítóadat mérete Eredeti tanulmány: 680 000 óra Large-v3 kártya: 5 millió óra Nevezd meg a verziót
Licenc GitHub: MIT a kódra és súlyokra Hugging Face large-v3 metaadat: Apache-2.0 Ellenőrizd a letöltött példány licencfájlját

A Whisper használata: saját futtatás, API vagy alkalmazás

Három gyakorlati út van. A saját futtatás ingyenes és a gépen tartja a hangot. Az OpenAI API-ja megspórolja a telepítést, de fájlméretkorlátja van. Egy hosztolt átíró szerkesztőt, beszélőcímkét és exportot ad, de harmadik fél saját feltételeivel.

Nyílt Whisper saját futtatása OpenAI átírási API Hosztolt átíróapp
Beállítás Python, PyTorch és FFmpeg Kód és API-kulcs Böngésző
Ár Ingyenes; saját hardver Használatalapú Ingyenes szint vagy előfizetés, appfüggő
Fájlkorlát Saját hardver Fájlonként 25 MB Apponként meghatározott
Hová kerül a hang? A gépen marad OpenAI-hoz küldve Az app szervereire küldve
Beszélőcímke Nem beépített whisper-1-ben nincs Apptól függ
Szerkesztés és export TXT, SRT, VTT, TSV, JSON parancssorból A kódba érkezik; a többit neked kell megépíteni Többnyire szerkesztő és dokumentum-, illetve feliratexport

Whisper futtatása saját gépen

Az OpenAI README telepítési parancsot és alapfuttatást ad:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

Telepített FFmpeg is kell, és a README szerint a kód Python 3.8–3.11 verzión fut. A beszélt nyelvhez add meg a --language, többnyelvű modellel angol fordításhoz a --task translate kapcsolót. A súlyok első használatkor letöltődnek. A Whisper CLI itt nincs telepítve, és nem teszteltük.

Az OpenAI API használata

Az OpenAI beszéd–szöveg útmutatója fájlonként 25 MB-ra korlátozza a feltöltést, ezért a nagyobbat tömörítsd vagy oszd fel. A 2026. novemberi ellenőrzéskor az útmutató a whisper-1 modellt kivezetettként jelölte, 2027. február 26-i leállási dátummal, és újabb átírómodellekre mutatott. Ezek újabb OpenAI beszédmodellek, nem a nyílt Whisper-család új kiadásai.

Hosztolt átíróapp használata

Ha nem szeretnél telepíteni, a hosztolt app a szerverein dolgozza fel a fájlt. A whispertranscribe.ai egy lehetőség, amelynek ingyenes hang–szöveg konvertálója gyors próba. Főoldalunk Whisperrel és következő generációs AI-val működőként írja le a whispertranscribe.ai szolgáltatást. Termékoldalaink alapján:

A kompromisszum valós: a fájl felhőszolgáltatáshoz kerül, nem marad a gépen. Nem kínálunk API-t, saját szókincset vagy megbeszélésbotot. A fizetős csomag $9.99/hó ártól indul éves számlázással (árak), és ingyen, fiók nélkül kezdhetsz. Részletek: Whisper AI átíróeszköz vagy összes funkció.

Nyílt forrású a Whisper, és mit enged a licenc?

Igen. Az OpenAI repozitóriuma szerint a Whisper kódját és modellsúlyait MIT-licenc alatt adták ki. Az MIT megengedő licenc. Általában engedi a kód használatát, másolását, módosítását és az arra épülő szoftver értékesítését, ha a szerzői jogi és licencértesítést megtartod.

Két figyelmeztetés: más webhelyek példányai eltérő licencmetaadatot tartalmazhatnak; a Hugging Face large-v3 oldala Apache-2.0-t sorol fel. Olvasd el a használt példány licencét. A licenc a szoftverre vonatkozik, nem a betáplált felvételre. A hangra továbbra is érvényes a hozzájárulás és adatvédelem. Ez általános tájékoztatás, nem jogi tanács; a hivatalos forrás az MIT-licenc szövege.

Kinek való a Whisper?

A Whisper fejlesztőknek és terminált használni tudóknak jó, akik ingyenes, privát, korlátlan átírást szeretnének. Ha kész átiratot keresel szerkesztővel és exporttal, egy hosztolt app általában gyorsabb.

Ha te… Jó választás Miért?
Terméket építő fejlesztő vagy Nyílt Whisper vagy API Teljes kontroll a folyamat felett
Érzékeny interjúkkal dolgozó kutató vagy Helyben futtatott nyílt Whisper A hang nem hagyja el a gépet
Alkotó vagy, akinek ezen a héten felirat kell Hosztolt app SRT- vagy VTT-exporttal Nincs beállítás; időzített fájl feltöltésre kész
GPU nélküli laptopod van Kis helyi modell vagy hosztolt app A nagy modell körülbelül 10 GB VRAM-ot igényel

Ellenőrzőlista, mielőtt a Whisper-átiratra hagyatkozol

A listát az OpenAI tanulmányában és modellkártyájában szereplő hibák alapján állítottuk össze:

  • A szünetekben és csendes részekben ellenőrizd a ki nem mondott mondatokat.
  • Keresd az egymás után többször ismételt kifejezéseket.
  • A fájl első és utolsó sorát ellenőrizd a hanghoz.
  • Ellenőrizd a neveket, számokat és szakkifejezéseket.
  • Győződj meg a helyes nyelvfelismerésről, vagy állítsd be kézzel.
  • Fordításhoz ne a turbo modellt használd.
  • Szükség esetén külön eszközzel adj beszélőcímkéket.
  • Mások rögzítése vagy átírása előtt szerezd be a szükséges hozzájárulásokat és a szervező engedélyét.

Gyakori kérdések

Ingyenes a Whisper AI?

Igen, az OpenAI Whisper ingyen letölthető és futtatható. Az OpenAI a kódot és súlyokat MIT alatt licenceli, így használatukért nem kell fizetni neki. A számítógépet neked kell biztosítanod, és a large modell nagyjából 10 GB GPU-memóriát kér. A hosztolt lehetőségek pénzbe kerülnek: az OpenAI API használatalapú díjas, az átíróappok saját csomagokat kínálnak. Az ingyenes nem feltétlenül egyszerű: Python, FFmpeg és parancssori jártasság kell.

Meg tudja különböztetni a Whisper a beszélőket?

Nem önmagában. A Whisper leírja az elhangzottakat, de nem címkézi, ki mondta. Az OpenAI modellkártyája szerint a beszélődiarizációt nem értékelték átfogóan. Címkézéshez külön diarizációs eszközzel párosítják, vagy beszélőfelismerő átíróappot használnak. A whispertranscribe.ai például átírás előtt bekapcsolható beszélőfelismerést kínál. Hasonló hangoknál mindig ellenőrizd a címkéket.

Átírhat a Whisper valós időben?

Nem alapból. A Whisper felvett hangra készült és 30 másodperces ablakokban dolgozik; az OpenAI modellkártyája szerint valós idejű átíráshoz további munka kell. Fejlesztők rövid beérkező szakaszokkal közel valós idejű eszközöket építettek köré. Élő felirathoz válassz külön élő módot kínáló eszközt, és számíts több javításra, mint kész felvétel átiratánál.

Hány nyelvet támogat a Whisper?

Körülbelül 99 nyelvet ismer fel; a jelenlegi tokenizer 100 nyelvkódot tartalmaz, miután a large-v3 hozzáadta a kantonit. A minőség nagyon eltér. Az OpenAI modellkártyája körülbelül 10 nyelven jelez erős eredményt, a tanulmány szerint a legtöbb nyelv 1 000 óránál kevesebb tanítóhangot kapott. Ritkább nyelvnél kipróbálás nélkül ne hagyatkozz rá. Az olyan termékszámok, mint a whispertranscribe.ai 130+ nyelve, a termék, nem a nyílt modell támogatását jelentik.

Ugyanaz a whispertranscribe.ai és az OpenAI Whisper?

Nem. Az OpenAI Whisper letölthető és saját gépen futtatható nyílt modell. A whispertranscribe.ai külön böngészős átírási szolgáltatás, amelynek főoldala Whisperrel és következő generációs AI-val működőként írja le. Olyan funkciókat ad, amelyek a nyers modellben nincsenek: legfeljebb 5 GB feltöltés, YouTube- vagy Google Drive-linkimport, beszélőfelismerés és DOCX-, PDF-, SRT-, VTT-export. Más „Whisper” nevű appok külön cégek külön termékei.

Miért ír a Whisper néha ki nem mondott szavakat?

Mert nyelvi modellként jósol szöveget. Az OpenAI modellkártyája szerint a nagy és zajos webes adatokon történő tanítás miatt a modell olykor a hangban nem szereplő szavakat ad. Az OpenAI magyarázata szerint a következő valószínű szó előrejelzése keveredik a hallottak átírásával. Egy 2024-es tanulmány a vizsgált átiratok mintegy 1%-ában talált kitalált teljes kifejezést, gyakrabban hosszú szüneteknél. A szüneteket, halk részeket és fontos tartalmat ellenőrizd a hang alapján.


Whisper-átiratot szeretnél telepítés nélkül? Tölts fel fájlt vagy illessz linket a whispertranscribe.ai oldalra, és kapj szöveget 130+ nyelven DOCX, PDF, SRT és VTT exporttal.

Hivatkozások

Szeretné szöveggé alakítani a felvételeit?

Írja át hang- és videófelvételeit a whispertranscribe.ai segítségével.

Átírás indítása ↗