Mennyire pontos a Whisper AI? WER, korlátok és tippek (2026)

A whispertranscribe.ai szerkesztősége · Frissítve: 2026. november · 13 perc olvasás · Kategória: Átírási pontosság

Mennyire pontos a Whisper? Tiszta, felolvasott angol beszédnél az OpenAI tanulmánya 2.5% szóhibaarányt (WER) közöl a Whisper large-v2 modellre, vagyis 100 szóból körülbelül 97–98 helyes. Nehezebb hangon rosszabb az eredmény: telefonhívásnál 13.6%, zajos vacsorán 24.9%, egyetlen távoli mikrofonnal rögzített értekezleten 39.9%.

A Whisper az OpenAI nyílt forráskódú beszédfelismerő modellje és sok átíróalkalmazás, köztük a miénk motorja. Ez az útmutató a pontosságról szól: mit mér a WER, mit mutatnak a tesztek hangtípus és nyelv szerint, hol hibázik a Whisper, és hogyan tesztelheted. A modell hátteréhez lásd: mi a Whisper AI.

A legtöbb adat a Whisper-tanulmányból származik (Radford és mtsai, 2022), amely minden modellt „zero-shot” módon, a tesztkészleteken végzett finomhangolás nélkül értékelt. Az újabb large-v3 modellkártya sok nyelven 10–20%-kal kevesebb hibát közöl a large-v2-nél, teljes adatkészletenkénti táblázat nélkül. A cikket a whispertranscribe.ai adja ki. Nem végeztünk hozzá összehasonlító tesztet; a számok nem saját mérésünk eredményei.

A Whisper pontossága röviden

Egyetlen tesztkészlet nem ad teljes választ, mert leginkább a hang változtatja az eredményt. A táblázat az OpenAI large-v2 eredményeit mutatja beam search és temperature fallback használatával (függelék, 9. táblázat), az OpenAI szövegnormalizálása után értékelve.

Hang típusa A tanulmány tesztkészlete Whisper large-v2 WER Helyes szavak hozzávetőleges aránya
Hangoskönyv, tiszta felolvasás LibriSpeech test-clean 2.5% 100-ból kb. 97.5
Felolvasott hírszöveg WSJ 2.6% 100-ból kb. 97.4
TED-előadások TED-LIUM 3 3.7% 100-ból kb. 96
Hangoskönyv, nehezebben érthető beszélők LibriSpeech test-other 4.9% 100-ból kb. 95
Önkéntesek otthoni mikrofonnal Common Voice 5.1 8.2% 100-ból kb. 92
Telefonbeszélgetések Switchboard 13.6% 100-ból kb. 86
Hosszú szociolingvisztikai interjúk CORAAL 14.2% 100-ból kb. 86
Családi és baráti telefonhívások CallHome 16.4% 100-ból kb. 84
Értekezlet, mindenkin fejhallgató-mikrofon AMI IHM 17.4% 100-ból kb. 83
Vacsoratársaságok, távoli mikrofonok CHiME-6 24.9% 100-ból kb. 75
Értekezlet, egy távoli asztali mikrofon AMI SDM1 39.9% 100-ból kb. 60

A „helyes szavak aránya” itt 100 mínusz WER, ami közelítés, mert a WER a beszúrt szavakat is számolja.

Gyakran 2.7% szerepel: ez ugyanaz a modell egyszerűbb greedy dekódolással (a tanulmány 2. táblázata). Az AMI-sorok ugyanazokat az értekezleteket mutatják kétféle felvétellel. Ha a mikrofon a beszélők fejéről az asztal közepére kerül, a hibaarány több mint kétszeresére nő.

Mi a szóhibaarány (WER), és hogyan számítják?

A szóhibaarány az átirat hibáinak aránya egy ember által ellenőrzött referenciaszöveghez képest. Három hibatípust kell összeadni, majd elosztani a referencia szavainak számával:

WER = (helyettesítések + kihagyások + beszúrások) ÷ a referencia szavainak száma

  • Helyettesítés: a helyes szó helyén másik szó áll (például „ház” helyett „láz”).
  • Kihagyás: egy elhangzott szó hiányzik az átiratból.
  • Beszúrás: az átiratban olyan szó van, amelyet senki sem mondott.

Saját, szemléltető példa a WER-számításhoz és a nyílt forrású jiwer könyvtárhoz:

Sor Szöveg
Referencia (22 szó) a termék megjelenését március kilencedikére tettük mert a beszállító két határidőt elmulasztott és patel doktor új teszttervet kér még a találkozó előtt
Átirat a termék ebédjét március kilencedikére tettük mert a beszállító két határidőt elmulasztott badal doktor új teszttervet kér még a találkozó előtt ma
Hibák 2 helyettesítés (ebédjét, badal), 1 kihagyás (és), 1 beszúrás (ma)
WER 4 ÷ 22 = 18.2%

Három gyakran félreértett WER-tulajdonság:

  1. 100% fölé is mehet. A beszúrásoknak nincs felső határa, és a tanulmány Fleurs-eredményeiben néhány kevés erőforrású nyelv 100% fölött van.
  2. A normalizálás módosítja az értéket. A „Dr.” és a „doktor” eltérésnek számít, ha nem egységesen tisztítjuk a szövegeket. Az OpenAI szerint a normalizáló egyes adatkészleteken akár 50%-kal csökkentette a WER-t, főleg a formázási eltérések eltávolításával.
  3. Egyes nyelveknél karakterhibaarányt (CER) használnak. A tanulmány kínai, japán, thai, lao és burmai nyelvnél karaktereket értékel, mert a szavakat nem szóköz választja el.

Megnevezett tesztkészlet és értékelési módszer nélküli pontossági állítás nem mérés, akárki teszi is, minket is beleértve.

Mennyire pontos a Whisper angolul?

Tiszta angol beszéden nagyon pontos, nehezebb felvételeken is használható. A tanulmányban 12 másik angol adatkészleten 55.2%-kal kevesebb hibát vétett, mint egy felügyelt wav2vec 2.0 modell közel azonos LibriSpeech-eredménnyel.

Hosszú felvételek

A Whisper 30 másodperces ablakokban dolgozik, ezért a tanulmány külön vizsgálta a hosszú fájlokat (függelék, 16. táblázat, large-v2):

Hosszú tesztkészlet Tartalom WER
TED-LIUM 3 11 teljes TED-előadás 3.5%
Meanwhile 64 késő esti tévészegmens sok szokatlan szóval 5.1%
Kincaid46 46 vegyes felvétel egy 2018-as összehasonlításból 8.8%
Earnings-21 Vállalati eredménybeszámoló-hívások 9.7%
Rev16 16 podcast epizód 11.3%
Earnings-22 További eredménybeszámolók sok akcentussal 12.6%
CORAAL 231 teljes interjú afroamerikai angolul 19.6%

Whisper és emberi átírók

Az OpenAI 25 Kincaid46-felvételt íratott át négy emberi szolgáltatással és egy számítógéppel támogatott szolgáltatással. Az utóbbi összesített WER-je 1.15 százalékponttal jobb volt a Whisperénél, a teljesen emberi szolgáltatásoké pedig egy százalékpont töredékével. A tanulmány következtetése: nem tökéletes, de nagyon közel áll az emberi pontossághoz.

Számít a modell mérete

A Whisper több méretben létezik, az alkalmazások pedig nem mindig mondják meg, melyiket használják (függelék, 9. táblázat):

Modell Paraméter LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

A különbség nehezebb hangnál nő: tiszta hangoskönyvnél kb. 4, vacsoratársaságnál 23 pont. Az újabb turbo modell optimalizált large-v3, amely az OpenAI GitHub README szerint minimális pontosságvesztést vállal a jóval nagyobb sebességért.

Mennyire pontos a Whisper más nyelveken?

Az angolon kívül a pontosság főként az adott nyelv tanítóhangjának mennyiségétől függ. A tanulmány 0.83 négyzetes korrelációt talált a tanítóórák és a WER logaritmusa között, és becslése szerint az adatok minden 16-szoros növekedésével feleződik a WER. A 96 nem angol nyelv többségéhez 1.000 óránál kevesebb adat állt rendelkezésre.

Válogatott Fleurs-eredmények (felolvasott mondatok, large-v2, függelék 13. táblázat):

Nyelv Fleurs WER Megjegyzés
Spanyol 3.0% A táblázat legkisebb értéke
Angol 4.2%
Portugál 4.3%
Német 4.5%
Japán 5.3% Karakterhibaarány
Orosz 5.6%
Francia 8.3%
Koreai 14.3% Kiugró értékként jelölve
Kínai 14.7% Karakterhibaarány
Arab 16.0%
Hindi 21.5%
Héber 27.1% Kiugró értékként jelölve
Szuahéli 39.3%
Telugu 99.0% Kiugró értékként jelölve

A tanulmány szerint a héber, telugu, kínai és koreai eredménye a tanítóadat alapján vártnál rosszabb, esetleg a nyelvi távolság, az írásrendszerhez rosszul illeszkedő tokenizáló vagy az adatminőség miatt. A Fleurs felolvasott beszédet tartalmaz, így beszélgetésben magasabb hibaarány várható. A README újabb large-v3 és large-v2 ábrát tartalmaz a Common Voice 15 és Fleurs adatokon.

A spanyol eredmények biztatók, ha spanyol hangot írsz át szöveggé. Kevés erőforrású nyelvnél először rövid részletet tesztelj, mielőtt a teljes projektre vállalkozol.

Mi befolyásolja a Whisper pontosságát?

A felvételi körülmények számítanak a legtöbbet. A tanulmány és a modellkártya bizonyítékai:

Tényező Mit mutatnak az adatok? Mit tehetsz?
Háttérzaj 10 dB alatti jel-zaj viszonyú kocsmakörnyezetben a Whisper mind a 14 összehasonlított modellt felülmúlta, de mindegyik romlott a zaj növekedésével Csendes helyiségben rögzíts, ventilátortól és zenétől távol
Mikrofontávolság Ugyanazok az AMI-értekezletek: 17.4% fejhallgató-mikrofonnal, 39.9% egy asztali mikrofonnal A mikrofon legyen közel az éppen beszélőhöz
Beszélgetés és átfedés Telefonhívás és vacsora: 13.6–24.9%, felolvasott beszéd: 2.5% Egyszerre egy beszélő; személyenként egy mikrofon
Akcentusok és nyelvjárások A modellkártya egyenetlen pontosságot jelez; hosszú CORAAL-interjúkon 19.6% Valós felvételeidhez hasonló beszélőkkel tesztelj
Ritka szavak és szaknyelv Jó eredmény a szakkifejezéseket tartalmazó Meanwhile-készleten (5.1%), de a nevek és műszaki kifejezések továbbra is hibaforrások Listából ellenőrizd a neveket és kifejezéseket
Nyelvi erőforrás A Fleurs WER 3.0%-tól (spanyol) 99.0%-ig (telugu) terjed Magad válaszd ki a nyelvet; kevés erőforrásnál tervezz több ellenőrzést
Modellméret CHiME-6-on a tiny 48.0%, a large-v2 24.9% Kérdezd meg, melyik modellt használja az eszköz, vagy válaszd a lehető legnagyobbat
Formátum és mintavétel A Whisper kódja minden hangot 16 kHz mono formára alakít A 48 kHz WAV nem ad többet egy tiszta 16 kHz fájlnál

Az MP3 nagy WAV-fájlba alakítása nem állítja vissza az elveszett részleteket. Egy tiszta, mérsékelt bitrátájú felvétel jobb, mint egy zajos, nagy bitrátájú.

Ismert Whisper-problémák: hallucináció, ismétlés és időbélyeg

Az OpenAI mindegyik hibamódot dokumentálja, amelyek jelentősége nagyobb lehet, mint a WER-ben elfoglalt arányuk sugallja.

Kitalált szöveg

A Whisper leírhat olyan szavakat, amelyeket senki sem mondott. A modellkártya szerint a kimenet tartalmazhat el nem hangzott szöveget, valószínűleg azért is, mert a modell a várható következő szavakat jósolja. A tanulmány korlátai között teljes hallucinációt, vagyis a hanghoz nem kapcsolódó kimenetet is említ.

A független Careless Whisper kutatás (Koenecke és mtsai, 2024) 13.140 hangszegmenst futtatott az OpenAI Whisper API-ján 2023 áprilisában és májusában. Az átiratok mintegy 1%-a (átlagosan 1.4%) tartalmazott teljes kitalált kifejezéseket vagy mondatokat, ezek 38%-a pedig káros tartalmat, például erőszakot vagy hamis összefüggést. A hosszabb szünetek — a vizsgálatban afáziás beszélőknél — gyakoribbá tették a jelenséget. Az API azóta változott, ezért ezt 2023-as mérésként kezeld.

Ismétlődő szöveg és kimaradó szavak

A modellkártya szerint a Whisper hajlamos ismétlődő szövegre; a beam search és a hőmérséklet ütemezése csökkenti, de nem szünteti meg. A tanulmány az első vagy utolsó szavak kihagyását is említi. A dekódolási javítások a hosszú felvételek átlagos WER-jét 11.0%-ról 10.0%-ra csökkentették, de nem oldották meg teljesen.

Csend, zene és töltelékszavak

Kitalált szöveg gyakran jelenik meg hosszú csend vagy zene alatt. A tanulmány szerint a Whisper saját beszédhiány-jelzése önmagában nem megbízható; a nyílt kódban ma már választható a hosszú csend kihagyása valószínű hallucináció észlelésekor.

Időbélyeg-eltolódás és hosszú fájlok

A Whisper 30 másodperces ablakonként halad, és a következő ablakot saját előrejelzett időbélyegeivel helyezi el. A tanulmány szerint egy ablak hibája ezért átkerülhet a következőbe. A szószintű időbélyegek a kódban kísérletiként szerepelnek. Feliratoknál ellenőrizd az időzítést a szünetek körül.

A fejlesztés során az OpenAI azt is látta, hogy a Whisper a beszélőneveket szinte mindig rosszul találta ki. A kiadott modelleket ennek csökkentésére finomhangolták, de minden nevet ellenőrizz.

10 módszer a Whisper-átírás pontosságának javítására

A legtöbb javítás az átírás előtt történik. Nagyjából a várható hatás szerinti sorrendben:

  1. Tedd közel a mikrofont. Az AMI-értekezleteken a távolság önmagában több mint megduplázta a hibaarányt.
  2. A zaj forrását csökkentsd. Csukd be az ablakot, kapcsold ki a ventilátort és állítsd le a zenét.
  3. Kerüld az átfedő beszédet. Egyszerre egy beszélő bármely beállításnál többet segít.
  4. Vágd ki a hosszú csendet és zenei bevezetőt, ahol gyakran jelenik meg kitalált szöveg. Szünetnél vágj, ne mondat közben.
  5. Válaszd ki a nyelvet. A Whisper 82 Fleurs-nyelven 80.3%-ban azonosította helyesen a nyelvet, így rövid vagy akcentusos részleteknél az automatikus felismerés tévedhet.
  6. Használd a legnagyobb elérhető modellt, különösen zajos hangnál.
  7. Saját üzemeltetésnél add meg a neveket és szakkifejezéseket. A nyílt Whisper az --initial_prompt paraméterben fogadja a várt írásmódokat.
  8. Az eredeti fájlt töltsd fel. A hangszóróból újrafelvétel vagy az ismételt tömörítés részleteket veszít.
  9. Ellenőrizd a kifejezéseket. Keress rá minden névre, számra, dátumra és rövidítésre, és vesd össze a hanggal.
  10. Két körben ellenőrizz. Először normál sebességen javíts, majd keresd a hallucináció jeleit: ismétlődő sorok, csendre írt mondatok és például „Köszönjük, hogy megnézted” lezárások. Jogi, orvosi vagy közzétett munkát teljes egészében ember ellenőrizzen.

Hogyan mérd a Whisper pontosságát saját hangon?

A saját munkádra a legjobb becslés egy 30 perces teszt saját felvételeken. Ezeket a lépéseket te végezheted el; nem a whispertranscribe.ai tesztjéről van szó.

  1. Válassz három, egyenként 2 perces részletet, amelyek jellemzőek: egy könnyűt, egy átlagosat és egy nehezet.
  2. Írj kézzel referenciát szóról szóra. Előbb döntsd el, maradnak-e a töltelékszavak, és számjeggyel vagy szóval írod-e a számokat.
  3. Írasd át mindegyik részletet a tesztelt eszközzel, és ments egyszerű szöveget.
  4. Normalizáld ugyanúgy mindkét szöveget. Az OpenAI normalizálója az openai-whisper csomag része.
  5. Számíts WER-t a jiwer segítségével:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. A kritikus hibákat külön számold. Öt hibás töltelékszó és öt rossz ügyfélnév azonos WER-t ad, de más súlyú probléma.
  2. Rögzítsd az eredményeket az eszközök és beállítások összehasonlításához:
Részlet Körülmények Referenciaszavak S D I WER Kritikus hibák
A részlet Csendes szoba, egy beszélő 310
B részlet Videóhívás, két beszélő 285
C részlet Kávézó, akcentusos beszélő 296

A szószámok példák. A 4. lépésnél vedd figyelembe, hogy az OpenAI angol normalizálója eltérően kezelheti a rövidítéseket és számformákat. Az eredmény elfogadása előtt olvasd el a jelölt különbségeket.

Mennyire pontos a whispertranscribe.ai?

A whispertranscribe.ai böngészős, Whisper-alapú AI-átíró, amely több mint 130 nyelvet és legfeljebb 5 GB-os, 10 órás feltöltést támogat. Tiszta hangon a pontosság akár 99% lehet; zaj, erős akcentus és átfedés csökkenti, ahogy a Whisper fenti eredményei mutatják. Nem állítjuk, hogy elérjük vagy felülmúljuk a tanulmány számait, és saját összehasonlító tesztet sem tettünk közzé, ezért a fenti lépésekkel teszteld a saját részleteidet.

  • Noise / Low-Quality Audio/Video lehetőségek sok nyelv választójában. Zajos fájlon próbáld ki a normál és zajos módot, majd hasonlítsd össze.
  • Több mint 130 nyelv, Multilingual Mix és hang fordítása angolra.
  • Legfeljebb 5 GB-os és 10 órás fájlok, beszélőfelismerés és időbélyegek (összes funkció).
  • Tiszta bemenet: a szükséges hozzájárulás és szervezői engedély megszerzése után rögzíts a böngészőben közeli mikrofonnal, vagy alakíts videót MP3-má, hogy csak hangot tölts fel.
  • Export DOCX, PDF, TXT, CSV, SRT és VTT formátumba, valamint feliratkészítő időzített feliratokhoz.

Ingyen, fiók nélkül kezdhetsz. A fizetős csomagok éves számlázással 9,99 USD/hótól indulnak; árak.

Gyakori kérdések

A Whisper 99%-os pontosságú?

Általánosságban nem. Legjobb közzétett eredménye 2.5% szóhibaarány a LibriSpeech test-clean tisztán felolvasott hangoskönyvein, ami körülbelül 97.5% helyes szónak felel meg. Telefonhívásokon, értekezleteken és zajos szobákban az OpenAI saját WER-értékei mintegy 13–40% között vannak. A „99%” csak akkor értelmezhető, ha megnevezi a mért hangot. A Whisper-alapú eszközöket, köztük a whispertranscribe.ai-t, a saját felvételeiden értékeld.

Melyik Whisper-modell a legpontosabb?

A large modellek a legpontosabbak. Az OpenAI tanulmányában a large-v2 adta a legkisebb hibaarányt a legtöbb tesztkészleten, a large-v3 kártyája pedig sok nyelven 10–20%-kal kevesebb hibát jelez a large-v2-höz képest. A turbo optimalizált large-v3, amely az OpenAI szerint kis pontosságvesztésért jóval nagyobb sebességet ad. A legkisebb tiny sokkal pontatlanabb nehéz hangon: zajos vacsorán 48.0% WER a large-v2 24.9%-ával szemben.

Miért ír le a Whisper el nem hangzott szavakat?

A Whisper hallucinálhat, mert a hang átírása mellett várható szöveg előrejelzésére is tanították; az OpenAI modellkártyája figyelmeztet nem hallható szövegre. Ez főleg hosszú csendben, zene vagy zaj közben fordul elő. Egy 2023-as független kutatás az átiratok mintegy 1%-ában talált kitalált kifejezéseket, és a szünetek növelték az esélyt. A csend kivágása, a nyelv beállítása és a halk szakaszok ellenőrzése csökkenti a kockázatot.

Mennyire pontos a Whisper akcentusokkal?

Sok régebbi rendszernél jobban kezeli az akcentusokat, de nem egyenletesen. Az OpenAI modellkártyája szerint a pontosság egy nyelv akcentusai és nyelvjárásai között is eltér. A tanulmányban a hosszú afroamerikai angol CORAAL-interjúk WER-je 19.6%, a teljes TED-előadásoké 3.5% volt, bár a felvételi körülmények is eltérnek. A megbízható módszer a saját beszélőidhez hasonló részlet tesztelése és erős akcentusnál több ellenőrzési idő tervezése.

A Whisper olyan pontos, mint egy emberi átíró?

Angolul közel kerül a legjobbakhoz, de nem éri el őket. Az OpenAI öt professzionális szolgáltatással hasonlította össze 25 felvételen. Egy számítógéppel támogatott szolgáltatás összesített WER-je 1.15 ponttal alacsonyabb, négy tisztán emberi szolgáltatásé pedig egy pont töredékével jobb volt. Az emberek még mindig gyakran jobban kezelik a neveket, átfedéseket és tisztázatlan beszédet. Idézett, hivatalosan benyújtott vagy publikált anyagot ember ellenőrizzen a hanggal összevetve.

Mennyire pontos a Whisper nem angol nyelveken?

Nyelvenként nagyon eltér. A Fleurs-teszten a large-v2 spanyolul 3.0%, németül 4.5%, franciául 8.3%, héberül 27.1%, telugu nyelven 99.0% WER-t ért el. A kínait és japánt karakterhibaaránnyal mérik: 14.7% és 5.3%. A tanulmány szerint a pontosság követi a nyelvenkénti tanítóhang mennyiségét. Kevés erőforrású nyelvnél először rövid részletet tesztelj, és tervezz több javítási időt.

Teszteld a pontosságot saját felvételen

A benchmarkok mások hangját írják le. Tölts fel egy részletet a whispertranscribe.ai-ra több mint 130 nyelv bármelyikén, és értékeld a fenti lépésekkel. Kezdj ingyen, fiók nélkül, vagy hasonlítsd össze a csomagokat.

Kapcsolódó cikkek: Mi a Whisper AI? · Legjobb ingyenes átírószoftverek · Legjobb TurboScribe-alternatívák · YouTube-videó átírása · Mi az SRT-fájl? · Beégetett vagy különálló felirat

Források

Szeretné szöveggé alakítani a felvételeit?

Írja át hang- és videófelvételeit a whispertranscribe.ai segítségével.

Átírás indítása ↗