Uredništvo whispertranscribe.ai · Ažurirano u studenome 2026. · Vrijeme čitanja: 13 min · Kategorija: Točnost transkripcije
Koliko je Whisper točan? Za čist, čitan engleski OpenAI-jev rad navodi stopu pogrešnih riječi (WER) od 2,5% za Whisper large-v2, odnosno točno je oko 97 do 98 od 100 riječi. Na težim snimkama rezultat je lošiji: 13,6% za telefonske razgovore, 24,9% na bučnoj večeri i 39,9% na sastanku snimljenom jednim udaljenim mikrofonom.
Whisper je OpenAI-jev model za prepoznavanje govora otvorenog koda i pokretač mnogih aplikacija za transkripciju, uključujući našu. Ovaj vodič bavi se samo točnošću: što WER mjeri, što usporedni testovi pokazuju prema vrsti zvuka i jeziku, gdje Whisper griješi i kako ga sami možete testirati. Za pozadinu modela pogledajte objašnjenje što je Whisper AI.
Većina podataka dolazi iz rada o Whisperu (Radford i sur., 2022.), u kojem je svaki model testiran bez dodatnog prilagođavanja testnim skupovima. Novija kartica modela large-v3 navodi 10% do 20% manje pogrešaka nego large-v2 u mnogim jezicima, ali ne daje cjelovitu tablicu po skupovima. Ovaj članak objavljuje whispertranscribe.ai. Za njega nismo proveli usporedni test i nijedan ovdje navedeni broj nije rezultat našeg vlastitog testa.
Točnost Whispera na prvi pogled
Nijedan pojedinačni testni skup ne daje potpun odgovor jer vrsta snimke snažno utječe na rezultat. Tablica prikazuje OpenAI-jeve rezultate za large-v2 uz beam search i temperaturni povratni postupak (tablica 9 u dodatku), nakon OpenAI-jeve normalizacije teksta.
| Vrsta zvuka | Testni skup u radu | WER Whispera large-v2 | Približan udio točnih riječi |
|---|---|---|---|
| Audioknjiga, jasan čitač | LibriSpeech test-clean | 2,5% | Oko 97,5 od 100 |
| Čitane vijesti | WSJ | 2,6% | Oko 97,4 od 100 |
| TED govori | TED-LIUM 3 | 3,7% | Oko 96 od 100 |
| Audioknjiga, zahtjevniji govornici | LibriSpeech test-other | 4,9% | Oko 95 od 100 |
| Volonteri na kućnim mikrofonima | Common Voice 5.1 | 8,2% | Oko 92 od 100 |
| Telefonski razgovori | Switchboard | 13,6% | Oko 86 od 100 |
| Dugi sociolingvistički intervjui | CORAAL | 14,2% | Oko 86 od 100 |
| Telefonski razgovori obitelji i prijatelja | CallHome | 16,4% | Oko 84 od 100 |
| Sastanci, svaki govornik ima mikrofon na slušalicama | AMI IHM | 17,4% | Oko 83 od 100 |
| Večere, udaljeni mikrofoni | CHiME-6 | 24,9% | Oko 75 od 100 |
| Sastanci, jedan udaljeni stolni mikrofon | AMI SDM1 | 39,9% | Oko 60 od 100 |
„Udio točnih riječi” ovdje je pojednostavljenje 100 minus WER, jer WER broji i dodane riječi.
Često se navodi i 2,7%: riječ je o istom modelu s jednostavnijim pohlepnim dekodiranjem (tablica 2 u radu). Redci AMI prikazuju iste sastanke snimljene na dva načina. Premještanje mikrofona s glave svakog govornika na sredinu stola više je nego udvostručilo stopu pogrešaka.
Što je stopa pogrešnih riječi (WER) i kako se računa?
Stopa pogrešnih riječi uspoređuje transkript s referentnim tekstom koji je provjerila osoba. Broje se tri vrste pogrešaka i dijele brojem riječi u referenci:
WER = (zamjene + izostavljanja + umetanja) ÷ broj riječi u referenci
- Zamjena: pogrešna riječ umjesto ispravne, primjerice „ručak” umjesto „lansiranje”.
- Izostavljanje: izgovorena riječ koja nedostaje u transkriptu.
- Umetanje: riječ u transkriptu koju nitko nije izgovorio.
Evo primjera usporedbe tekstova; WER se može izračunati otvorenom bibliotekom jiwer:
| Redak | Tekst |
|---|---|
| Referenca (23 riječi) | premjestili smo lansiranje proizvoda na deveti ožujka jer je dobavljač propustio dva roka a doktor patel želi novi plan testiranja za sljedeći tjedan |
| Transkript | premjestili smo ručak proizvoda na deveti ožujka jer dobavljač propustio dva roka a doktor batal želi novi plan testiranja za sljedeći tjedan danas |
| Pogreške | 2 zamjene (ručak, batal), 1 izostavljanje (je), 1 umetanje (danas) |
| WER | 4 ÷ 23 = 17,4% |
Tri stvari kod WER-a često iznenade:
- Može biti iznad 100%. Broj umetanja nije ograničen, a nekoliko jezika s malo dostupnih podataka u rezultatima Fleurs iz rada prelazi 100%.
- Normalizacija mijenja rezultat. „Dr.” i „doktor” računaju se kao pogreška ako oba teksta nisu jednako očišćena. OpenAI navodi da je normalizator na nekim skupovima smanjio WER do 50%, uglavnom uklanjanjem razlika u oblikovanju.
- Neki jezici koriste stopu pogrešnih znakova (CER). Za kineski, japanski, tajlandski, laoški i burmanski, koji riječi ne odvajaju razmacima, rad mjeri znakove.
Tvrdnja o točnosti bez navedenog testnog skupa i metode bodovanja nije mjerenje, bez obzira na to tko je iznosi, pa ni kada smo to mi.
Koliko je Whisper točan na engleskom?
Whisper je vrlo točan na jasnom engleskom i ostaje upotrebljiv na zahtjevnijim snimkama. U radu je na 12 drugih engleskih skupova imao 55,2% manje pogrešaka od nadziranog modela wav2vec 2.0 s gotovo istim rezultatom na LibriSpeechu.
Duge snimke
Whisper obrađuje zvuk u prozorima od 30 sekundi, pa su duge datoteke u radu zasebno testirane (tablica 16 u dodatku, large-v2):
| Testni skup dugih snimki | Sadržaj | WER |
|---|---|---|
| TED-LIUM 3 | 11 cijelih TED govora | 3,5% |
| Meanwhile | 64 televizijska segmenta kasnovečernjih emisija, s mnogo neuobičajenih riječi | 5,1% |
| Kincaid46 | 46 različitih snimki iz usporedbe iz 2018. | 8,8% |
| Earnings-21 | Konferencijski pozivi o poslovnim rezultatima | 9,7% |
| Rev16 | 16 epizoda podcasta | 11,3% |
| Earnings-22 | Dodatni pozivi o rezultatima, mnogo naglasaka | 12,6% |
| CORAAL | 231 cijeli intervju na afroameričkom engleskom | 19,6% |
Whisper naspram ljudskih transkripcionista
OpenAI je dao 25 snimki iz Kincaid46 na transkripciju četirima ljudskim službama i jednoj službi uz računalnu pomoć. Služba uz računalnu pomoć postigla je rezultat bolji od Whispera za 1,15 postotnih bodova, a potpuno ljudske službe za djelić boda. Rad zaključuje da rezultat nije savršen, ali je vrlo blizu ljudskoj točnosti.
Veličina modela je važna
Whisper dolazi u nekoliko veličina, a aplikacije ne navode uvijek koju koriste (tablica 9 u dodatku):
| Model | Parametri | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6,7% | 26,1% | 18,3% | 48,0% |
| base | 74M | 4,9% | 19,4% | 15,6% | 40,0% |
| small | 244M | 3,3% | 12,8% | 13,3% | 30,9% |
| medium | 769M | 2,7% | 9,7% | 13,2% | 27,6% |
| large-v2 | 1550M | 2,5% | 8,2% | 13,6% | 24,9% |
Razlika raste na težim snimkama: oko 4 boda na čistim audioknjigama i 23 boda na večeri. Noviji model turbo, optimizirana verzija large-v3, prihvaća ono što OpenAI-jev GitHub README naziva minimalnim padom točnosti u zamjenu za znatno bržu transkripciju.
Koliko je Whisper točan na drugim jezicima?
Izvan engleskog točnost ponajviše ovisi o količini zvuka za treniranje na pojedinom jeziku. Rad je utvrdio kvadrat korelacije 0,83 između logaritma sati treniranja i logaritma WER-a te procjenjuje da se WER prepolovi pri svakom šesnaesterostrukom povećanju podataka. Većina od 96 neengleskih jezika imala je manje od 1.000 sati.
Odabrani rezultati Fleursa (čitane rečenice, large-v2, tablica 13 u dodatku):
| Jezik | WER na Fleursu | Napomena |
|---|---|---|
| Španjolski | 3,0% | Najniži u tablici |
| Engleski | 4,2% | |
| Portugalski | 4,3% | |
| Njemački | 4,5% | |
| Japanski | 5,3% | Stopa pogrešnih znakova |
| Ruski | 5,6% | |
| Francuski | 8,3% | |
| Korejski | 14,3% | Označen kao odstupanje |
| Kineski | 14,7% | Stopa pogrešnih znakova |
| Arapski | 16,0% | |
| Hindski | 21,5% | |
| Hebrejski | 27,1% | Označen kao odstupanje |
| Svahili | 39,3% | |
| Telugu | 99,0% | Označen kao odstupanje |
Rad ističe da su hebrejski, telugu, kineski i korejski lošiji nego što količina podataka za treniranje predviđa, moguće zbog jezične udaljenosti, tokenizatora koji slabije odgovara tim pismima ili kvalitete podataka. Fleurs sadrži čitani govor pa su u razgovoru moguće veće stope pogrešaka. README sadrži noviji grafikon za large-v3 i large-v2 na Common Voice 15 i Fleursu.
Rezultati za španjolski ohrabrujući su ako transkribirate španjolski zvuk u tekst. Za jezike s manje podataka isprobajte kratak isječak prije cijelog projekta.
Što utječe na točnost Whispera?
Uvjeti snimanja posebno su važni. Dokazi iz rada i kartice modela:
| Čimbenik | Što pokazuju dokazi | Što učiniti |
|---|---|---|
| Pozadinska buka | Pri buci puba i omjeru signala i šuma ispod 10 dB Whisper je nadmašio svih 14 usporednih modela, ali svi su postajali lošiji s porastom buke | Snimajte u tihoj prostoriji, dalje od ventilatora i glazbe |
| Udaljenost mikrofona | Isti AMI sastanci: 17,4% na mikrofonima slušalica, 39,9% na jednom stolnom mikrofonu | Držite mikrofon blizu govornika |
| Razgovor i preklapanje govora | Telefonski razgovori i večere imaju 13,6% do 24,9%, naspram 2,5% za čitani govor | Neka govori jedna osoba; po jedan mikrofon po govorniku |
| Naglasci i dijalekti | Kartica modela navodi neujednačenu točnost; dugi CORAAL intervjui imali su 19,6% | Testirajte govornike koji zvuče kao oni na vašim stvarnim snimkama |
| Rijetke riječi i stručni izrazi | Rezultat je dobar na skupu Meanwhile punom stručnih izraza (5,1%), no imena i termini i dalje su čest izvor pogrešaka | Provjerite imena i pojmove prema popisu |
| Resursi jezika | Fleurs WER kreće se od 3,0% za španjolski do 99,0% za telugu | Sami odaberite jezik i planirajte više provjere za jezike s manje podataka |
| Veličina modela | tiny na CHiME-6 postiže 48,0%, large-v2 24,9% | Pitajte koji model alat koristi ili odaberite najveći dostupan |
| Format datoteke i frekvencija uzorkovanja | Whisperov kod pretvara sav zvuk na 16 kHz mono | WAV od 48 kHz ne donosi prednost u odnosu na čistu datoteku od 16 kHz |
Pretvaranje MP3-a u veliki WAV ne vraća izgubljene detalje. Čista snimka umjerene brzine prijenosa bolja je od bučne pri visokoj brzini.
Poznati problemi Whispera: halucinacije, ponavljanje i vremenske oznake
OpenAI dokumentira sve ove načine pogreške, čija važnost može biti veća nego što njihov udio u WER-u sugerira.
Halucinirani tekst
Whisper može zapisati riječi koje nitko nije izgovorio. Kartica modela navodi da predviđanja mogu uključivati tekst koji se ne čuje u ulaznom zvuku, vjerojatno zato što model predviđa i vjerojatne sljedeće riječi. Odjeljak ograničenja rada spominje čak i potpunu halucinaciju, odnosno izlaz nepovezan sa zvukom.
Neovisna studija Careless Whisper (Koenecke i sur., 2024.) obradila je 13.140 zvučnih segmenata putem OpenAI-jeva Whisper API-ja u travnju i svibnju 2023. Oko 1% transkripata, prosječno 1,4%, sadržavalo je cijele izmišljene fraze ili rečenice, a 38% njih uključivalo je štetan sadržaj poput nasilja ili lažnih asocijacija. Češće su se pojavljivale kod govornika s duljim stankama, u ovom slučaju osoba s afazijom. API se od tada promijenio pa ovo promatrajte kao mjerenje iz 2023.
Ponavljanje i izostavljene riječi
Kartica modela navodi sklonost ponavljanju teksta, koju beam search i raspoređivanje temperature smanjuju, ali ne uklanjaju potpuno. Rad navodi i preskakanje prvih ili posljednjih riječi segmenta. Poboljšanja dekodiranja snizila su prosječni WER dugih snimki s 11,0% na 10,0%: napredak, ali ne i potpuno rješenje.
Tišina, glazba i poštapalice
Izmišljeni tekst često se pojavljuje tijekom dugih tišina i glazbe. Rad je utvrdio da Whisperov signal „nema govora” sam za sebe nije pouzdan, a kod otvorenog izvora sada ima opciju preskakanja dugih tišina kada se otkrije vjerojatna halucinacija.
Pomak vremenskih oznaka i duge datoteke
Whisper prolazi dug zvuk kroz prozore od po 30 sekundi i vlastitim predviđenim vremenskim oznakama određuje sljedeći prozor. Rad zato upozorava da se pogreška iz jednog prozora može prenijeti u sljedeći. Vremenske oznake na razini riječi u kodu su označene kao eksperimentalne. Kod titlova provjerite vremensko usklađivanje oko stanki.
Tijekom razvoja OpenAI je također vidio da Whisper pogađa imena govornika i da su ta nagađanja gotovo uvijek pogrešna. Objavljeni modeli dodatno su prilagođeni kako bi se to smanjilo, ali svejedno provjerite svako ime.
10 načina za poboljšanje točnosti Whisper transkripcije
Najviše se može postići prije pokretanja transkripcije. Približan redoslijed od većeg prema manjem učinku:
- Približite mikrofon. Sama udaljenost više je nego udvostručila stopu pogrešaka na AMI sastancima.
- Uklonite buku na izvoru. Zatvorite prozore, isključite ventilatore i zaustavite glazbu.
- Izbjegnite preklapanje govora. Jedna osoba u isto vrijeme bolja je od bilo koje postavke.
- Odrežite duge tišine i glazbene uvode, gdje se izmišljeni tekst najčešće pojavljuje. Režite na stankama, a ne usred rečenice.
- Sami postavite jezik. Whisper je pravilno prepoznao jezik u 80,3% slučajeva među 82 Fleurs jezika, pa automatsko prepoznavanje može pogriješiti na kratkim snimkama ili naglascima.
- Koristite najveći dostupan model, posebno za bučne snimke.
- Pri samostalnom hostanju navedite imena i pojmove u uputi. Whisper otvorenog koda prihvaća
--initial_prompts očekivanim zapisima. - Prenesite izvornu datoteku. Ponovno snimanje preko zvučnika ili višekratna kompresija odbacuju detalje.
- Provjerite pojmove. Pronađite svako ime, broj, datum i kraticu te ih usporedite sa zvukom.
- Pregledajte u dva prolaza. Najprije ispravite pogreške normalnom brzinom. Zatim potražite znakove halucinacije: ponovljene retke, rečenice tijekom tišine i odjave poput „Hvala na gledanju”. Za pravne, medicinske ili objavljene materijale neka osoba pregleda sve.
Kako izmjeriti točnost Whispera na vlastitom zvuku
Najbolja procjena za vaš rad jest 30-minutni test na vlastitim snimkama. Ove korake provodite sami; oni nisu test usluge whispertranscribe.ai.
- Odaberite tri isječka od po 2 minute nalik vašem stvarnom radu: jedan lak, jedan tipičan i jedan težak.
- Ručno napišite referentni transkript, riječ po riječ. Najprije odlučite zadržavate li poštapalice i pišete li brojeve znamenkama ili riječima.
- Transkribirajte svaki isječak alatom koji testirate i spremite običan tekst.
- Jednako normalizirajte oba teksta. OpenAI-jev normalizator dolazi s paketom
openai-whisper. - Izračunajte WER pomoću jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Zasebno brojite kritične pogreške. Pet pogrešnih poštapalica i pet pogrešnih imena klijenata daju isti WER, ali nisu jednak problem.
- Zabilježite rezultate kako biste usporedili alate ili postavke:
| Isječak | Uvjeti | Riječi u referenci | S | D | I | WER | Kritične pogreške |
|---|---|---|---|---|---|---|---|
| Isječak A | Tiha soba, jedan govornik | 310 | |||||
| Isječak B | Videopoziv, dva govornika | 285 | |||||
| Isječak C | Kafić, govornik s naglaskom | 296 |
Brojevi riječi služe kao primjer. Oprez kod 4. koraka: normalizacija ne mora uskladiti sve različite zapise istog broja ili kratice. Pregledajte označene razlike prije nego što se oslonite na rezultat.
Koliko je točan whispertranscribe.ai?
whispertranscribe.ai web-alat je za AI transkripciju koji koristi Whisper i podržava više od 130 jezika, prijenose do 5GB i snimke do 10 sati. Na čistom zvuku točnost može doseći 99%; pozadinska buka, jaki naglasci i preklapanje govora smanjuju je, kao što gore navedeni testovi pokazuju za sam Whisper. Ne tvrdimo da postižemo ili nadmašujemo brojke iz rada i nismo objavili vlastiti usporedni test, pa isprobajte vlastite isječke prema gore navedenim koracima.
- Opcije Noise / Low-Quality Audio/Video u odabiru mnogih jezika. Na bučnoj datoteci isprobajte standardnu i opciju za buku te usporedite.
- Više od 130 jezika, opcija Multilingual Mix i prijevod zvuka na engleski.
- Datoteke do 5GB i 10 sati, otkrivanje govornika i vremenske oznake (sve značajke).
- Čist ulaz: snimajte u pregledniku s mikrofonom blizu govornika ili pretvorite video u MP3 kako biste prenijeli samo zvuk.
- Izvoz u DOCX, PDF, TXT, CSV, SRT i VTT te generator titlova za vremenski usklađene titlove.
Možete početi besplatno bez računa. Plaćeni paketi počinju od 9,99 USD mjesečno uz godišnju naplatu; pogledajte cijene.
Česta pitanja
Je li Whisper 99% točan?
Ne općenito. Najbolji objavljeni rezultat Whispera stopa je pogrešnih riječi od 2,5% na LibriSpeech test-clean, skupu jasno čitanih audioknjiga, odnosno oko 97,5% točnih riječi. Za telefonske razgovore, sastanke i bučne prostorije OpenAI-jeve brojke kreću se od oko 13% do 40% WER-a. Tvrdnja o „99%” ima značenje samo ako navodi snimku na kojoj je izmjerena. Alate temeljene na Whisperu, uključujući whispertranscribe.ai, treba ocijeniti na vašim snimkama, a ne prema naslovnom postotku.
Koji je Whisper model najtočniji?
Veliki modeli najtočniji su. U OpenAI-jevu radu large-v2 imao je najniže stope pogrešaka na većini skupova, a kartica large-v3 navodi 10% do 20% manje pogrešaka od large-v2 u mnogim jezicima. Model turbo optimizirani je large-v3 koji, prema OpenAI-ju, gubi tek malo točnosti u zamjenu za veću brzinu. Najmanji model tiny znatno je manje točan na teškom zvuku: 48,0% WER-a na bučnoj večeri naspram 24,9% za large-v2.
Zašto Whisper piše riječi koje nisu izgovorene?
Whisper može halucinirati jer je treniran predviđati vjerojatan tekst uz transkripciju zvuka, a OpenAI-jeva kartica upozorava da može ispisati tekst koji nije u snimci. To se najčešće događa tijekom dugih tišina, glazbe ili buke. Neovisna studija iz 2023. pronašla je izmišljene fraze u oko 1% transkripata, a stanke su povećavale vjerojatnost. Skraćivanje tišine, postavljanje jezika i provjera tihih dijelova transkripta smanjuju rizik.
Koliko je Whisper točan s naglascima?
Whisper se s naglascima nosi bolje od mnogih starijih sustava, ali ne jednako za sve. OpenAI-jeva kartica modela navodi da točnost varira među naglascima i dijalektima istog jezika. U radu su dugi intervjui na afroameričkom engleskom (CORAAL) imali 19,6% WER-a, naspram 3,5% za cijele TED govore, premda se i uvjeti snimanja razlikuju. Pouzdano je testirati isječak s govornicima sličnima onima na stvarnim snimkama i planirati više provjere za jake naglaske.
Je li Whisper točan kao ljudski transkripcionist?
Na engleskom se Whisper približava najboljima, ali ih ne doseže. OpenAI ga je usporedio s pet profesionalnih službi na 25 snimki. Služba uz računalnu pomoć imala je ukupni WER niži za 1,15 bodova, a četiri potpuno ljudske službe bile su bolje za djelić boda. Ljudi i dalje obično bolje obrađuju imena, preklapanje govora i nejasan govor. Sve što se citira, službeno predaje ili objavljuje osoba treba provjeriti prema snimci.
Koliko je Whisper točan na drugim jezicima?
Točnost znatno varira prema jeziku. Na Fleursu je large-v2 imao 3,0% WER-a na španjolskom, 4,5% na njemačkom i 8,3% na francuskom, ali 27,1% na hebrejskom i 99,0% na teluguu. Kineski i japanski mjere se stopom pogrešnih znakova: 14,7% i 5,3%. Rad je utvrdio povezanost točnosti s količinom zvuka za treniranje po jeziku. Za jezike s manje podataka prvo testirajte kratak isječak i predvidite više vremena za ispravke.
Testirajte točnost na vlastitoj snimci
Usporedni testovi opisuju tuđe snimke. Prenesite isječak u whispertranscribe.ai na bilo kojem od više od 130 jezika i ocijenite ga prema koracima u ovom vodiču. Počnite besplatno bez računa ili usporedite pakete.
Povezani članci: Što je Whisper AI? · Najbolji besplatni softver za transkripciju · Najbolje alternative TurboScribeu · Kako transkribirati YouTube video · Što je SRT datoteka? · Ugrađeni i zasebni titlovi
Izvori
- Radford i sur., Robust Speech Recognition via Large-Scale Weak Supervision (OpenAI-jev rad o Whisperu, 2022.): tablice 2, 9, 13 i 16 te odjeljci 3 do 6
- OpenAI, openai/whisper na GitHubu: tablica modela u README-u, napomena o turbu i grafikon WER-a po jeziku
- OpenAI i Hugging Face, kartica modela whisper-large-v3: promjene large-v3, procijenjena upotreba i ograničenja
- Koenecke i sur., Careless Whisper: Speech-to-Text Hallucination Harms (2024.)
- jiwer: biblioteka otvorenog koda za WER i CER
- Hugging Face, Open ASR Leaderboard: neovisna usporedba otvorenih govornih modela koja se redovito ažurira
