whispertranscribe.ai redakcija · Paskutinį kartą atnaujinta: 2026 m. lapkritį · Skaitymo trukmė: 13 min. · Kategorija: Transkripcijos tikslumas
Kiek tikslus Whisper? Aiškiai skaitomai anglų kalbai OpenAI straipsnis nurodo 2.5% žodžių klaidų rodiklį (WER) Whisper large-v2 modeliui, taigi apie 97–98 žodžiai iš 100 teisingi. Sudėtingesnio garso rezultatai prastesni: 13.6% telefonų pokalbiuose, 24.9% triukšmingų vakarienių metu ir 39.9% susitikime, įrašytame vienu tolimu mikrofonu.
Whisper yra OpenAI atvirojo kodo kalbos atpažinimo modelis ir daugelio transkripcijos programėlių, įskaitant mūsų, pagrindas. Šis gidas nagrinėja tik tikslumą: ką matuoja WER, ką rodo palyginamieji bandymai pagal garso tipą ir kalbą, kur Whisper klysta ir kaip patiems jį išbandyti. Apie modelio kilmę skaitykite paaiškinime kas yra Whisper AI.
Dauguma skaičių paimti iš Whisper straipsnio (Radford ir bendraautoriai, 2022), kuriame visi modeliai tirti „zero-shot“ būdu, papildomai nepritaikius prie testinių rinkinių. Naujesnė large-v3 modelio kortelė nurodo 10%–20% mažiau klaidų nei large-v2 daugelyje kalbų, tačiau nepateikia pilnos lentelės pagal duomenų rinkinius. Šį straipsnį skelbia whispertranscribe.ai. Jam palyginamojo bandymo neatlikome, todėl nė vienas skaičius nėra mūsų testo rezultatas.
Whisper tikslumas trumpai
Vienas testinis rinkinys negali atsakyti į klausimą, nes labiausiai rezultatą keičia pats garsas. Lentelėje pateikti OpenAI large-v2 rezultatai naudojant beam search ir temperature fallback (priedo 9 lentelė), įvertinti po OpenAI teksto normalizavimo.
| Garso tipas | Testinis rinkinys straipsnyje | Whisper large-v2 WER | Apytikslė teisingų žodžių dalis |
|---|---|---|---|
| Audioknyga, aiškus skaitytojas | LibriSpeech test-clean | 2.5% | Apie 97.5 iš 100 |
| Skaitomas naujienų tekstas | WSJ | 2.6% | Apie 97.4 iš 100 |
| TED kalbos | TED-LIUM 3 | 3.7% | Apie 96 iš 100 |
| Audioknyga, sunkiau suprantami skaitytojai | LibriSpeech test-other | 4.9% | Apie 95 iš 100 |
| Savanoriai su namų mikrofonais | Common Voice 5.1 | 8.2% | Apie 92 iš 100 |
| Telefoniniai pokalbiai | Switchboard | 13.6% | Apie 86 iš 100 |
| Ilgi sociolingvistiniai interviu | CORAAL | 14.2% | Apie 86 iš 100 |
| Šeimos ir draugų telefoniniai pokalbiai | CallHome | 16.4% | Apie 84 iš 100 |
| Susitikimai, kiekvienas su ausinių mikrofonu | AMI IHM | 17.4% | Apie 83 iš 100 |
| Vakarienės, tolimi mikrofonai | CHiME-6 | 24.9% | Apie 75 iš 100 |
| Susitikimai, vienas tolimas stalo mikrofonas | AMI SDM1 | 39.9% | Apie 60 iš 100 |
„Teisingų žodžių dalis“ yra 100 minus WER — apytikslis skaičius, nes WER taip pat skaičiuoja pridėtus žodžius.
Dažnai cituojamas ir 2.7%: tai tas pats modelis naudojant paprastesnį greedy decoding (straipsnio 2 lentelė). AMI eilutėse tie patys susitikimai įrašyti dviem būdais. Mikrofoną perkėlus nuo kiekvieno kalbėtojo galvos į stalo vidurį, klaidų rodiklis daugiau nei padvigubėja.
Kas yra žodžių klaidų rodiklis (WER) ir kaip jis skaičiuojamas?
Žodžių klaidų rodiklis yra transkripto klaidų santykis su žmogaus patikrintu etaloniniu tekstu. Suskaičiuokite trijų tipų klaidas ir padalykite iš etalono žodžių skaičiaus:
WER = (pakeitimai + praleidimai + įterpimai) ÷ etalono žodžių skaičius
- Pakeitimas: neteisingas žodis vietoj teisingo („balsas“ vietoj „valdas“).
- Praleidimas: ištartas žodis, kurio nėra transkripte.
- Įterpimas: transkripto žodis, kurio niekas nesakė.
Štai mūsų sukurtas pavyzdys, įvertintas atvirojo kodo jiwer biblioteka:
| Eilutė | Tekstas |
|---|---|
| Etalonas (22 žodžiai) | mes perkėlėme svarbaus produkto pristatymą į kovo devintą nes tiekėjas du kartus praleido terminus o daktaras patelis pageidauja naujo bandymų plano šiandien |
| Transkriptas | mes perkėlėme projekto pristatymą į kovo devintą nes tiekėjas du kartus praleido terminus o daktaras batelis pageidauja naujo bandymų plano šiandien rytoj |
| Klaidos | 2 pakeitimai (projekto, batelis), 1 praleidimas (svarbaus), 1 įterpimas (rytoj) |
| WER | 4 ÷ 22 = 18.2% |
Trys WER ypatybės dažnai nustebina:
- Jis gali viršyti 100%. Įterpimų skaičius neribojamas, ir kelios mažai išteklių turinčios kalbos straipsnio Fleurs rezultatuose viršija 100%.
- Normalizavimas keičia rezultatą. „Dr.“ ir „daktaras“ laikomi klaida, jei abu tekstai nevienodai apdoroti. OpenAI teigia, kad normalizatorius kai kuriuose duomenų rinkiniuose sumažino WER iki 50%, daugiausia pašalinęs formatavimo skirtumus.
- Kai kurios kalbos naudoja simbolių klaidų rodiklį (CER). Kinų, japonų, tajų, laosiečių ir birmiečių kalboms, kurios žodžių neskiria tarpais, straipsnyje vertinami simboliai.
Tikslumo teiginys be nurodyto testinio rinkinio ir vertinimo metodo nėra matavimas, kad ir kas jį pateiktų, įskaitant mus.
Kiek tikslus Whisper anglų kalba?
Whisper labai tikslus esant aiškiai anglų kalbai ir išlieka naudingas esant sudėtingesniam garsui. Straipsnyje 12 kitų anglų kalbos duomenų rinkinių jis padarė 55.2% mažiau klaidų nei prižiūrimu būdu išmokytas wav2vec 2.0 modelis, kurio LibriSpeech rezultatas buvo beveik toks pat.
Ilgi įrašai
Whisper skaito garsą 30 sekundžių langais, todėl straipsnyje ilgi failai tirti atskirai (priedo 16 lentelė, large-v2):
| Ilgų įrašų testinis rinkinys | Turinys | WER |
|---|---|---|
| TED-LIUM 3 | 11 pilnų TED kalbų | 3.5% |
| Meanwhile | 64 vėlyvo vakaro TV segmentai su daug neįprastų žodžių | 5.1% |
| Kincaid46 | 46 įvairūs įrašai iš 2018 m. palyginimo | 8.8% |
| Earnings-21 | Įmonių pajamų aptarimo skambučiai | 9.7% |
| Rev16 | 16 tinklalaidžių laidų | 11.3% |
| Earnings-22 | Kiti pajamų aptarimai, daug akcentų | 12.6% |
| CORAAL | 231 pilnas interviu afroamerikiečių anglų kalba | 19.6% |
Whisper ir žmonės transkribuotojai
OpenAI pavedė keturioms žmonių transkripcijos tarnyboms ir vienai kompiuterio pagalba dirbančiai tarnybai transkribuoti 25 Kincaid46 įrašus. Kompiuterio pagalba dirbanti tarnyba pasiekė 1.15 procentinio punkto geresnį rezultatą nei Whisper, o tik žmonių tarnybos — tik punkto dalimi geresnį. Straipsnio išvada: netobula, bet labai artima žmogaus tikslumui.
Modelio dydis svarbus
Whisper būna kelių dydžių, o programėlės ne visada nurodo naudojamą modelį (priedo 9 lentelė):
| Modelis | Parametrai | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
Skirtumas didėja sunkėjant garsui: apie 4 punktus aiškių audioknygų atveju, 23 punktus vakarienės metu. Naujesnis turbo modelis — optimizuotas large-v3 — mainais už daug spartesnę transkripciją priima tai, ką OpenAI GitHub README vadina minimaliu tikslumo sumažėjimu.
Kiek tikslus Whisper kitomis kalbomis?
Už anglų kalbos ribų tikslumas daugiausia priklauso nuo Whisper mokymosi garso kiekio ta kalba. Straipsnyje nustatyta 0.83 kvadratinė koreliacija tarp mokymosi valandų ir WER logaritmų ir apskaičiuota, kad WER perpus sumažėja duomenų kiekiui padidėjus 16 kartų. Dauguma iš 96 ne anglų kalbų turėjo mažiau nei 1,000 valandų.
Atrinkti Fleurs rezultatai (skaitomi sakiniai, large-v2, priedo 13 lentelė):
| Kalba | Fleurs WER | Pastaba |
|---|---|---|
| Ispanų | 3.0% | Mažiausias lentelėje |
| Anglų | 4.2% | |
| Portugalų | 4.3% | |
| Vokiečių | 4.5% | |
| Japonų | 5.3% | Simbolių klaidų rodiklis |
| Rusų | 5.6% | |
| Prancūzų | 8.3% | |
| Korėjiečių | 14.3% | Pažymėta kaip išskirtis |
| Kinų | 14.7% | Simbolių klaidų rodiklis |
| Arabų | 16.0% | |
| Hindi | 21.5% | |
| Hebrajų | 27.1% | Pažymėta kaip išskirtis |
| Svahilių | 39.3% | |
| Telugų | 99.0% | Pažymėta kaip išskirtis |
Straipsnyje hebrajų, telugų, kinų ir korėjiečių kalbos įvardytos kaip prastesnės, nei prognozuotų mokymosi duomenys, galbūt dėl kalbinio atstumo, raštui netinkamo tokenizatoriaus arba duomenų kokybės. Fleurs yra skaitoma kalba, todėl pokalbiuose tikėkitės didesnio klaidų rodiklio. README pateikta naujesnė large-v3 ir large-v2 Common Voice 15 ir Fleurs diagrama.
Ispanų rezultatai teikia vilčių, jei transkribuojate ispanų kalbos garsą į tekstą. Mažiau išteklių turinčioms kalboms pirmiausia išbandykite trumpą įrašą, o tik tada visą projektą.
Kas veikia Whisper tikslumą?
Įrašymo sąlygos svarbiausios. Straipsnio ir modelio kortelės duomenys:
| Veiksnys | Ką rodo duomenys | Ką daryti |
|---|---|---|
| Foninis triukšmas | Aludės triukšme, kai signalo ir triukšmo santykis mažesnis nei 10 dB, Whisper aplenkė visus 14 lyginamų modelių, tačiau stiprėjant triukšmui visi veikė prasčiau | Įrašykite tyliame kambaryje, toliau nuo ventiliatorių ir muzikos |
| Mikrofono atstumas | Tie patys AMI susitikimai: 17.4% su ausinių mikrofonais, 39.9% su vienu stalo mikrofonu | Laikykite mikrofoną arti kalbančiojo |
| Pokalbis ir persidengimas | Telefoniniai pokalbiai ir vakarienės: 13.6%–24.9%, palyginti su 2.5% skaitomai kalbai | Vienas kalbėtojas vienu metu; mikrofonas kiekvienam |
| Akcentai ir dialektai | Modelio kortelė nurodo nevienodą tikslumą; ilgų CORAAL interviu rezultatas 19.6% | Testuokite su žmonėmis, panašiais į realių įrašų kalbėtojus |
| Reti žodžiai ir terminai | Geras rezultatas terminų gausiame Meanwhile rinkinyje (5.1%), tačiau vardai ir techniniai terminai vis tiek dažnai klaidingi | Tikrinkite vardus ir terminus pagal sąrašą |
| Kalbos ištekliai | Fleurs WER nuo 3.0% (ispanų) iki 99.0% (telugų) | Kalbą pasirinkite patys; mažiau išteklių turinčioms kalboms skirkite daugiau tikrinimo |
| Modelio dydis | tiny CHiME-6 rinkinyje 48.0%, large-v2 24.9% | Paklauskite, kokį modelį naudoja įrankis, arba naudokite didžiausią galimą |
| Failo formatas ir diskretizavimo dažnis | Whisper kodas visą garsą paverčia 16 kHz mono | 48 kHz WAV nieko neprideda palyginti su švariu 16 kHz failu |
MP3 pavertimas dideliu WAV neatkuria prarastų detalių. Švarus vidutinės bitų spartos įrašas geresnis nei triukšmingas didelės spartos įrašas.
Žinomos Whisper problemos: haliucinacijos, pasikartojimai ir laiko žymos
OpenAI dokumentuoja kiekvieną iš šių klaidų, kurios gali būti svarbesnės, nei rodo jų dalis WER.
Haliucinuotas tekstas
Whisper gali parašyti žodžius, kurių niekas nesakė. Modelio kortelėje teigiama, kad prognozėse gali būti garse neištarto teksto, tikriausiai todėl, kad modelis taip pat prognozuoja tikėtinus tolesnius žodžius. Straipsnio apribojimuose minima net visiška haliucinacija — su garsu nesusijusi išvestis.
Nepriklausomame tyrime Careless Whisper (Koenecke ir bendraautoriai, 2024) 2023 m. balandį ir gegužę per OpenAI Whisper API apdorota 13,140 garso segmentų. Maždaug 1% transkripcijų (vidutiniškai 1.4%) buvo ištisų išgalvotų frazių ar sakinių, o 38% jų turėjo žalingo turinio, pavyzdžiui, smurto arba klaidingų sąsajų. Dažniau tai pasitaikė kalbėtojams su ilgesnėmis pauzėmis, šiuo atveju afaziją turintiems žmonėms. Nuo tada API pasikeitė, todėl tai laikykite 2023 m. matavimu.
Pasikartojimo ciklai ir praleisti žodžiai
Modelio kortelėje sakoma, kad Whisper linkęs kurti pasikartojantį tekstą; beam search ir temperatūros planavimas tai sumažina, bet ne visiškai. Straipsnyje taip pat minimas pirmųjų ar paskutinių segmento žodžių praleidimas. Dekodavimo pataisos sumažino vidutinį ilgų įrašų WER nuo 11.0% iki 10.0%: geriau, bet neišspręsta.
Tyla, muzika ir užpildai
Išgalvotas tekstas dažniau atsiranda per ilgą tylą ir muziką. Straipsnyje nustatyta, kad vien Whisper „no speech“ signalas nėra patikimas, o atvirojo kodo programoje dabar yra galimybė praleisti ilgą tylą aptikus tikėtiną haliucinaciją.
Laiko žymų poslinkis ir ilgi failai
Whisper ilgą garsą apdoroja po vieną 30 sekundžių langą, naudodamas paties prognozuotas laiko žymas kitam langui nustatyti, todėl vieno lango klaida gali persikelti į kitą. Žodžių lygmens laiko žymos kode pažymėtos kaip eksperimentinės. Subtitruose patikrinkite laiką ties pauzėmis.
Kūrimo metu OpenAI taip pat pastebėjo, kad Whisper spėja kalbėtojų vardus, kurie beveik visada neteisingi. Išleisti modeliai papildomai pritaikyti tam mažinti, bet patikrinkite kiekvieną vardo paminėjimą.
10 būdų pagerinti Whisper transkripcijos tikslumą
Daugiausia galima pagerinti prieš pradedant transkripciją. Apytiksliai nuo didžiausio poveikio:
- Laikykite mikrofoną arti. Vien atstumas AMI susitikimuose daugiau nei padvigubino klaidų rodiklį.
- Pašalinkite triukšmą jo šaltinyje. Uždarykite langus, išjunkite ventiliatorius, sustabdykite muziką.
- Venkite persidengiančios kalbos. Vienas kalbantis žmogus vienu metu padeda labiau nei bet kuris nustatymas.
- Nukirpkite ilgą tylą ir muzikos įžangas, kur dažniausiai atsiranda išgalvotas tekstas. Kirpkite pauzėse, ne sakinio viduryje.
- Kalbą nustatykite patys. Whisper teisingai nustatė kalbą 80.3% atvejų tarp 82 Fleurs kalbų, todėl automatinis nustatymas gali suklysti trumpuose ar akcentuotuose įrašuose.
- Naudokite didžiausią prieinamą modelį, ypač triukšmingiems įrašams.
- Jei talpinate patys, užklausoje pateikite vardus ir terminus. Atvirojo kodo Whisper priima
--initial_promptsu laukiamomis rašybos formomis. - Įkelkite originalų failą. Pakartotinis įrašymas per garsiakalbius ar glaudinimas pašalina detales.
- Patikrinkite terminus. Suraskite kiekvieną vardą, skaičių, datą ir santrumpą ir patikrinkite pagal garsą.
- Peržiūrėkite dukart. Pirmiausia pataisykite klaidas įprastu greičiu. Tada ieškokite haliucinacijos požymių: pasikartojančių eilučių, sakinių per tylą, atsisveikinimų kaip „Ačiū, kad žiūrėjote.“ Teisiniam, medicininiam ar skelbiamam darbui žmogus turėtų patikrinti viską.
Kaip išmatuoti Whisper tikslumą savo garse
Geriausias jūsų darbo įvertis yra 30 minučių testas su savais įrašais. Šiuos veiksmus atliekate jūs; tai nėra whispertranscribe.ai testas.
- Pasirinkite tris 2 minučių įrašus, panašius į jūsų darbą: vieną lengvą, vieną įprastą, vieną sunkų.
- Ranka parašykite etaloninį transkriptą žodis po žodžio. Pirmiausia nustatykite taisykles: palikti ar šalinti „eee“, skaičius rašyti skaitmenimis ar žodžiais.
- Transkribuokite kiekvieną įrašą tikrinamu įrankiu ir išsaugokite paprastą tekstą.
- Vienodai normalizuokite abu tekstus. OpenAI normalizatorius pateikiamas kartu su
openai-whisper. - Apskaičiuokite WER su jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Atskirai suskaičiuokite kritines klaidas. Penki klaidingi užpildai ir penki klaidingi klientų vardai duoda tą patį WER, bet problema nevienoda.
- Užfiksuokite rezultatus, kad galėtumėte palyginti įrankius ar nustatymus:
| Įrašas | Sąlygos | Etalono žodžiai | S | D | I | WER | Kritinės klaidos |
|---|---|---|---|---|---|---|---|
| Įrašas A | Tylus kambarys, vienas kalbėtojas | 310 | |||||
| Įrašas B | Vaizdo skambutis, du kalbėtojai | 285 | |||||
| Įrašas C | Kavinė, kalbėtojas su akcentu | 296 |
Žodžių skaičiai yra pavyzdiniai. Įspėjimas dėl 4 veiksmo: OpenAI anglų normalizatorius gali sutapatinti „Dr.“ ir „doctor“ bei „two“ ir „2“, bet „9th“ ir „ninth“ vis dar gali įvertinti kaip klaidą. Prieš pasitikėdami rezultatu perskaitykite pažymėtus skirtumus.
Kiek tikslus whispertranscribe.ai?
whispertranscribe.ai yra internetinis AI transkripcijos įrankis su Whisper, palaikantis 130+ kalbų ir iki 5GB bei 10 valandų įkėlimus. Esant aiškiam garsui tikslumas siekia iki 99%; foninis triukšmas, stiprūs akcentai ir persidengianti kalba jį mažina, kaip matyti iš aukščiau pateiktų Whisper bandymų. Neteigiame, kad atitinkame ar pranokstame straipsnio rezultatus, ir nesame paskelbę savo palyginamojo bandymo, todėl išbandykite savo įrašus pagal aukščiau pateiktus veiksmus.
- Noise / Low-Quality Audio/Video parinktys daugelio kalbų pasirinkimo meniu. Triukšmingam failui išbandykite įprastą ir triukšmo parinktis ir palyginkite.
- 130+ kalbų, Multilingual Mix ir garso vertimas į anglų kalbą.
- Failai iki 5GB ir 10 valandų, kalbėtojų aptikimas ir laiko žymos (visos funkcijos).
- Švari įvestis: įrašykite naršyklėje laikydami mikrofoną arti ir prieš tai gavę reikiamą leidimą bei sutikimą arba konvertuokite vaizdo įrašą į MP3, kad įkeltumėte tik garsą.
- Eksportas į DOCX, PDF, TXT, CSV, SRT ir VTT bei subtitrų generatorius subtitrams su laiko žymomis.
Galite pradėti nemokamai be paskyros. Mokami planai nuo $9.99/mėn. mokant kasmet; žr. kainas.
Dažniausiai užduodami klausimai
Ar Whisper tikslumas yra 99%?
Ne bendrai. Geriausias paskelbtas Whisper rezultatas — 2.5% WER LibriSpeech test-clean rinkinyje, sudarytame iš aiškiai skaitomų audioknygų, tai apie 97.5% teisingų žodžių. Telefoniniuose pokalbiuose, susitikimuose ir triukšminguose kambariuose OpenAI duomenys svyruoja nuo maždaug 13% iki 40% WER. „99%“ teiginys prasmingas tik nurodžius garsą, kuriuo matuota. Whisper įrankius, įskaitant whispertranscribe.ai, vertinkite savo įrašais, o ne antraštės procentu.
Kuris Whisper modelis tiksliausias?
Tiksliausi didieji modeliai. OpenAI straipsnyje large-v2 daugumoje rinkinių turėjo mažiausiai klaidų, o large-v3 kortelėje nurodoma 10%–20% mažiau klaidų nei large-v2 daugelyje kalbų. Turbo yra optimizuotas large-v3, kuris, OpenAI teigimu, praranda nedaug tikslumo mainais į daug didesnę spartą. Mažiausias tiny sudėtingame garse gerokai netikslesnis: 48.0% WER triukšmingoje vakarienėje, palyginti su 24.9% large-v2.
Kodėl Whisper rašo neištartus žodžius?
Whisper gali haliucinuoti, nes mokytas ne tik transkribuoti garsą, bet ir prognozuoti tikėtiną tekstą, o OpenAI modelio kortelė perspėja apie garse nesantį tekstą. Tai dažniausiai vyksta per ilgą tylą, muziką ar triukšmą. 2023 m. nepriklausomame tyrime haliucinuotų frazių rasta apie 1% transkripcijų, o pauzės didino tikimybę. Tylos iškirpimas, kalbos nustatymas ir tylių vietų tikrinimas sumažina riziką.
Kiek tikslus Whisper esant akcentams?
Whisper akcentus apdoroja geriau nei daugelis senesnių sistemų, bet nevienodai. OpenAI modelio kortelėje sakoma, kad tikslumas skiriasi tarp tos pačios kalbos akcentų ir dialektų. Straipsnyje ilgų afroamerikiečių anglų kalbos interviu (CORAAL) WER buvo 19.6%, o pilnų TED kalbų — 3.5%, nors įrašymo sąlygos taip pat skiriasi. Patikimiausia išbandyti įrašą su žmonėmis, panašiais į realių įrašų kalbėtojus, ir stipriems akcentams numatyti daugiau tikrinimo.
Ar Whisper toks pat tikslus kaip žmogus?
Anglų kalba Whisper priartėja, bet neprilygsta geriausiems. OpenAI palygino jį su penkiomis profesionaliomis tarnybomis 25 įrašuose. Kompiuterio pagalba dirbančios tarnybos bendras WER buvo 1.15 punkto mažesnis nei Whisper, o keturios tik žmonių tarnybos buvo geresnės punkto dalimi. Žmonės vis dar paprastai geriau apdoroja vardus, persidengiančią ir neaiškią kalbą. Citavimui, pateikimui ar publikavimui žmogus turėtų patikrinti transkriptą pagal įrašą.
Kiek tikslus Whisper kitomis nei anglų kalbomis?
Tai labai skiriasi pagal kalbą. Fleurs bandyme large-v2 WER buvo 3.0% ispanų, 4.5% vokiečių ir 8.3% prancūzų kalba, bet 27.1% hebrajų ir 99.0% telugų. Kinų ir japonų kalboms skaičiuojamas simbolių klaidų rodiklis: 14.7% ir 5.3%. Straipsnyje nustatyta, kad tikslumas susijęs su kiekvienos kalbos mokymosi garso kiekiu. Mažiau išteklių turinčioms kalboms pirmiausia išbandykite trumpą įrašą ir numatykite daugiau laiko taisymui.
Patikrinkite tikslumą savo įraše
Palyginamieji bandymai aprašo kitų žmonių garsą. Įkelkite įrašą į whispertranscribe.ai viena iš 130+ kalbų ir įvertinkite jį pagal šio gido veiksmus. Pradėkite nemokamai be paskyros arba palyginkite planus.
Susiję straipsniai: Kas yra Whisper AI? · Geriausia nemokama transkripcijos programinė įranga · Geriausios TurboScribe alternatyvos · Kaip transkribuoti YouTube vaizdo įrašą · Kas yra SRT failas? · Įrašyti ir atskiri subtitrai
Šaltiniai
- Radford ir bendraautoriai, Robust Speech Recognition via Large-Scale Weak Supervision (Whisper straipsnis, OpenAI, 2022): 2, 9, 13 ir 16 lentelės bei 3–6 skyriai
- OpenAI, openai/whisper GitHub: README modelių lentelė, turbo pastaba ir WER diagrama pagal kalbas
- OpenAI ir Hugging Face, whisper-large-v3 modelio kortelė: large-v3 pokyčiai, vertintas naudojimas ir apribojimai
- Koenecke ir bendraautoriai, Careless Whisper: Speech-to-Text Hallucination Harms (2024)
- jiwer: atvirojo kodo biblioteka WER ir CER skaičiavimui
- Hugging Face, Open ASR Leaderboard: nepriklausomas, reguliariai atnaujinamas atvirų kalbos modelių palyginimas
