Nga redaksia e whispertranscribe.ai · Përditësuar në nëntor 2026 · 13 minuta lexim · Kategoria: Saktësia e transkriptimit
Sa i saktë është Whisper? Për lexim të qartë në anglisht, studimi i OpenAI raporton një shkallë gabimi të fjalëve (WER) prej 2.5% për Whisper large-v2, ose afërsisht 97 deri në 98 fjalë të sakta nga 100. Me audio më të vështirë, gabimet shtohen: 13.6% në telefonata, 24.9% në një darkë me zhurmë dhe 39.9% në një takim të regjistruar nga një mikrofon i largët.
Whisper është modeli me kod të hapur i OpenAI për njohjen e të folurit. Ai përdoret nga shumë aplikacione transkriptimi, përfshirë tonin. Ky udhëzues përqendrohet te saktësia: çfarë mat WER-i, çfarë tregojnë provat sipas llojit të audios dhe gjuhës, ku has vështirësi Whisper dhe si ta provoni vetë. Për historikun e modelit, shihni shpjegimin çfarë është Whisper AI.
Shumica e shifrave vijnë nga studimi për Whisper (Radford dhe të tjerë, 2022), ku çdo model u testua «zero-shot», pa përshtatje të mëtejshme me grupet e provës. Fleta e modelit large-v3, më e re, raporton 10% deri në 20% më pak gabime se large-v2 në shumë gjuhë, pa tabelë të plotë për çdo grup të dhënash. Këtë artikull e boton whispertranscribe.ai. Për të nuk kemi kryer një matje krahasuese dhe shifrat vijnë nga burimet e cituara.
Saktësia e Whisper me një vështrim
Rezultati ndikohet mbi të gjitha nga audioja, ndaj një grup prove nuk mjafton. Tabela tregon rezultatet e OpenAI për large-v2 me kërkim me rreze dhe ndryshim të temperaturës kur dekodimi dështon (tabela 9 e shtojcës), të matura pas normalizimit të tekstit nga OpenAI.
| Lloji i audios | Grupi i provës në studim | WER i Whisper large-v2 | Përqindja e përafërt e fjalëve të sakta |
|---|---|---|---|
| Libër audio me lexim të qartë | LibriSpeech test-clean | 2.5% | Rreth 97.5 nga 100 |
| Lajme të lexuara | WSJ | 2.6% | Rreth 97.4 nga 100 |
| Fjalime TED | TED-LIUM 3 | 3.7% | Rreth 96 nga 100 |
| Libër audio me folës më të vështirë për t'u kuptuar | LibriSpeech test-other | 4.9% | Rreth 95 nga 100 |
| Vullnetarë me mikrofona shtëpie | Common Voice 5.1 | 8.2% | Rreth 92 nga 100 |
| Biseda telefonike | Switchboard | 13.6% | Rreth 86 nga 100 |
| Intervista sociolinguistike të gjata | CORAAL | 14.2% | Rreth 86 nga 100 |
| Telefonata mes familjarëve dhe miqve | CallHome | 16.4% | Rreth 84 nga 100 |
| Takime me mikrofon kufjesh për secilin person | AMI IHM | 17.4% | Rreth 83 nga 100 |
| Darka me mikrofona të largët | CHiME-6 | 24.9% | Rreth 75 nga 100 |
| Takime me një mikrofon të largët mbi tavolinë | AMI SDM1 | 39.9% | Rreth 60 nga 100 |
«Përqindja e fjalëve të sakta» llogaritet përafërsisht si 100 minus WER, sepse WER-i numëron edhe fjalët e shtuara.
Shpesh citohet edhe shifra 2.7%. Ajo vjen nga i njëjti model me dekodim më të thjeshtë, që zgjedh rezultatin më të mundshëm në çdo hap (tabela 2 e studimit). Dy rreshtat AMI tregojnë të njëjtat takime, të regjistruara në dy mënyra. Kalimi nga një mikrofon pranë çdo folësi te një mikrofon në mes të tavolinës e rrit shkallën e gabimit më shumë se dyfish.
Çfarë është shkalla e gabimit të fjalëve (WER) dhe si llogaritet?
Shkalla e gabimit të fjalëve mat gabimet e transkriptit kundrejt një teksti reference të kontrolluar nga një person. Numëroni tri lloje gabimesh dhe pjesëtojini me numrin e fjalëve në tekstin e referencës:
WER = (zëvendësimet + fshirjet + shtesat) ÷ fjalët në tekstin e referencës
- Zëvendësim: një fjalë e gabuar në vend të fjalës së saktë («lunch» në vend të «launch»).
- Fshirje: një fjalë e thënë mungon në transkript.
- Shtesë: në transkript ka një fjalë që askush nuk e tha.
Ja një shembull në anglisht, i krijuar për udhëzuesin dhe i vlerësuar me bibliotekën me kod të hapur jiwer:
| Rreshti | Teksti |
|---|---|
| Referenca (22 fjalë) | e shtymë lançimin e produktit në nëntë mars sepse furnizuesi humbi dy afate dhe doktor patel kërkon një plan të ri testimi |
| Transkripti | e shtymë lajmin e produktit në nëntë mars sepse furnizuesi humbi afate dhe doktor batel kërkon një plan të ri testimi sot |
| Gabimet | 2 zëvendësime (lajmin, batel), 1 fshirje (dy), 1 shtesë (sot) |
| WER | 4 ÷ 22 = 18.2% |
Tri hollësi të WER-it që mund të krijojnë paqartësi:
- Mund të kalojë 100%. Numri i fjalëve të shtuara nuk ka kufi. Disa gjuhë me pak të dhëna trajnimi e kalojnë 100% në rezultatet Fleurs të studimit.
- Normalizimi e ndryshon rezultatin. «Dr.» dhe «doctor» numërohen si gabim nëse të dy tekstet nuk përpunohen në të njëjtën mënyrë. Sipas OpenAI, normalizimi e uli WER-in deri në 50% në disa grupe të dhënash, kryesisht duke hequr ndryshimet në formatim.
- Për disa gjuhë përdoret shkalla e gabimeve të karaktereve (CER). Për kinezishten, japonishten, tajlandishten, gjuhën lao dhe birmanishten, që nuk i ndajnë rregullisht fjalët me hapësira, studimi mat gabimet në karaktere.
Një pretendim për saktësinë ka vlerë si matje kur përcakton grupin e provës dhe metodën e vlerësimit. Kjo vlen edhe për pretendimet tona.
Sa i saktë është Whisper në anglisht?
Whisper është shumë i saktë me anglishte të qartë dhe jep rezultate të përdorshme edhe me audio më të vështirë. Në studim bëri 55.2% më pak gabime në 12 grupe të tjera të dhënash në anglisht se një model i mbikëqyrur wav2vec 2.0 me rezultat pothuaj të njëjtë në LibriSpeech.
Regjistrime të gjata
Whisper e lexon audion në dritare prej 30 sekondash, ndaj studimi i testoi skedarët e gjatë veçmas (tabela 16 e shtojcës, large-v2):
| Grupi i provës me regjistrime të gjata | Çfarë përmban | WER |
|---|---|---|
| TED-LIUM 3 | 11 fjalime të plota TED | 3.5% |
| Meanwhile | 64 segmente të emisioneve të natës, me shumë fjalë të pazakonta | 5.1% |
| Kincaid46 | 46 regjistrime të llojeve të ndryshme nga një krahasim i vitit 2018 | 8.8% |
| Earnings-21 | Telefonata të kompanive për rezultatet financiare | 9.7% |
| Rev16 | 16 episode podkastesh | 11.3% |
| Earnings-22 | Telefonata të tjera për rezultatet financiare, me shumë thekse | 12.6% |
| CORAAL | 231 intervista të plota në anglishten afrikano-amerikane | 19.6% |
Whisper përballë transkriptimit nga njerëz
OpenAI porositi transkriptimin e 25 regjistrimeve të Kincaid46 nga katër shërbime me transkriptues njerëzorë dhe një shërbim i ndihmuar nga kompjuteri. Shërbimi i ndihmuar nga kompjuteri doli 1.15 pikë përqindjeje më mirë se Whisper. Shërbimet vetëm me transkriptues njerëzorë dolën më mirë me një pjesë të vogël të një pike. Sipas studimit, rezultati ka ende gabime, por i afrohet shumë saktësisë njerëzore.
Madhësia e modelit ka rëndësi
Whisper ofrohet në disa madhësi dhe aplikacionet nuk e tregojnë gjithmonë se cilën përdorin (tabela 9 e shtojcës):
| Modeli | Parametra | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
Dallimi rritet me audion më të vështirë: rreth 4 pikë në libra audio të qartë dhe 23 pikë në darkën me zhurmë. Modeli më i ri turbo është një large-v3 i optimizuar që transkripton shumë më shpejt me një ulje minimale të saktësisë, sipas README të OpenAI në GitHub.
Sa i saktë është Whisper në gjuhë të tjera?
Jashtë anglishtes, saktësia varet sidomos nga sasia e audios së trajnimit për gjuhën. Studimi gjeti një korrelacion në katror prej 0.83 midis logaritmit të orëve të trajnimit dhe logaritmit të WER-it. Ai vlerëson se WER-i përgjysmohet për çdo rritje 16-fish të të dhënave. Shumica e 96 gjuhëve të tjera kishin më pak se 1,000 orë.
Disa rezultate të Fleurs (fjali të lexuara, large-v2, tabela 13 e shtojcës):
| Gjuha | WER në Fleurs | Shënim |
|---|---|---|
| Spanjisht | 3.0% | Më i ulëti në tabelë |
| Anglisht | 4.2% | |
| Portugalisht | 4.3% | |
| Gjermanisht | 4.5% | |
| Japonisht | 5.3% | Shkalla e gabimit të karaktereve |
| Rusisht | 5.6% | |
| Frëngjisht | 8.3% | |
| Koreanisht | 14.3% | Shënuar si rezultat që del nga prirja |
| Kinezisht | 14.7% | Shkalla e gabimit të karaktereve |
| Arabisht | 16.0% | |
| Hindisht | 21.5% | |
| Hebraisht | 27.1% | Shënuar si rezultat që del nga prirja |
| Suahilisht | 39.3% | |
| Telugu | 99.0% | Shënuar si rezultat që del nga prirja |
Sipas studimit, hebraishtja, telugu, kinezishtja dhe koreanishtja dalin më dobët nga sa pritej nga të dhënat e trajnimit. Shkaqe të mundshme janë largësia gjuhësore, ndarja jo e përshtatshme në njësi teksti për ato sisteme shkrimi ose cilësia e të dhënave. Fleurs përmban të folur të lexuar, ndaj në biseda prisni më shumë gabime. README ka një grafik më të ri për large-v3 dhe large-v2 në Common Voice 15 dhe Fleurs.
Rezultatet në spanjisht janë inkurajuese nëse transkriptoni audio në spanjisht. Për gjuhë me pak të dhëna trajnimi, provoni një fragment të shkurtër para se të nisni gjithë projektin.
Çfarë ndikon në saktësinë e Whisper?
Kushtet e regjistrimit kanë ndikimin më të madh. Ja çfarë tregojnë studimi dhe fleta e modelit:
| Faktori | Çfarë tregojnë provat | Çfarë të bëni |
|---|---|---|
| Zhurma në sfond | Me zhurmë lokali dhe raport sinjal-zhurmë nën 10 dB, Whisper doli më mirë se të 14 modelet e krahasuara. Rezultati i çdo modeli u përkeqësua me shtimin e zhurmës | Regjistroni në dhomë të qetë, larg ventilatorëve dhe muzikës |
| Largësia nga mikrofoni | Të njëjtat takime AMI: 17.4% me mikrofona kufjesh, 39.9% me një mikrofon në tavolinë | Mbajeni mikrofonin pranë personit që flet |
| Biseda dhe zëra të mbivendosur | Telefonatat dhe darkat kanë 13.6% deri në 24.9% gabime, kundrejt 2.5% në të folur të lexuar | Flisni njëri pas tjetrit dhe përdorni nga një mikrofon për çdo folës |
| Thekset dhe dialektet | Fleta e modelit raporton saktësi të ndryshme sipas theksit dhe dialektit. Intervistat e gjata CORAAL arritën 19.6% | Provoni folës që tingëllojnë si në regjistrimet tuaja |
| Fjalët e rralla dhe termat | Rezultat i mirë në Meanwhile, me shumë terma (5.1%). Emrat dhe termat teknikë vazhdojnë të jenë gabime të zakonshme | Kontrolloni emrat dhe termat kundrejt një liste |
| Të dhënat për gjuhën | WER-i në Fleurs shkon nga 3.0% (spanjisht) në 99.0% (telugu) | Zgjidheni vetë gjuhën dhe parashikoni më shumë kontroll për gjuhët me pak të dhëna |
| Madhësia e modelit | tiny shënon 48.0% në CHiME-6, ndërsa large-v2 24.9% | Pyesni çfarë modeli përdor mjeti ose zgjidhni modelin më të madh që mundeni |
| Formati i skedarit dhe frekuenca e kampionimit | Kodi i Whisper konverton gjithë audion në mono në 16 kHz | Një WAV në 48 kHz nuk sjell përfitim ndaj një skedari të pastër në 16 kHz |
Konvertimi i MP3 në një WAV të madh nuk rikthen hollësitë e humbura. Një regjistrim i pastër me shpejtësi bitesh mesatare jep rezultat më të mirë se një regjistrim me zhurmë me shpejtësi të lartë.
Probleme të njohura të Whisper: tekst i sajuar, përsëritje dhe shenja kohore
OpenAI i dokumenton të gjitha këto probleme. Pasoja e tyre mund të jetë më e madhe nga sa tregon pesha që kanë në WER.
Tekst i sajuar
Whisper mund të shkruajë fjalë që askush nuk i tha. Sipas fletës së modelit, rezultati mund të përmbajë tekst që nuk është thënë në audio, me gjasë sepse modeli parashikon edhe fjalët e mundshme që pasojnë. Pjesa për kufizimet në studim përmend edhe raste kur modeli sajon gjithë tekstin, pa lidhje me audion.
Një studim i pavarur, Careless Whisper (Koenecke dhe të tjerë, 2024), përpunoi 13,140 segmente audioje me API-n e Whisper të OpenAI në prill dhe maj 2023. Rreth 1% e transkripteve (mesatarisht 1.4%) përmbanin fraza ose fjali të plota të sajuara. Në 38% të këtyre rasteve kishte përmbajtje të dëmshme, si dhunë ose lidhje të rreme mes njerëzve apo ngjarjeve. Problemi u shfaq më shpesh te folësit me pauza më të gjata, që në këtë studim ishin persona me afazi. API-ja ka ndryshuar që atëherë, ndaj trajtojeni si matje të vitit 2023.
Përsëritje dhe fjalë të lëna jashtë
Sipas fletës së modelit, Whisper priret të krijojë tekst të përsëritur. Kërkimi me rreze dhe ndryshimi i temperaturës e ulin këtë prirje, por nuk e heqin plotësisht. Studimi përmend edhe raste kur lihen jashtë fjalët e para ose të fundit të një segmenti. Ndryshimet në dekodim e ulën WER-in mesatar për audion e gjatë nga 11.0% në 10.0%, ndërsa gabimet vazhduan.
Heshtja, muzika dhe fjalët mbushëse
Teksti i sajuar ka prirje të shfaqet në heshtje të gjata dhe në pjesë muzikore. Studimi gjeti se sinjali «pa të folur» i Whisper nuk ishte mjaftueshëm i besueshëm më vete. Kodi i hapur tani ka një opsion për të kapërcyer heshtjet e gjata kur zbulon një sajim të mundshëm.
Zhvendosja e shenjave kohore në skedarët e gjatë
Whisper përpunon audion e gjatë me dritare 30-sekondëshe dhe përdor shenjat që parashikon vetë për të caktuar dritaren e radhës. Sipas studimit, një gabim në një dritare mund të kalojë te tjetra. Kodi i shënon shenjat kohore në nivel fjale si «eksperimentale». Kur krijoni titra, kontrolloni kohën në disa pika pranë pauzave.
Gjatë zhvillimit, OpenAI vuri re edhe se Whisper hamendësonte emra folësish, pothuajse gjithmonë gabim. Modelet e publikuara u përshtatën për ta kufizuar këtë sjellje. Kontrolloni çdo emër në tekst.
10 mënyra për të përmirësuar saktësinë e transkriptimit me Whisper
Përmirësimet më të mëdha vijnë para se të nisni transkriptimin. Më poshtë janë renditur përafërsisht nga ndikimi më i madh te më i vogli:
- Afrojeni mikrofonin. Vetëm ndryshimi i largësisë e rriti shkallën e gabimit më shumë se dyfish në takimet AMI.
- Ulni zhurmën në burim. Mbyllni dritaret, fikni ventilatorët dhe ndalni muzikën.
- Shmangni të folurit njëkohësisht. Kur njerëzit flasin me radhë, rezultati përmirësohet më shumë se nga ndryshimi i cilësimeve.
- Hiqni heshtjet dhe hyrjet e gjata muzikore, ku shfaqet më shpesh tekst i sajuar. Prisni gjatë pauzave, duke ruajtur fjalitë e plota.
- Zgjidheni vetë gjuhën. Whisper e identifikoi saktë gjuhën në 80.3% të rasteve në 82 gjuhë të Fleurs. Zbulimi automatik mund të gabojë me fragmente të shkurtra ose me theks.
- Përdorni modelin më të madh të disponueshëm, sidomos për regjistrime me zhurmë.
- Jepini modelit emrat dhe termat kur e ekzekutoni vetë. Whisper me kod të hapur pranon një
--initial_promptme mënyrën e saktë të shkrimit. - Ngarkoni skedarin origjinal. Regjistrimi i dytë nga altoparlantët ose kompresimi i përsëritur humb hollësi.
- Kontrolloni termat. Kërkoni emrat, numrat, datat dhe akronimet dhe kontrollojini duke dëgjuar audion.
- Bëni dy kontrolle. Fillimisht korrigjoni gabimet me shpejtësi normale. Pastaj kërkoni shenja të tekstit të sajuar, si rreshta të përsëritur, fjali gjatë heshtjes dhe mbyllje si «Faleminderit që na ndoqët». Për punë ligjore, mjekësore ose botime, kërkojini një personi ta kontrollojë të gjithë tekstin.
Si ta matni saktësinë e Whisper me audion tuaj
Një provë 30-minutëshe me regjistrimet tuaja jep vlerësimin më të mirë për punën tuaj. Hapat janë për t'i kryer vetë. Këtu nuk po raportojmë një provë të whispertranscribe.ai.
- Zgjidhni tri fragmente 2-minutëshe që i ngjajnë punës suaj: një të lehtë, një tipik dhe një të vështirë.
- Shkruani një transkript reference me dorë, fjalë për fjalë. Vendosni paraprakisht rregullat, si ruajtja ose heqja e «ëm»-ve dhe shkrimi i numrave me shifra ose me fjalë.
- Transkriptoni çdo fragment me mjetin që po provoni dhe ruajeni si tekst të thjeshtë.
- Normalizoni të dy tekstet në të njëjtën mënyrë. Normalizuesi i OpenAI përfshihet në
openai-whisper. - Llogaritni WER-in me jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Numëroni veçmas gabimet kritike. Pesë fjalë mbushëse të gabuara dhe pesë emra klientësh të pasaktë japin të njëjtin WER, por kanë pasoja të ndryshme.
- Shënoni rezultatet që të krahasoni mjetet ose cilësimet:
| Fragmenti | Kushtet | Fjalë në referencë | S | D | I | WER | Gabime kritike |
|---|---|---|---|---|---|---|---|
| Fragmenti A | Dhomë e qetë, një folës | 310 | |||||
| Fragmenti B | Videotelefonatë, dy folës | 285 | |||||
| Fragmenti C | Kafene, folës me theks | 296 |
Numrat e fjalëve janë ilustrues. Një hollësi për hapin 4: kur provuam normalizuesin për anglishten të OpenAI me një fjali të krijuar prej nesh, ai i trajtoi «Dr.» dhe «doctor», si dhe «two» dhe «2», si të barasvlershme. Gjithsesi, e numëroi ndryshimin mes «9th» dhe «ninth» si gabim. Lexoni ndryshimet e shënuara para se të mbështeteni te rezultati.
Sa i saktë është whispertranscribe.ai?
whispertranscribe.ai është një mjet transkriptimi me IA në shfletues që përdor Whisper. Mbështet mbi 130 gjuhë dhe pranon ngarkime deri në 5 GB dhe 10 orë. Me audio të qartë, saktësia arrin deri në 99%. Zhurma në sfond, thekset e forta dhe zërat e mbivendosur e ulin, siç tregojnë provat më sipër për vetë Whisper. Nuk kemi publikuar matje krahasuese tonën ose pretenduar se barazojmë a tejkalojmë shifrat e studimit. Provoni fragmentet tuaja me hapat e mësipërm.
- Opsione Noise / Low-Quality Audio/Video për shumë gjuhë në zgjedhësin e gjuhës. Me një skedar të zhurmshëm, provoni opsionin standard dhe atë për zhurmën, pastaj krahasoni rezultatet.
- Mbi 130 gjuhë, opsioni Multilingual Mix dhe përkthimi i audios në anglisht.
- Skedarë deri në 5 GB dhe 10 orë, identifikim i folësve dhe shenja kohore (të gjitha funksionet).
- Audio e pastër: regjistroni në shfletues me mikrofonin pranë ose konvertoni videon në MP3 për të ngarkuar vetëm audion.
- Eksporte në DOCX, PDF, TXT, CSV, SRT dhe VTT, si dhe një gjenerues titrash me shenja kohore.
Mund të filloni falas pa llogari. Planet me pagesë fillojnë nga $9.99 në muaj me faturim vjetor. Shihni çmimet.
Pyetje të shpeshta
A është Whisper 99% i saktë?
Kjo shifër nuk vlen për të gjitha llojet e audios. Në studimin e OpenAI, rezultati më i mirë i publikuar i Whisper për LibriSpeech test-clean, një grup librash audio të lexuar qartë, është 2.5% WER, ose rreth 97.5% e fjalëve të sakta. Në telefonata, takime dhe dhoma me zhurmë, shifrat e OpenAI shkojnë nga rreth 13% në 40% WER. Pretendimi «99%» ka kuptim kur përcakton audion mbi të cilën u mat. Vlerësojini mjetet që përdorin Whisper, përfshirë whispertranscribe.ai, me regjistrimet tuaja.
Cili model Whisper është më i saktë?
Modelet large janë më të saktat. Në studimin e OpenAI, large-v2 kishte shkallën më të ulët të gabimit në shumicën e grupeve të provës. Fleta e large-v3 raporton 10% deri në 20% më pak gabime se large-v2 në shumë gjuhë. Turbo është një large-v3 i optimizuar që, sipas OpenAI, fiton shumë shpejtësi me një humbje të vogël saktësie. Modeli më i vogël, tiny, është shumë më pak i saktë në audio të vështirë: 48.0% WER në një darkë me zhurmë, kundrejt 24.9% për large-v2.
Pse shkruan Whisper fjalë që askush nuk i tha?
Whisper është trajnuar të parashikojë tekstin e mundshëm ndërsa transkripton tingujt. Fleta e modelit të OpenAI paralajmëron se mund të japë tekst që nuk gjendet në audio. Kjo ndodh më shpesh gjatë heshtjeve të gjata, muzikës ose zhurmës. Një studim i pavarur i vitit 2023 gjeti fraza të sajuara në rreth 1% të transkripteve. Rreziku rritej me pauzat. Mund ta ulni duke hequr heshtjet, duke zgjedhur gjuhën dhe duke kontrolluar pjesët e qeta të transkriptit.
Sa i saktë është Whisper me thekset?
Whisper i përpunon thekset më mirë se shumë sisteme më të vjetra, me rezultate të ndryshme sipas theksit. Fleta e modelit të OpenAI thotë se saktësia ndryshon mes thekseve dhe dialekteve të së njëjtës gjuhë. Në studim, intervistat e gjata në anglishten afrikano-amerikane (CORAAL) dolën me 19.6% WER, kundrejt 3.5% për fjalime të plota TED. Kushtet e regjistrimit gjithashtu ndryshonin. Provoni një fragment me folës që tingëllojnë si në regjistrimet tuaja dhe parashikoni më shumë kohë për kontroll kur thekset janë të forta.
A është Whisper po aq i saktë sa një transkriptues njerëzor?
Në anglisht, Whisper u afrohet shërbimeve më të mira. OpenAI e krahasoi me pesë shërbime profesionale në 25 regjistrime. Një shërbim i ndihmuar nga kompjuteri pati WER të përgjithshëm 1.15 pikë më të ulët se Whisper. Katër shërbime tërësisht njerëzore dolën më mirë me një pjesë të vogël të një pike. Njerëzit priren t'i trajtojnë më mirë emrat, zërat e mbivendosur dhe të folurën e paqartë. Për çdo material që citohet, depozitohet ose botohet, një person duhet ta kontrollojë transkriptin kundrejt regjistrimit.
Sa i saktë është Whisper në gjuhë të tjera përveç anglishtes?
Rezultati ndryshon shumë sipas gjuhës. Në provën Fleurs, large-v2 shënoi 3.0% WER në spanjisht, 4.5% në gjermanisht dhe 8.3% në frëngjisht, por 27.1% në hebraisht dhe 99.0% në telugu. Kinezishtja dhe japonishtja maten me shkallën e gabimit të karaktereve, përkatësisht 14.7% dhe 5.3%. Studimi gjeti se saktësia lidhej me sasinë e audios së trajnimit për secilën gjuhë. Për gjuhët me më pak të dhëna, provoni fillimisht një fragment të shkurtër dhe parashikoni më shumë kohë për korrigjime.
Provoni saktësinë në regjistrimin tuaj
Matjet krahasuese përshkruajnë audion e të tjerëve. Ngarkoni një fragment në whispertranscribe.ai në njërën prej mbi 130 gjuhëve dhe mateni me hapat e këtij udhëzuesi. Filloni falas, pa llogari, ose krahasoni planet.
Artikuj të lidhur: Çfarë është Whisper AI? · Programet më të mira të transkriptimit falas · Alternativat më të mira të TurboScribe · Si të transkriptoni një video në YouTube · Çfarë është një skedar SRT? · Titra të integruar dhe titra të çaktivizueshëm
Burimet
- Radford dhe të tjerë, Njohja e qëndrueshme e të folurit me mbikëqyrje të dobët në shkallë të gjerë (studimi për Whisper, OpenAI, 2022): tabelat 2, 9, 13 dhe 16 dhe seksionet 3 deri në 6
- OpenAI, openai/whisper në GitHub: tabela e modeleve në README, shënimi për turbo dhe grafiku i WER-it sipas gjuhës
- OpenAI dhe Hugging Face, fleta e modelit whisper-large-v3: ndryshimet në large-v3, përdorimet e vlerësuara dhe kufizimet
- Koenecke dhe të tjerë, Careless Whisper: Dëmet nga teksti i sajuar gjatë kthimit të të folurit në tekst (2024)
- jiwer: bibliotekë me kod të hapur për WER dhe CER
- Hugging Face, Open ASR Leaderboard: krahasim i pavarur, i përditësuar rregullisht, i modeleve të hapura për njohjen e të folurit
