Na Timu ya Wahariri ya whispertranscribe.ai · Ilisasishwa mwisho: Novemba 2026 · Dakika 13 za kusoma · Kategoria: Usahihi wa unukuzi
Whisper ina usahihi gani? Kwa Kiingereza kinachosomwa wazi, utafiti wa OpenAI unaonyesha kiwango cha makosa ya maneno (WER) cha 2.5% kwa Whisper large-v2, hivyo takriban maneno 97 hadi 98 kati ya 100 ni sahihi. Sauti ngumu ina matokeo mabaya zaidi: 13.6% kwa simu, 24.9% kwenye chakula cha jioni chenye kelele na 39.9% kwenye mkutano uliorekodiwa kwa kipaza sauti kimoja cha mbali.
Whisper ni modeli ya wazi ya OpenAI ya utambuzi wa hotuba na ndiyo msingi wa programu nyingi za unukuzi, ikiwemo yetu. Mwongozo huu unahusu usahihi tu: WER hupima nini, vipimo vinaonyesha nini kwa aina ya sauti na lugha, Whisper hukosea wapi na jinsi ya kuijaribu mwenyewe. Kwa historia ya modeli, angalia maelezo yetu ya Whisper AI ni nini.
Takwimu nyingi zinatoka kwenye utafiti wa Whisper (Radford na wenzake, 2022), uliyojaribu kila modeli kwa „zero-shot“, bila kuiboresha kwa data za majaribio. Kadi mpya ya modeli ya large-v3 inaripoti makosa machache kwa 10% hadi 20% kuliko large-v2 katika lugha nyingi, lakini bila jedwali kamili kwa kila seti ya data. whispertranscribe.ai inachapisha makala hii. Hatukufanya kipimo cha kulinganisha kwa makala hii na hakuna nambari hapa inayotoka kwenye jaribio letu wenyewe.
Usahihi wa Whisper kwa muhtasari
Hakuna seti moja ya majaribio inayojibu swali, kwa sababu sauti hubadilisha nambari zaidi kuliko kitu kingine. Jedwali linaonyesha matokeo ya OpenAI kwa large-v2 yenye beam search na temperature fallback (jedwali la 9 katika kiambatisho), yaliyopimwa baada ya kisawazishaji maandishi cha OpenAI.
| Aina ya sauti | Seti ya jaribio katika utafiti | WER ya Whisper large-v2 | Sehemu ya takriban ya maneno sahihi |
|---|---|---|---|
| Kitabu cha sauti, msomaji wazi | LibriSpeech test-clean | 2.5% | Takriban 97.5 kati ya 100 |
| Habari zinazosomwa | WSJ | 2.6% | Takriban 97.4 kati ya 100 |
| Mihadhara ya TED | TED-LIUM 3 | 3.7% | Takriban 96 kati ya 100 |
| Kitabu cha sauti, wazungumzaji wagumu zaidi | LibriSpeech test-other | 4.9% | Takriban 95 kati ya 100 |
| Wajitolea kwa vipaza sauti vya nyumbani | Common Voice 5.1 | 8.2% | Takriban 92 kati ya 100 |
| Mazungumzo ya simu | Switchboard | 13.6% | Takriban 86 kati ya 100 |
| Mahojiano marefu ya kijamii na lugha | CORAAL | 14.2% | Takriban 86 kati ya 100 |
| Simu kati ya familia na marafiki | CallHome | 16.4% | Takriban 84 kati ya 100 |
| Mikutano, kila mtu na kipaza cha kichwani | AMI IHM | 17.4% | Takriban 83 kati ya 100 |
| Chakula cha jioni, vipaza vya mbali | CHiME-6 | 24.9% | Takriban 75 kati ya 100 |
| Mikutano, kipaza kimoja cha mbali mezani | AMI SDM1 | 39.9% | Takriban 60 kati ya 100 |
„Sehemu ya maneno sahihi“ ni 100 ukitoa WER, makadirio tu kwa kuwa WER pia huhesabu maneno yaliyoongezwa.
Mara nyingi utaona 2.7% badala yake: hiyo ni modeli ileile yenye greedy decoding rahisi zaidi (jedwali la 2 la utafiti). Pia safu za AMI ni mikutano ileile iliyorekodiwa kwa njia mbili. Kuhamisha kipaza kutoka kichwani kwa kila mzungumzaji hadi katikati ya meza huongeza kiwango cha makosa zaidi ya mara mbili.
Kiwango cha makosa ya maneno (WER) ni nini, na huhesabiwaje?
Kiwango cha makosa ya maneno ni sehemu ya maneno yasiyo sahihi kwenye nakala ikilinganishwa na rejeleo lililokaguliwa na binadamu. Hesabu aina tatu za makosa na ugawanye kwa maneno kwenye rejeleo:
WER = (mabadilisho + yaliyoachwa + yaliyoongezwa) ÷ maneno kwenye rejeleo
- Mabadilisho: neno lisilo sahihi badala ya lililo sahihi („meza“ badala ya „pesa“).
- Lililoachwa: neno lililosemwa ambalo halipo kwenye nakala.
- Lililoongezwa: neno kwenye nakala ambalo hakuna aliyesema.
Huu ni mfano tuliotengeneza, uliopimwa kwa maktaba ya wazi ya jiwer:
| Mstari | Maandishi |
|---|---|
| Rejeleo (maneno 22) | tulihamisha uzinduzi wa bidhaa hadi tarehe tisa machi kwa sababu msambazaji alikosa makataa mawili na daktari anataka mpango mpya kabla ya mkutano |
| Nakala | tulihamisha uzinduzi wa mradi hadi tarehe tisa machi kwa sababu msambazaji alikosa makataa na daktari anataka ratiba mpya kabla ya mkutano leo |
| Makosa | mabadilisho 2 (mradi, ratiba), lililoachwa 1 (mawili), lililoongezwa 1 (leo) |
| WER | 4 ÷ 22 = 18.2% |
Mambo matatu kuhusu WER huwashangaza watu:
- Inaweza kuzidi 100%. Maneno yaliyoongezwa hayana kikomo, na lugha chache zenye data kidogo katika matokeo ya Fleurs ya utafiti zina zaidi ya 100%.
- Usawazishaji hubadilisha matokeo. „Dr.“ na „daktari“ huhesabiwa kama kosa isipokuwa maandishi yote mawili yasafishwe kwa njia sawa. OpenAI inasema kisawazishaji chake kilipunguza WER hadi 50% kwenye baadhi ya seti, hasa kwa kuondoa tofauti za uumbizaji.
- Baadhi ya lugha hutumia kiwango cha makosa ya herufi (CER). Kwa Kichina, Kijapani, Kitai, Kilaos na Kiburma, ambazo hazitenganishi maneno kwa nafasi, utafiti hupima herufi badala yake.
Dai la usahihi lisilotaja seti ya majaribio na mbinu ya kupima si kipimo, yeyote anayelitoa, nasi tukiwa pamoja.
Whisper ina usahihi gani kwa Kiingereza?
Whisper ni sahihi sana kwa Kiingereza kilicho wazi na hubaki kutumika kwa Kiingereza chenye changamoto. Katika utafiti, ilifanya makosa machache kwa 55.2% katika seti nyingine 12 za Kiingereza kuliko modeli ya wav2vec 2.0 iliyosimamiwa yenye alama ya LibriSpeech karibu sawa.
Rekodi ndefu
Whisper husoma sauti katika madirisha ya sekunde 30, hivyo utafiti ulijaribu faili ndefu kando (jedwali la 16 la kiambatisho, large-v2):
| Seti ya majaribio ya rekodi ndefu | Kilichomo | WER |
|---|---|---|
| TED-LIUM 3 | Mihadhara 11 kamili ya TED | 3.5% |
| Meanwhile | Vipande 64 vya televisheni ya usiku vyenye maneno mengi yasiyo ya kawaida | 5.1% |
| Kincaid46 | Rekodi 46 mchanganyiko kutoka ulinganisho wa 2018 | 8.8% |
| Earnings-21 | Simu za matokeo ya kampuni | 9.7% |
| Rev16 | Vipindi 16 vya podikasti | 11.3% |
| Earnings-22 | Simu zaidi za matokeo, lafudhi nyingi | 12.6% |
| CORAAL | Mahojiano 231 kamili kwa Kiingereza cha Waamerika weusi | 19.6% |
Whisper dhidi ya wanukuzi wa binadamu
OpenAI ilitoa rekodi 25 za Kincaid46 zinukuliwe na huduma nne za binadamu na huduma moja iliyosaidiwa na kompyuta. Huduma iliyosaidiwa na kompyuta ilipata matokeo bora kwa pointi 1.15 za asilimia kuliko Whisper, na huduma za binadamu pekee zilikuwa bora kwa sehemu ndogo ya pointi. Hitimisho la utafiti: si kamili lakini iko karibu sana na usahihi wa binadamu.
Ukubwa wa modeli ni muhimu
Whisper inapatikana kwa ukubwa kadhaa, na programu hazisemi kila mara zinatumia ipi (jedwali la 9 la kiambatisho):
| Modeli | Vigezo | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
Pengo hukua sauti inapokuwa ngumu: takriban pointi 4 kwa vitabu safi vya sauti na pointi 23 kwenye chakula cha jioni. Modeli mpya ya turbo, large-v3 iliyoboreshwa, inakubali upungufu mdogo wa usahihi kwa unukuzi wa haraka zaidi kulingana na GitHub README ya OpenAI.
Whisper ina usahihi gani katika lugha nyingine?
Nje ya Kiingereza, usahihi hutegemea zaidi kiasi cha sauti ya mafunzo ambacho Whisper ilikuwa nacho kwa lugha hiyo. Utafiti ulipata mraba wa uwiano wa 0.83 kati ya logi ya saa za mafunzo na logi ya WER, na kukadiria WER hupungua nusu kila data inapoongezeka mara 16. Lugha nyingi kati ya 96 zisizo Kiingereza zilikuwa na chini ya saa 1,000.
Matokeo teule ya Fleurs (sentensi zinazosomwa, large-v2, jedwali la 13 la kiambatisho):
| Lugha | WER ya Fleurs | Dokezo |
|---|---|---|
| Kihispania | 3.0% | Ya chini zaidi kwenye jedwali |
| Kiingereza | 4.2% | |
| Kireno | 4.3% | |
| Kijerumani | 4.5% | |
| Kijapani | 5.3% | Kiwango cha makosa ya herufi |
| Kirusi | 5.6% | |
| Kifaransa | 8.3% | |
| Kikorea | 14.3% | Imewekwa kama matokeo ya kipekee |
| Kichina | 14.7% | Kiwango cha makosa ya herufi |
| Kiarabu | 16.0% | |
| Kihindi | 21.5% | |
| Kiebrania | 27.1% | Imewekwa kama matokeo ya kipekee |
| Kiswahili | 39.3% | |
| Kitelugu | 99.0% | Imewekwa kama matokeo ya kipekee |
Utafiti unaonyesha Kiebrania, Kitelugu, Kichina na Kikorea vilifanya vibaya zaidi kuliko data ya mafunzo ilivyotabiri, labda kwa sababu ya tofauti ya lugha, tokenizer isiyofaa maandishi hayo au ubora wa data. Fleurs ni hotuba inayosomwa, hivyo tarajia makosa mengi zaidi kwenye mazungumzo. README ina chati mpya zaidi ya large-v3 na large-v2 kwenye Common Voice 15 na Fleurs.
Matokeo ya Kihispania yanatia moyo ikiwa unanukuu sauti ya Kihispania kuwa maandishi. Kwa lugha zenye rasilimali chache, jaribu kipande kifupi kabla ya kuanza mradi mzima.
Nini huathiri usahihi wa Whisper?
Hali ya kurekodi ni muhimu zaidi. Ushahidi kutoka utafiti na kadi ya modeli:
| Kigezo | Ushahidi unaonyesha nini | Cha kufanya |
|---|---|---|
| Kelele za nyuma | Chini ya kelele za baa zenye uwiano wa ishara kwa kelele chini ya 10 dB, Whisper ilizidi modeli zote 14 za kulinganisha, lakini kila modeli ilizidi kuwa mbaya kelele zilipoongezeka | Rekodi kwenye chumba tulivu, mbali na feni na muziki |
| Umbali wa kipaza sauti | Mikutano ileile ya AMI: 17.4% kwa vipaza vya kichwani, 39.9% kwa kipaza kimoja cha mezani | Weka kipaza karibu na anayezungumza |
| Mazungumzo na sauti zinazokatizana | Simu na chakula cha jioni hupata 13.6% hadi 24.9%, dhidi ya 2.5% kwa hotuba inayosomwa | Mtu mmoja azungumze kwa wakati; kipaza kimoja kwa kila mtu |
| Lafudhi na lahaja | Kadi ya modeli inaripoti usahihi usio sawa; mahojiano marefu ya CORAAL yalipata 19.6% | Jaribu wazungumzaji wanaofanana na rekodi zako halisi |
| Maneno adimu na istilahi | Vizuri kwenye seti ya Meanwhile yenye istilahi nyingi (5.1%), lakini majina na istilahi hubaki makosa ya kawaida | Kagua majina na istilahi dhidi ya orodha |
| Rasilimali za lugha | WER ya Fleurs huanzia 3.0% (Kihispania) hadi 99.0% (Kitelugu) | Chagua lugha mwenyewe; panga ukaguzi zaidi kwa lugha zenye data chache |
| Ukubwa wa modeli | tiny hupata 48.0% kwenye CHiME-6, large-v2 24.9% | Uliza modeli ambayo kifaa kinatumia au tumia kubwa zaidi unayoweza |
| Umbizo na kiwango cha sampuli | Msimbo wa Whisper hubadilisha sauti zote kuwa 16 kHz mono | WAV ya 48 kHz haiongezi kitu dhidi ya faili safi ya 16 kHz |
Kubadilisha MP3 kuwa WAV kubwa hakurejeshi maelezo yaliyopotea. Rekodi safi yenye kiwango cha biti cha wastani ni bora kuliko yenye kelele na kiwango cha juu.
Matatizo yanayojulikana ya Whisper: maandishi ya kubuni, marudio na alama za muda
OpenAI inaandika kila mojawapo ya matatizo haya, ambayo ni muhimu zaidi kuliko sehemu yake ya WER inavyoonyesha.
Maandishi ya kubuni
Whisper inaweza kuandika maneno ambayo hakuna aliyesema. Kadi ya modeli inasema utabiri unaweza kujumuisha maandishi ambayo hayakusemwa katika sauti, labda kwa sababu modeli pia hutabiri maneno yanayoweza kufuata. Sehemu ya vikomo vya utafiti hata inataja hallucination kamili, matokeo yasiyohusiana na sauti.
Utafiti huru, Careless Whisper (Koenecke na wenzake, 2024), ulipitisha vipande 13,140 vya sauti kwenye Whisper API ya OpenAI Aprili na Mei 2023. Takriban 1% ya nakala (wastani wa 1.4%) ilikuwa na tungo au sentensi nzima zilizobuniwa, na 38% ya hizo zilikuwa na maudhui yenye madhara kama vurugu au uhusiano wa uongo. Wazungumzaji wenye mapumziko marefu, katika utafiti huu watu wenye afasia, walisababisha zaidi. API imebadilika tangu wakati huo, hivyo chukulia haya kama kipimo cha 2023.
Mizunguko ya marudio na maneno yanayoachwa
Kadi ya modeli inasema Whisper inaelekea kuzalisha maandishi yanayojirudia, na beam search pamoja na mpangilio wa joto hupunguza tatizo lakini si kikamilifu. Utafiti pia unaorodhesha kuruka maneno ya kwanza au ya mwisho ya kipande. Marekebisho ya kusimbua yalipunguza wastani wa WER kwa rekodi ndefu kutoka 11.0% hadi 10.0%: bora, lakini si suluhisho kamili.
Ukimya, muziki na maneno ya kujaza
Maandishi ya kubuni hujitokeza katika ukimya mrefu na muziki. Utafiti uliona ishara ya Whisper ya „no speech“ haitoshi kutegemewa peke yake, na msimbo wa wazi sasa una chaguo la kuruka ukimya mrefu wakati maandishi ya kubuni yanayowezekana yanapogunduliwa.
Kupotoka kwa alama za muda na faili ndefu
Whisper hupitia sauti ndefu dirisha moja la sekunde 30 kwa wakati, ikitumia alama zake za muda zilizotabiriwa kupanga dirisha linalofuata, hivyo utafiti unasema kosa la dirisha moja linaweza kuhamia linalofuata. Alama za muda kwa kila neno zimewekwa kama „za majaribio“ kwenye msimbo. Kwa manukuu ya video, kagua muda karibu na mapumziko.
Wakati wa maendeleo, OpenAI pia iliona Whisper ikikisia majina ya wazungumzaji ambayo karibu kila mara yalikuwa si sahihi. Modeli zilizotolewa ziliboreshwa kupunguza hilo, lakini kagua jina lolote kwenye maandishi.
Njia 10 za kuboresha usahihi wa unukuzi wa Whisper
Maboresho mengi hutokea kabla ya kuanza kunukuu. Takriban kwa mpangilio wa athari kubwa hadi ndogo:
- Weka kipaza sauti karibu. Umbali pekee uliongeza zaidi ya mara mbili kiwango cha makosa kwenye mikutano ya AMI.
- Punguza kelele kwenye chanzo. Funga madirisha, zima feni, sitisha muziki.
- Epuka sauti zinazokatizana. Mtu mmoja kwa wakati ni bora kuliko mpangilio wowote.
- Kata ukimya mrefu na utangulizi wa muziki, ambako maandishi ya kubuni hujitokeza zaidi. Kata kwenye mapumziko, si katikati ya sentensi.
- Weka lugha mwenyewe. Whisper ilitambua lugha kwa usahihi 80.3% ya wakati katika lugha 82 za Fleurs, hivyo utambuzi otomatiki unaweza kukosea kwa vipande vifupi au vyenye lafudhi.
- Tumia modeli kubwa zaidi inayopatikana, hasa kwa rekodi zenye kelele.
- Toa majina na istilahi kwenye prompt ikiwa unaendesha mwenyewe. Whisper ya wazi inakubali
--initial_promptyenye tahajia unazotarajia. - Pakia faili asili. Kurekodi tena kupitia spika au kubana mara nyingi hupoteza maelezo.
- Kagua istilahi. Tafuta kila jina, nambari, tarehe na kifupi, kisha thibitisha kwa sauti.
- Kagua mara mbili. Kwanza rekebisha makosa kwa kasi ya kawaida. Kisha tafuta dalili za maandishi ya kubuni: mistari inayojirudia, sentensi wakati wa ukimya, au miisho kama „Asante kwa kutazama.“ Kwa kazi ya kisheria, matibabu au inayochapishwa, mtu akague kila kitu.
Jinsi ya kupima usahihi wa Whisper kwa sauti yako
Makadirio bora kwa kazi yako ni jaribio la dakika 30 kwenye rekodi zako. Hatua hizi ni zako kuendesha; si jaribio la whispertranscribe.ai.
- Chagua vipande vitatu vya dakika 2 vinavyofanana na kazi halisi: kimoja rahisi, kimoja cha kawaida na kimoja kigumu.
- Andika nakala ya rejeleo kwa mkono, neno kwa neno. Weka sheria kwanza: kuweka au kuondoa „aa“, kutumia tarakimu au maneno kwa nambari.
- Nukuu kila kipande kwa kifaa unachojaribu na uhifadhi maandishi yasiyo na uumbizaji.
- Sawazisha maandishi yote mawili kwa njia sawa. Kisawazishaji cha OpenAI huja na
openai-whisper. - Hesabu WER kwa jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Hesabu makosa muhimu kando. Maneno matano ya kujaza yasiyo sahihi na majina matano ya wateja yasiyo sahihi hutoa WER sawa lakini si tatizo lilelile.
- Rekodi matokeo ili kulinganisha vifaa au mipangilio:
| Kipande | Hali | Maneno ya rejeleo | S | D | I | WER | Makosa muhimu |
|---|---|---|---|---|---|---|---|
| Kipande A | Chumba tulivu, mzungumzaji mmoja | 310 | |||||
| Kipande B | Simu ya video, wazungumzaji wawili | 285 | |||||
| Kipande C | Kahawa, mzungumzaji mwenye lafudhi | 296 |
Idadi za maneno ni mifano. Tahadhari kuhusu hatua ya 4: kisawazishaji cha Kiingereza kinaweza kushughulikia tofauti za maandishi ya nambari na vifupisho kwa njia tofauti. Soma tofauti zilizowekwa alama kabla ya kuamini alama.
whispertranscribe.ai ina usahihi gani?
whispertranscribe.ai ni kifaa cha AI cha unukuzi kwenye wavuti kinachotumia Whisper, kinachoauni lugha 130+ na faili hadi 5GB na saa 10. Usahihi hufikia hadi 99% kwa sauti safi; kelele, lafudhi kali na sauti zinazokatizana hupunguza, kama vipimo hapo juu vinavyoonyesha kwa Whisper yenyewe. Hatusemi tunafikia au kuzidi takwimu za utafiti na hatujachapisha kipimo chetu, hivyo jaribu vipande vyako kwa hatua zilizo hapo juu.
- Chaguo za Noise / Low-Quality Audio/Video kwenye kichaguzi cha lugha kwa lugha nyingi. Kwa faili yenye kelele, jaribu chaguo la kawaida na la kelele kisha linganisha.
- Lugha 130+, Multilingual Mix, na kutafsiri sauti kwa Kiingereza.
- Faili hadi 5GB na saa 10, utambuzi wa wazungumzaji na alama za muda (vipengele vyote).
- Ingizo safi: rekodi kwenye kivinjari na kipaza karibu, au badilisha video kuwa MP3 kupakia sauti pekee.
- Hamisha DOCX, PDF, TXT, CSV, SRT na VTT, pamoja na kitengeneza manukuu ya video kwa manukuu yenye muda.
Unaweza kuanza bure bila akaunti. Mipango ya kulipia huanza $9.99/mwezi kwa malipo ya mwaka; angalia bei.
Maswali yanayoulizwa mara nyingi
Je, Whisper ina usahihi wa 99%?
Si kwa ujumla. Matokeo bora yaliyochapishwa ya Whisper ni WER ya 2.5% kwenye LibriSpeech test-clean, seti ya vitabu vya sauti vinavyosomwa wazi, ambayo ni takriban 97.5% ya maneno sahihi. Kwa simu, mikutano na vyumba vyenye kelele, takwimu za OpenAI zinaanzia takriban 13% hadi 40% WER. Dai la „99%“ lina maana tu likitaja sauti iliyopimwa. Vifaa vinavyotumia Whisper, ikiwemo whispertranscribe.ai, vipimwe kwa rekodi zako, si asilimia ya kichwa.
Modeli ipi ya Whisper ni sahihi zaidi?
Modeli kubwa ndizo sahihi zaidi. Katika utafiti wa OpenAI, large-v2 ilikuwa na makosa machache zaidi kwenye seti nyingi na kadi ya large-v3 inaripoti makosa machache kwa 10% hadi 20% kuliko large-v2 katika lugha nyingi. Turbo ni large-v3 iliyoboreshwa ambayo OpenAI inasema inapoteza usahihi kidogo kwa kasi kubwa zaidi. Modeli ndogo tiny si sahihi sana kwenye sauti ngumu: 48.0% WER kwenye chakula cha jioni chenye kelele dhidi ya 24.9% kwa large-v2.
Kwa nini Whisper huandika maneno ambayo hayakusemwa?
Whisper inaweza kubuni maandishi kwa sababu imefundishwa kutabiri maandishi yanayowezekana pamoja na kunukuu sauti, na kadi ya modeli ya OpenAI inaonya kuwa inaweza kutoa maandishi yasiyomo kwenye sauti. Hutokea zaidi katika ukimya mrefu, muziki au kelele. Utafiti huru wa 2023 ulipata tungo zilizobuniwa katika takriban 1% ya nakala na mapumziko yaliongeza uwezekano. Kukata ukimya, kuweka lugha na kukagua sehemu tulivu hupunguza hatari.
Whisper ina usahihi gani kwa lafudhi?
Whisper hushughulikia lafudhi vizuri zaidi kuliko mifumo mingi ya zamani, lakini si kwa usawa. Kadi ya modeli ya OpenAI inasema usahihi hutofautiana kwa lafudhi na lahaja za lugha moja. Katika utafiti, mahojiano marefu ya Kiingereza cha Waamerika weusi (CORAAL) yalipata 19.6% WER dhidi ya 3.5% kwa mihadhara kamili ya TED, ingawa hali ya kurekodi pia ni tofauti. Njia ya kutegemewa ni kujaribu kipande chenye wazungumzaji wanaofanana na rekodi zako halisi na kupanga ukaguzi zaidi kwa lafudhi kali.
Je, Whisper ni sahihi kama mnukuzi wa binadamu?
Kwa Kiingereza, Whisper inakaribia lakini haifikii bora zaidi. OpenAI iliilinganisha na huduma tano za kitaalamu kwenye rekodi 25. Huduma iliyosaidiwa na kompyuta ilikuwa na WER ya jumla iliyo chini kwa pointi 1.15 kuliko Whisper, na huduma nne za binadamu pekee zilikuwa bora kwa sehemu ndogo ya pointi. Binadamu bado kwa kawaida hushughulikia vizuri majina, sauti zinazokatizana na hotuba isiyo wazi. Kwa chochote kitakachonukuliwa, kuwasilishwa au kuchapishwa, mtu akague nakala dhidi ya rekodi.
Whisper ina usahihi gani kwa lugha nyingine isipokuwa Kiingereza?
Hutofautiana sana kwa lugha. Kwenye kipimo cha Fleurs, large-v2 ilipata 3.0% WER kwa Kihispania, 4.5% kwa Kijerumani na 8.3% kwa Kifaransa, lakini 27.1% kwa Kiebrania na 99.0% kwa Kitelugu. Kichina na Kijapani hupimwa kwa kiwango cha makosa ya herufi: 14.7% na 5.3%. Utafiti uliona uhusiano kati ya usahihi na kiasi cha sauti ya mafunzo ya kila lugha. Kwa lugha zenye rasilimali chache, jaribu kipande kifupi kwanza na panga muda zaidi wa kurekebisha.
Jaribu usahihi kwenye rekodi yako
Vipimo vinaelezea sauti za watu wengine. Pakia kipande kwenye whispertranscribe.ai katika mojawapo ya lugha 130+ na ukipime kwa hatua za mwongozo huu. Anza bure bila akaunti au linganisha mipango.
Makala zinazohusiana: Whisper AI ni nini? · Programu bora za bure za unukuzi · Mbadala bora za TurboScribe · Jinsi ya kunukuu video ya YouTube · Faili ya SRT ni nini? · Manukuu ya kudumu dhidi ya yanayoweza kuzimwa
Marejeo
- Radford na wenzake, Robust Speech Recognition via Large-Scale Weak Supervision (utafiti wa Whisper, OpenAI, 2022): Majedwali 2, 9, 13 na 16 na Sehemu 3 hadi 6
- OpenAI, openai/whisper kwenye GitHub: jedwali la modeli la README, dokezo la turbo na chati ya WER kwa lugha
- OpenAI na Hugging Face, kadi ya modeli ya whisper-large-v3: mabadiliko ya large-v3, matumizi yaliyopimwa na vikomo
- Koenecke na wenzake, Careless Whisper: Speech-to-Text Hallucination Harms (2024)
- jiwer: maktaba ya wazi kwa WER na CER
- Hugging Face, Open ASR Leaderboard: ulinganisho huru na unaosasishwa wa modeli wazi za hotuba
