Որքանո՞վ է ճշգրիտ Whisper AI-ն․ WER, սահմանափակումներ և խորհուրդներ (2026)

whispertranscribe.ai խմբագրություն · Վերջին թարմացումը՝ նոյեմբեր 2026 · Ընթերցում՝ 13 րոպե · Կատեգորիա՝ տառադարձման ճշգրտություն

Որքա՞ն ճշգրիտ է Whisper-ը։ Մաքուր ընթերցված անգլերենի դեպքում OpenAI-ի աշխատությունը Whisper large-v2-ի համար հաղորդում է 2.5% բառային սխալի մակարդակ (WER), այսինքն՝ 100 բառից մոտ 97-ից 98-ը ճիշտ են։ Ավելի դժվար ձայնագրության դեպքում արդյունքն ավելի վատ է․ հեռախոսազրույցների համար՝ 13.6%, աղմկոտ ընթրիքի համար՝ 24.9%, իսկ մեկ հեռավոր խոսափողով ձայնագրված հանդիպման համար՝ 39.9%։

Whisper-ը OpenAI-ի բաց կոդով խոսքի ճանաչման մոդելն է և օգտագործվում է տառադարձման բազմաթիվ հավելվածներում, այդ թվում՝ մերում։ Այս ուղեցույցը վերաբերում է միայն ճշգրտությանը․ ինչ է չափում WER-ը, ինչ են ցույց տալիս տարբեր ձայնագրությունների ու լեզուների փորձարկումները, երբ է Whisper-ը սխալվում և ինչպես կարող եք ինքներդ ստուգել այն։ Մոդելի մասին ավելին՝ ինչ է Whisper AI-ն հոդվածում։

Թվերի մեծ մասը Whisper-ի աշխատությունից է (Radford և համահեղինակներ, 2022), որտեղ բոլոր մոդելները փորձարկվել են «zero-shot» եղանակով՝ առանց թեստային տվյալների վրա լրացուցիչ ուսուցման։ Ավելի նոր large-v3 մոդելի քարտը հաղորդում է բազմաթիվ լեզուներում large-v2-ից 10%-ից 20% ավելի քիչ սխալներ, սակայն չի ներկայացնում տվյալների յուրաքանչյուր հավաքածուի ամբողջական աղյուսակը։ Հոդվածը հրապարակում է whispertranscribe.ai-ն։ Այս հոդվածի համար մենք համեմատական փորձարկում չենք անցկացրել, և այստեղի թվերը մեր փորձարկման արդյունքներ չեն։

Whisper-ի ճշգրտությունը մի հայացքով

Միայն մեկ թեստային հավաքածուն բավարար չէ, քանի որ ձայնագրության պայմաններն ամենից շատ են ազդում արդյունքի վրա։ Աղյուսակում OpenAI-ի large-v2 արդյունքներն են՝ beam search և temperature fallback մեթոդներով (հավելվածի աղյուսակ 9), OpenAI-ի տեքստի նորմալացումից հետո։

Ձայնագրության տեսակ Աշխատության թեստային հավաքածուն Whisper large-v2 WER Մոտավոր ճիշտ բառերի բաժին
Աուդիոգիրք, հստակ ընթերցող LibriSpeech test-clean 2.5% 100-ից մոտ 97.5
Ընթերցված նորություն WSJ 2.6% 100-ից մոտ 97.4
TED ելույթներ TED-LIUM 3 3.7% 100-ից մոտ 96
Աուդիոգիրք, ավելի դժվար խոսողներ LibriSpeech test-other 4.9% 100-ից մոտ 95
Կամավորներ՝ տնային խոսափողերով Common Voice 5.1 8.2% 100-ից մոտ 92
Հեռախոսազրույցներ Switchboard 13.6% 100-ից մոտ 86
Երկար սոցիոլեզվաբանական հարցազրույցներ CORAAL 14.2% 100-ից մոտ 86
Ընտանիքի և ընկերների հեռախոսազրույցներ CallHome 16.4% 100-ից մոտ 84
Հանդիպումներ, յուրաքանչյուրի ականջակալի խոսափողով AMI IHM 17.4% 100-ից մոտ 83
Ընթրիքներ, հեռավոր խոսափողերով CHiME-6 24.9% 100-ից մոտ 75
Հանդիպումներ, սեղանի մեկ հեռավոր խոսափողով AMI SDM1 39.9% 100-ից մոտ 60

«Ճիշտ բառերի բաժինը» մոտավոր հաշվարկ է՝ 100-ից հանած WER-ը, քանի որ WER-ը հաշվում է նաև ավելացված բառերը։

Հաճախ նշվում է նաև 2.7%․ դա նույն մոդելի արդյունքն է ավելի պարզ greedy decoding եղանակով (աշխատության աղյուսակ 2)։ AMI-ի տողերը վերաբերում են նույն հանդիպումներին, որոնք ձայնագրվել են երկու եղանակով։ Խոսափողը յուրաքանչյուր խոսողից սեղանի կենտրոն տեղափոխելը սխալի մակարդակն ավելի քան կրկնապատկում է։

Ի՞նչ է բառային սխալի մակարդակը (WER) և ինչպե՞ս է հաշվարկվում

Բառային սխալի մակարդակը ցույց է տալիս տառադարձման սխալների հարաբերությունը մարդու կողմից ստուգված հղումային տեքստի բառերի քանակին։ Գումարեք երեք տեսակի սխալները և բաժանեք հղումային տեքստի բառերի թվին․

WER = (փոխարինումներ + բացթողումներ + ավելացումներ) ÷ հղումային տեքստի բառերի քանակ

  • Փոխարինում․ ճիշտ բառի փոխարեն սխալ բառ (օրինակ՝ անգլերեն «launch»-ի փոխարեն «lunch»)։
  • Բացթողում․ ասված բառ, որը բացակայում է տառադարձումից։
  • Ավելացում․ տառադարձման բառ, որը ոչ ոք չի ասել։

Ստորև սկզբնական անգլերեն հոդվածի հեղինակների կազմած անգլերեն օրինակն է՝ գնահատված բաց կոդով jiwer գրադարանով․

Տող Տեքստ
Հղումային տեքստ (22 բառ) we moved the product launch to march ninth because the vendor missed two deadlines and doctor patel wants a new test plan
Տառադարձում we moved the product lunch to march ninth because vendor missed two deadlines and doctor battle wants a new test plan today
Սխալներ 2 փոխարինում (lunch, battle), 1 բացթողում (the), 1 ավելացում (today)
WER 4 ÷ 22 = 18.2%

WER-ի մասին երեք հանգամանք հաճախ անտեսվում է․

  1. Այն կարող է գերազանցել 100%-ը։ Ավելացումների քանակը սահմանափակ չէ, իսկ աշխատության Fleurs արդյունքներում քիչ ուսուցման տվյալներ ունեցող որոշ լեզուներ գերազանցում են 100%-ը։
  2. Նորմալացումը փոխում է արդյունքը։ «Dr.» և «doctor» տարբերությունը սխալ կհամարվի, եթե երկու տեքստերը նույն կերպ չմշակվեն։ OpenAI-ի համաձայն՝ որոշ հավաքածուներում իր նորմալացնողը WER-ը նվազեցրել է մինչև 50%-ով՝ հիմնականում վերացնելով ձևաչափային տարբերությունները։
  3. Որոշ լեզուների համար օգտագործվում է նիշային սխալի մակարդակը (CER)։ Չինարենի, ճապոներենի, թայերենի, լաոսերենի և բիրմայերենի համար, որտեղ բառերը բացատներով չեն բաժանվում, աշխատությունում հաշվվում են նիշերը։

Առանց նշված թեստային հավաքածուի և գնահատման մեթոդի ճշգրտության պնդումը չափում չէ՝ անկախ նրանից, թե ով է այն անում, այդ թվում՝ մենք։

Որքա՞ն ճշգրիտ է Whisper-ը անգլերենում

Whisper-ը շատ ճշգրիտ է հստակ անգլերենի դեպքում և մնում է կիրառելի նաև ավելի բարդ ձայնագրությունների համար։ Աշխատության մեջ այն անգլերեն 12 այլ հավաքածուներում 55.2%-ով ավելի քիչ սխալ է թույլ տվել, քան վերահսկվող ուսուցմամբ wav2vec 2.0 մոդելը՝ LibriSpeech-ում գրեթե նույն արդյունքի պայմաններում։

Երկար ձայնագրություններ

Whisper-ը ձայնը մշակում է 30 վայրկյանանոց պատուհաններով, ուստի աշխատությունը երկար ֆայլերն առանձին է փորձարկել (հավելվածի աղյուսակ 16, large-v2)․

Երկար ձայնագրությունների հավաքածու Բովանդակություն WER
TED-LIUM 3 11 ամբողջական TED ելույթ 3.5%
Meanwhile Ուշ երեկոյան հեռուստաշոուի 64 հատված՝ բազմաթիվ անսովոր բառերով 5.1%
Kincaid46 2018 թվականի համեմատության 46 տարբեր ձայնագրություն 8.8%
Earnings-21 Ընկերությունների ֆինանսական արդյունքների զանգեր 9.7%
Rev16 Փոդքաստի 16 դրվագ 11.3%
Earnings-22 Այլ ֆինանսական զանգեր՝ բազմաթիվ առոգանություններով 12.6%
CORAAL Աֆրոամերիկյան անգլերենի 231 ամբողջական հարցազրույց 19.6%

Whisper-ը՝ մարդկանց կողմից տառադարձման համեմատ

OpenAI-ն Kincaid46-ի 25 ձայնագրություն պատվիրել է տառադարձել չորս մարդկային և մեկ համակարգչային աջակցությամբ ծառայության։ Համակարգչային աջակցությամբ ծառայությունը Whisper-ից լավ է եղել 1.15 տոկոսային կետով, իսկ միայն մարդկանցով աշխատող ծառայությունները՝ կետի չնչին մասով։ Աշխատության գնահատմամբ արդյունքը կատարյալ չէր, բայց շատ մոտ էր մարդկային մակարդակին։

Մոդելի չափը կարևոր է

Whisper-ն ունի տարբեր չափերի մոդելներ, իսկ հավելվածները միշտ չէ, որ նշում են օգտագործվող տարբերակը (հավելվածի աղյուսակ 9)․

Մոդել Պարամետրեր LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

Բարդ ձայնագրության դեպքում տարբերությունն աճում է՝ մաքուր աուդիոգրքերում մոտ 4 կետ, ընթրիքի ժամանակ՝ 23 կետ։ Ավելի նոր turbo մոդելը օպտիմալացված large-v3 է․ այն շատ ավելի արագ տառադարձման դիմաց ընդունում է ճշգրտության նվազագույն անկում, ինչպես նշված է OpenAI-ի GitHub README-ում։

Որքա՞ն ճշգրիտ է Whisper-ը այլ լեզուներում

Անգլերենից բացի ճշգրտությունը հիմնականում կախված է այն բանից, թե տվյալ լեզվով որքան ուսուցման ձայնագրություն է ունեցել Whisper-ը։ Աշխատությունը ուսուցման ժամերի և WER-ի լոգարիթմների միջև գտել է 0.83 քառակուսային կորելյացիա և գնահատել, որ տվյալների յուրաքանչյուր 16-ապատիկ աճի դեպքում WER-ը կիսով չափ նվազում է։ Ոչ անգլերեն 96 լեզուների մեծ մասն ունեցել է 1,000 ժամից պակաս տվյալ։

Fleurs-ի ընտրված արդյունքները (ընթերցված նախադասություններ, large-v2, հավելվածի աղյուսակ 13)․

Լեզու Fleurs WER Նշում
Իսպաներեն 3.0% Աղյուսակի ամենացածրը
Անգլերեն 4.2%
Պորտուգալերեն 4.3%
Գերմաներեն 4.5%
Ճապոներեն 5.3% Նիշային սխալի մակարդակ
Ռուսերեն 5.6%
Ֆրանսերեն 8.3%
Կորեերեն 14.3% Նշվել է որպես շեղվող արդյունք
Չինարեն 14.7% Նիշային սխալի մակարդակ
Արաբերեն 16.0%
Հինդի 21.5%
Եբրայերեն 27.1% Նշվել է որպես շեղվող արդյունք
Սուահիլի 39.3%
Թելուգու 99.0% Նշվել է որպես շեղվող արդյունք

Աշխատությունը նշում է, որ եբրայերենը, թելուգուն, չինարենը և կորեերենը տվել են ուսուցման տվյալների ծավալից կանխատեսվածից վատ արդյունքներ․ հնարավոր պատճառներն են լեզվական հեռավորությունը, այդ գրերին վատ համապատասխանող tokenizer-ը կամ տվյալների որակը։ Fleurs-ը ընթերցված խոսք է, ուստի զրույցների դեպքում սպասեք ավելի բարձր սխալի մակարդակի։ README-ում կա large-v3 և large-v2-ի ավելի նոր գրաֆիկ՝ Common Voice 15 և Fleurs հավաքածուներով։

Իսպաներենի արդյունքները հուսադրող են, եթե ցանկանում եք իսպաներեն ձայնագրությունը դարձնել տեքստ։ Ավելի քիչ ռեսուրսներով լեզուների դեպքում ամբողջ նախագիծը սկսելուց առաջ փորձարկեք կարճ հատված։

Ի՞նչն է ազդում Whisper-ի ճշգրտության վրա

Ամենից կարևորն են ձայնագրման պայմանները։ Աշխատության և մոդելի քարտի տվյալները․

Գործոն Ինչ են ցույց տալիս տվյալները Ինչ անել
Ֆոնային աղմուկ 10 dB-ից ցածր ազդանշան-աղմուկ հարաբերությամբ փաբի աղմուկում Whisper-ը գերազանցել է համեմատված բոլոր 14 մոդելներին, սակայն աղմուկի աճին զուգահեռ բոլորի արդյունքները վատացել են Ձայնագրեք հանգիստ սենյակում՝ օդափոխիչներից և երաժշտությունից հեռու
Խոսափողի հեռավորություն Նույն AMI հանդիպումները՝ 17.4% ականջակալի խոսափողերով, 39.9% սեղանի մեկ խոսափողով Խոսափողը մոտ պահեք խոսողին
Զրույց և իրար վրա խոսք Հեռախոսազրույցներն ու ընթրիքները տվել են 13.6%-ից 24.9%, ընթերցված խոսքի 2.5%-ի դիմաց Միաժամանակ խոսի մեկ մարդ․ յուրաքանչյուրի համար՝ մեկ խոսափող
Առոգանություններ և բարբառներ Մոդելի քարտը հաղորդում է անհավասար ճշգրտություն․ CORAAL-ի երկար հարցազրույցներում՝ 19.6% Փորձարկեք ձեր իրական ձայնագրությունների նման խոսողների հետ
Հազվագյուտ բառեր և մասնագիտական տերմիններ Մասնագիտական բառերով հարուստ Meanwhile հավաքածուում արդյունքը լավ է (5.1%), բայց անունների և տերմինների սխալները շարունակում են հաճախակի լինել Անուններն ու տերմինները համեմատեք ցանկի հետ
Լեզվի տվյալների ծավալ Fleurs WER-ը տատանվում է 3.0%-ից (իսպաներեն) մինչև 99.0% (թելուգու) Լեզուն ընտրեք ինքներդ և քիչ ռեսուրսներով լեզուների համար ավելի շատ ստուգում նախատեսեք
Մոդելի չափ CHiME-6-ում tiny-ը տալիս է 48.0%, large-v2-ը՝ 24.9% Հարցրեք, թե գործիքն ինչ մոդել է օգտագործում, կամ ընտրեք հասանելի ամենամեծը
Ֆայլի ձևաչափ և նմուշառման հաճախականություն Whisper-ի կոդը ամբողջ ձայնը փոխակերպում է 16 kHz mono 48 kHz WAV-ը առավելություն չունի մաքուր 16 kHz ֆայլի նկատմամբ

MP3-ը մեծ WAV ֆայլի փոխելը կորցրած մանրամասները չի վերականգնում։ Մաքուր, համեստ bitrate-ով ձայնագրությունն ավելի լավ է, քան աղմկոտ բարձր bitrate-ովը։

Whisper-ի հայտնի խնդիրները․ հալյուցինացիաներ, կրկնություններ և ժամանակային նշումներ

OpenAI-ն նկարագրում է այս բոլոր խնդիրները, որոնց նշանակությունը կարող է գերազանցել WER-ում դրանց բաժինը։

Հորինված տեքստ

Whisper-ը կարող է գրել բառեր, որոնք ոչ ոք չի ասել։ Մոդելի քարտը զգուշացնում է, որ արդյունքը կարող է ներառել ձայնում չհնչած տեքստ, հավանաբար այն պատճառով, որ մոդելը կանխատեսում է նաև հաջորդ հավանական բառերը։ Աշխատության սահմանափակումների բաժինը հիշատակում է անգամ ձայնի հետ կապ չունեցող ամբողջական հալյուցինացիա։

Անկախ Careless Whisper ուսումնասիրությունը (Koenecke և համահեղինակներ, 2024) 2023 թվականի ապրիլին և մայիսին OpenAI-ի Whisper API-ով մշակել է 13,140 ձայնային հատված։ Տառադարձումների մոտ 1%-ը (միջինը՝ 1.4%) պարունակել է ամբողջությամբ հորինված արտահայտություններ կամ նախադասություններ, և դրանց 38%-ում եղել է վնասակար բովանդակություն, օրինակ՝ բռնություն կամ կեղծ կապեր։ Երկար դադարներով խոսողների՝ տվյալ դեպքում աֆազիա ունեցող մարդկանց մոտ դա ավելի հաճախ է պատահել։ API-ն այդ ժամանակից փոխվել է, ուստի սա դիտարկեք որպես 2023 թվականի չափում։

Կրկնությունների շղթաներ և բաց թողնված բառեր

Մոդելի քարտի համաձայն՝ Whisper-ը հակված է կրկնվող տեքստ ստեղծելուն․ beam search-ը և ջերմաստիճանի փոփոխումը նվազեցնում են խնդիրը, բայց ամբողջությամբ չեն վերացնում։ Աշխատությունը նշում է նաև հատվածի առաջին կամ վերջին բառերը բաց թողնելը։ Դեկոդավորման ուղղումները երկար ձայնագրությունների միջին WER-ը նվազեցրել են 11.0%-ից մինչև 10.0%, բայց խնդիրը չեն լուծել։

Լռություն, երաժշտություն և լրացուցիչ հնչյուններ

Հորինված տեքստը հաճախ հայտնվում է երկար լռության և երաժշտության ընթացքում։ Աշխատության համաձայն՝ Whisper-ի սեփական «խոսք չկա» ազդանշանն ինքնուրույն հուսալի չէ, իսկ բաց կոդում այժմ կա հավանական հալյուցինացիայի դեպքում երկար լռությունները բաց թողնելու տարբերակ։

Ժամանակային նշումների շեղում և երկար ֆայլեր

Whisper-ը երկար ձայնագրությունը մշակում է հերթական 30 վայրկյանանոց պատուհաններով՝ հաջորդ պատուհանը տեղադրելու համար օգտագործելով իր կանխատեսած ժամանակային նշումները։ Ուստի, աշխատության համաձայն, մեկ պատուհանի սխալը կարող է փոխանցվել հաջորդին։ Բառային մակարդակի ժամանակային նշումները կոդում նշված են որպես «փորձնական»։ Ենթագրերի համար ընտրողաբար ստուգեք դադարների մոտ ժամանակավորումը։

Մշակման ընթացքում OpenAI-ն նաև նկատել է, որ Whisper-ը ենթադրում էր խոսողների անունները և գրեթե միշտ սխալվում։ Թողարկված մոդելները լրացուցիչ ուսուցվել են դա սահմանափակելու համար, սակայն տեքստում ստուգեք յուրաքանչյուր անուն։

Whisper-ի տառադարձման ճշգրտությունը բարելավելու 10 եղանակ

Ամենամեծ օգուտը հաճախ ստացվում է մինչև տառադարձումը սկսելը։ Մոտավորապես առավել ազդեցիկից դեպի նվազ ազդեցիկ․

  1. Խոսափողը մոտեցրեք։ Միայն հեռավորությունը AMI հանդիպումներում սխալի մակարդակն ավելի քան կրկնապատկել է։
  2. Վերացրեք աղմուկի աղբյուրները։ Փակեք պատուհանները, անջատեք օդափոխիչներն ու երաժշտությունը։
  3. Խուսափեք իրար վրա խոսելուց։ Մեկ առ մեկ խոսելն ավելի օգտակար է, քան ցանկացած կարգավորում։
  4. Կտրեք երկար լռությունները և երաժշտական ներածությունները, որտեղ հաճախ հայտնվում է հորինված տեքստ։ Կտրեք դադարի, ոչ թե նախադասության կեսին։
  5. Լեզուն ընտրեք ինքներդ։ Whisper-ը Fleurs-ի 82 լեզուներում լեզուն ճիշտ է որոշել դեպքերի 80.3%-ում, ուստի կարճ կամ առոգանությամբ հատվածներում ավտոմատ որոշումը կարող է սխալվել։
  6. Օգտագործեք հասանելի ամենամեծ մոդելը, հատկապես աղմկոտ ձայնագրությունների համար։
  7. Ինքնուրույն տեղակայելիս հուշման մեջ նշեք անուններն ու տերմինները։ Բաց կոդով Whisper-ն ընդունում է --initial_prompt՝ սպասվող գրությամբ։
  8. Վերբեռնեք բնօրինակ ֆայլը։ Բարձրախոսով կրկին ձայնագրելը կամ բազմիցս սեղմելը կորցնում է մանրամասները։
  9. Ստուգեք տերմինները։ Փնտրեք բոլոր անունները, թվերը, ամսաթվերը և հապավումները ու համեմատեք ձայնի հետ։
  10. Ստուգեք երկու անցումով։ Նախ ուղղեք սխալները սովորական արագությամբ։ Ապա փնտրեք հալյուցինացիայի նշաններ՝ կրկնվող տողեր, լռության ընթացքում նախադասություններ, «Շնորհակալություն դիտելու համար» նման ավարտներ։ Իրավական, բժշկական կամ հրապարակվող նյութն ամբողջությամբ պետք է ստուգի մարդը։

Ինչպես չափել Whisper-ի ճշգրտությունը ձեր ձայնագրության վրա

Ձեր աշխատանքի համար լավագույն գնահատումը ձեր սեփական ձայնագրությունների վրա 30 րոպեանոց փորձարկումն է։ Այս քայլերը նախատեսված են ձեր կողմից կատարելու համար․ դրանք whispertranscribe.ai-ի փորձարկում չեն։

  1. Ընտրեք երեք 2 րոպեանոց հատված, որոնք նման են ձեր իրական աշխատանքին՝ հեշտ, սովորական և դժվար։
  2. Ձեռքով կազմեք հղումային տառադարձում՝ բառ առ բառ։ Նախ որոշեք կանոնները․ պահպանե՞լ, թե՞ հեռացնել «ըմ»-ը, թվերը գրել թվանշաններո՞վ, թե՞ բառերով։
  3. Տառադարձեք յուրաքանչյուր հատվածը փորձարկվող գործիքով և պահեք պարզ տեքստը։
  4. Երկու տեքստերը նորմալացրեք նույն ձևով։ OpenAI-ի նորմալացնողը ներառված է openai-whisper փաթեթում։
  5. Հաշվեք WER-ը jiwer-ով․
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Առանձին հաշվեք կարևոր սխալները։ Հինգ սխալ միջանկյալ հնչյունն ու հաճախորդի հինգ սխալ անունը նույն WER-ն են տալիս, բայց նույն խնդիրը չեն։
  2. Գրանցեք արդյունքները, որպեսզի համեմատեք գործիքները կամ կարգավորումները․
Հատված Պայմաններ Հղումային բառեր S D I WER Կարևոր սխալներ
Հատված A Հանգիստ սենյակ, մեկ խոսող 310
Հատված B Տեսազանգ, երկու խոսող 285
Հատված C Սրճարան, առոգանությամբ խոսող 296

Բառերի քանակները օրինակներ են։ Զգուշացում 4-րդ քայլի մասին․ սկզբնական անգլերեն հոդվածի հեղինակները OpenAI-ի անգլերեն նորմալացնողը փորձարկել են իրենց կազմած նախադասության վրա․ այն համընկեցրել է «Dr.»-ն և «doctor»-ը, ինչպես նաև «two»-ն և «2»-ը, բայց «9th»-ի և «ninth»-ի տարբերությունը դեռ սխալ է համարել։ Արդյունքին վստահելուց առաջ կարդացեք նշված տարբերությունները։

Որքա՞ն ճշգրիտ է whispertranscribe.ai-ն

whispertranscribe.ai-ն վեբ տառադարձման գործիք է, որն աշխատում է Whisper-ով, աջակցում է 130+ լեզվի և մինչև 5GB ու 10 ժամ տևողությամբ ֆայլերի վերբեռնման։ Մաքուր ձայնի դեպքում ճշգրտությունը կարող է հասնել մինչև 99%-ի․ ֆոնային աղմուկը, ուժեղ առոգանությունները և իրար վրա խոսելը նվազեցնում են այն, ինչպես ցույց են տալիս Whisper-ի վերը նշված փորձարկումները։ Մենք չենք պնդում, թե հավասար ենք աշխատության թվերին կամ գերազանցում ենք դրանք, և սեփական համեմատական արդյունքներ չենք հրապարակել․ փորձարկեք ձեր հատվածները վերը նշված քայլերով։

Կարող եք սկսել անվճար՝ առանց հաշվի։ Վճարովի փաթեթները սկսվում են ամսական $9.99-ից՝ տարեկան վճարմամբ․ տեսնել գները։

Հաճախակի հարցեր

Whisper-ը 99% ճշգրի՞տ է

Ընդհանուր առմամբ՝ ոչ։ Whisper-ի հրապարակված լավագույն արդյունքը 2.5% բառային սխալի մակարդակն է LibriSpeech test-clean-ում՝ հստակ ընթերցված աուդիոգրքերի հավաքածուում, այսինքն՝ մոտ 97.5% ճիշտ բառ։ Հեռախոսազրույցների, հանդիպումների և աղմկոտ սենյակների համար OpenAI-ի թվերը տատանվում են մոտ 13%-ից 40% WER։ «99%» պնդումն իմաստ ունի միայն այն դեպքում, երբ նշվում է չափման ձայնագրությունը։ Whisper-ի վրա հիմնված գործիքները, այդ թվում՝ whispertranscribe.ai-ն, պետք է գնահատել ձեր ձայնագրություններով, ոչ թե վերնագրային տոկոսով։

Whisper-ի ո՞ր մոդելն է ամենաճշգրիտը

Ամենաճշգրիտը մեծ մոդելներն են։ OpenAI-ի աշխատությունում large-v2-ը հավաքածուների մեծ մասում ունեցել է ամենացածր սխալի մակարդակը, իսկ large-v3 մոդելի քարտը հաղորդում է բազմաթիվ լեզուներում large-v2-ից 10%-ից 20% ավելի քիչ սխալներ։ turbo-ն օպտիմալացված large-v3 է, որը, ըստ OpenAI-ի, զգալի արագության դիմաց միայն փոքր չափով է կորցնում ճշգրտությունը։ Ամենափոքր tiny մոդելը դժվար ձայնագրություններում զգալիորեն պակաս ճշգրիտ է․ աղմկոտ ընթրիքի դեպքում՝ 48.0% WER, large-v2-ի 24.9%-ի դիմաց։

Ինչո՞ւ է Whisper-ը գրում չասված բառեր

Whisper-ը կարող է հալյուցինացիա ստեղծել, քանի որ ձայնը տառադարձելուց բացի ուսուցված է կանխատեսել հավանական տեքստը։ OpenAI-ի մոդելի քարտը զգուշացնում է, որ այն կարող է արտածել ձայնում բացակայող տեքստ։ Դա հաճախ տեղի է ունենում երկար լռության, երաժշտության կամ աղմուկի ընթացքում։ 2023 թվականի անկախ ուսումնասիրությունը հորինված արտահայտություններ է գտել տառադարձումների մոտ 1%-ում, և դադարները մեծացրել են հավանականությունը։ Լռությունը կտրելը, լեզուն ընտրելը և տեքստի լուռ հատվածները ստուգելը նվազեցնում են ռիսկը։

Որքա՞ն ճշգրիտ է Whisper-ը առոգանությունների դեպքում

Whisper-ը շատ հին համակարգերից լավ է մշակում առոգանությունները, բայց ոչ հավասարաչափ։ OpenAI-ի մոդելի քարտի համաձայն՝ նույն լեզվի առոգանությունների և բարբառների միջև ճշգրտությունը տարբերվում է։ Աշխատությունում աֆրոամերիկյան անգլերենի երկար հարցազրույցների (CORAAL) WER-ը 19.6% էր, իսկ ամբողջական TED ելույթներինը՝ 3.5%, թեև ձայնագրման պայմանները նույնպես տարբեր էին։ Հուսալի մոտեցումը ձեր իրական ձայնագրությունների նման խոսողներով հատված փորձարկելն ու ուժեղ առոգանության դեպքում լրացուցիչ ստուգում նախատեսելն է։

Whisper-ը մա՞րդ տառադարձողի պես ճշգրիտ է

Անգլերենի համար Whisper-ը մոտ է լավագույններին, բայց չի հավասարվում։ OpenAI-ն այն համեմատել է հինգ մասնագիտական ծառայության հետ՝ 25 ձայնագրության վրա։ Համակարգչային աջակցությամբ ծառայության ընդհանուր WER-ը Whisper-ից 1.15 կետով ցածր էր, իսկ չորս ամբողջությամբ մարդկային ծառայություններինը՝ կետի չնչին մասով ավելի լավ։ Մարդիկ դեռ սովորաբար ավելի լավ են մշակում անունները, իրար վրա խոսքն ու անհստակ խոսքը։ Մեջբերվող, պաշտոնապես ներկայացվող կամ հրապարակվող նյութի տառադարձումը մարդը պետք է ստուգի ձայնագրության հետ։

Որքա՞ն ճշգրիտ է Whisper-ը ոչ անգլերեն լեզուներում

Արդյունքները լեզվից կախված շատ տարբեր են։ Fleurs-ում large-v2-ը իսպաներենի համար ստացել է 3.0% WER, գերմաներենի համար՝ 4.5%, ֆրանսերենի համար՝ 8.3%, բայց եբրայերենի համար՝ 27.1%, թելուգուի համար՝ 99.0%։ Չինարենն ու ճապոներենը գնահատվում են նիշային սխալի մակարդակով՝ 14.7% և 5.3%։ Աշխատության համաձայն՝ ճշգրտությունը կապված է լեզվի համար առկա ուսուցման ձայնագրությունների քանակի հետ։ Քիչ ռեսուրսներով լեզուների դեպքում նախ փորձարկեք կարճ հատված և ուղղումների համար ավելի շատ ժամանակ նախատեսեք։

Ստուգեք ճշգրտությունը ձեր ձայնագրության վրա

Համեմատական փորձարկումները վերաբերում են այլ մարդկանց ձայնագրություններին։ Վերբեռնեք հատված whispertranscribe.ai-ում՝ 130+ լեզուներից որևէ մեկով, և գնահատեք այն այս ուղեցույցի քայլերով։ Սկսեք անվճար՝ առանց հաշվի կամ համեմատեք փաթեթները։

Առնչվող հոդվածներ․ Ի՞նչ է Whisper AI-ն · Անվճար տառադարձման լավագույն ծրագրերը · TurboScribe-ի լավագույն այլընտրանքները · Ինչպես տառադարձել YouTube տեսանյութը · Ի՞նչ է SRT ֆայլը · Ներկառուցված և առանձին ենթագրեր

Աղբյուրներ

Ցանկանո՞ւմ եք ձեր ձայնագրությունները վերածել տեքստի։

Վերածեք աուդիոն և տեսանյութը տեքստի whispertranscribe.ai-ի միջոցով։

Սկսել վերածումը տեքստի ↗