Ի՞նչ է Whisper AI-ը․ ինչպես է աշխատում OpenAI-ի խոսքի ճանաչման մոդելը

whispertranscribe.ai-ի խմբագրություն · Վերջին թարմացումը՝ 2026 թ. նոյեմբեր · 13 րոպե ընթերցում

Ի՞նչ է Whisper AI-ը։ Որոնումների մեծ մասում խոսքը OpenAI Whisper-ի մասին է՝ բաց կոդով խոսքի ճանաչման մոդել, որը OpenAI-ը հրապարակել է 2022 թ. սեպտեմբերին։ Այն ձայնագրված խոսքը վերածում է տեքստի, որոշում խոսքի լեզուն և կարող է այլ լեզուներից թարգմանել անգլերեն։ OpenAI-ը մարզել է այն համացանցի 680,000 ժամ ձայնագրությամբ և կոդն ու կշիռները թողարկել MIT լիցենզիայով։

Մենք ստեղծում ենք whispertranscribe.ai-ը։ whispertranscribe.ai-ը վեբ գործիք է, որը AI-ով աուդիոն և տեսանյութը դարձնում է տեքստ 130+ լեզվով։ Ուղեցույցում առանձին են ներկայացված բուն մոդելն ու դրա հիմքով արտադրանքները։ Մոդելի մասին թվերը վերցված են OpenAI-ի հոդվածից, պահոցից կամ մոդելի քարտից։

Կարճ պատասխան․ ի՞նչ է Whisper AI-ը

Whisper-ը խոսքից տեքստ ստանալու մոդել է։ Կարող եք այն ներբեռնել OpenAI-ի GitHub պահոցից և գործարկել ձեր համակարգչում կամ օգտագործել ծառայություն, որը մոդելը կգործարկի ձեր փոխարեն։

  • Ստեղծողը․ OpenAI։ Խոսքի հուսալի ճանաչում թույլ վերահսկողությամբ լայնածավալ ուսուցման միջոցով հետազոտական հոդվածը arXiv-ում տեղադրվել է 2022 թ. դեկտեմբերի 6-ին։
  • Ի՞նչ է անում․ վերծանում է խոսքը, ճանաչում լեզուն, խոսքը թարգմանում անգլերեն և ավելացնում հատվածների ժամանակային նշումները։
  • Ի՞նչ լրացուցիչ գործիք է պահանջում․ խոսնակների նշումը և ուղիղ վերծանումը։ OpenAI-ի մոդելի քարտի համաձայն՝ լռելյայն այն հարմար չէ իրական ժամանակում վերծանելու համար։
  • Չափերը․ վեց՝ tiny-ից (39 միլիոն պարամետր) մինչև large (1,550 միլիոն)։
  • Արժեքը․ ներբեռնումն ու գործարկումն անվճար են։ Սարքավորումը տրամադրում եք դուք։

«Whisper AI»-ի երեք տարբեր իմաստները

Անվանումը հաճախ գործածվում է լայն իմաստով, ուստի երեք նշանակությունները հեշտ է շփոթել։

Ինչն են անվանում «Whisper AI» Ի՞նչ է Ո՞վ է ստեղծել Ինչպե՞ս օգտագործել
OpenAI Whisper Բաց կոդով խոսքի ճանաչման մոդել OpenAI Ներբեռնեք կոդն ու կշիռները և ինքնուրույն գործարկեք
whisper-1 OpenAI-ի սերվերներում աշխատող API մոդել՝ վերծանման համար OpenAI Ձայնային ֆայլերն ուղարկեք OpenAI API-ին և վճարեք ըստ օգտագործման
«Whisper» անունով հավելվածներ Վերծանման արտադրանքներ, օրինակ՝ whisperai.com և whispertranscribe.ai (այս կայքը) Առանձին ընկերություններ Հավելվածներում վերբեռնեք կամ ձայնագրեք աուդիո

Երրորդ տողի արտադրանքներից յուրաքանչյուրն ունի իր գործառույթները, սահմանափակումները, գներն ու գաղտնիության պայմանները։ Այս հոդվածում «Whisper» ասելով նկատի ունենք OpenAI-ի մոդելը։

Ինչպե՞ս է աշխատում Whisper-ը

Whisper-ը կոդավորիչ-ապակոդավորիչ Transformer է։ Կոդավորիչը 30 վայրկյան ձայնը վերածում է թվային ներկայացման։ Ապակոդավորիչը տալիս է համապատասխան տեքստը՝ մեկական տոկենով, իսկ հատուկ տոկենները ցույց են տալիս կատարվող առաջադրանքը։

Whisper-ի հոդվածը նկարագրում է քայլերը։

  1. Փոխել նմուշառման հաճախականությունը։ Ձայնը բերվում է 16,000 Հց-ի։
  2. Կտրել 30 վայրկյանանոց պատուհանների։ Մոդելը միշտ միանգամից դիտարկում է 30 վայրկյան։ Կարճ հատվածները լրացվում են մինչև այդ երկարությունը։
  3. Ստեղծել սպեկտրագիր։ Յուրաքանչյուր պատուհանը դառնում է 80 ալիքով լոգարիթմական Mel սպեկտրագիր, որը ցույց է տալիս ձայնային էներգիան ըստ հաճախականության։ Այն հաշվարկվում է 25 միլիվայրկյանանոց կադրերով յուրաքանչյուր 10 միլիվայրկյանը մեկ։ Large-v3-ում ալիքների թիվը դարձել է 128։
  4. Կոդավորել։ Երկու կոնվոլյուցիոն շերտ և Transformer բլոկների կույտ են մշակում սպեկտրագիրը։
  5. Ապակոդավորել։ Ապակոդավորիչը նախ կանխատեսում է լեզուն կամ «խոսք չկա» տոկենը։ Հետո գալիս է առաջադրանքը (վերծանել կամ թարգմանել), ժամանակային նշումները ներառելու որոշումը և բուն տեքստը։

Ժամանակային նշումները նույնպես կանխատեսվում են տոկեններով՝ կլորացվելով մինչև մոտակա 20 միլիվայրկյանը։ Այդպես մեկ մոդելը ճանաչում է լեզուն, վերծանում, թարգմանում ու նշում ժամանակը։

Ի՞նչ տվյալներով են մարզել Whisper-ը

Սկզբնական մոդելները սովորել են համացանցի 680,000 ժամ ձայնագրություններից՝ համապատասխան տեքստերով։ OpenAI-ը դա կոչում է «թույլ վերահսկողություն», քանի որ տեքստերը ձեռքով չեն ստուգվել ինչպես ստուգիչ տվյալաշարերը։

Ուսուցման ձայնի բաժին Ժամեր Բովանդակություն
Մոտ 65% 438,000 Անգլերեն ձայն ու անգլերեն վերծանում
Մոտ 18% 126,000 Այլ լեզվով ձայն ու անգլերեն տեքստ (թարգմանության տվյալներ)
Մոտ 17% 117,000 Այլ լեզվով ձայն ու նույն լեզվով վերծանում

Աղբյուրը OpenAI-ի Whisper մոդելի քարտն է։ Հոդվածը թարգմանության բաժինը կլորացնում է մինչև 125,000 ժամ։

Երկու մանրամասն բացատրում են Whisper-ի վարքի մեծ մասը։ OpenAI-ը զտել է մեքենայով ստեղծվածի նմանվող տեքստերը, օրինակ՝ միայն մեծատառերով գրվածները, ուստի մոդելը սովորել է գրել կետադրությամբ։ Վաղ մոդելները նաև փորձում էին գուշակել խոսնակների անունները, քանի որ համացանցային շատ վերծանումներ դրանք ներառում էին։ OpenAI-ը լրացուցիչ մարզմամբ վերացրել է այդ սովորությունը, սակայն այն ցույց է տալիս, թե որքան սերտորեն է մոդելն արտացոլում իր ուսուցման տեքստերը։

Large-v3-ն այլ կերպ է մարզվել՝ մոտ 5 միլիոն ժամ ձայնով։ Ըստ Hugging Face-ի մոդելի քարտի՝ 1 միլիոն ժամն ունեցել է համացանցային թույլ պիտակներ, 4 միլիոնը պիտակավորվել է large-v2-ով։

Whisper մոդելների չափերի համեմատություն

Whisper-ն ունի վեց չափ։ Փոքր մոդելներն արագ են աշխատում համեստ սարքավորումով։ Խոշորները քիչ են սխալվում, սակայն ավելի շատ տեսահիշողություն (VRAM) են պահանջում։ Ստորև թվերը OpenAI-ի README-ից են։

Չափ Պարամետրեր Միայն անգլերեն տարբերակ Բազմալեզու տարբերակ Պահանջվող VRAM Արագությունը large-ի նկատմամբ
tiny 39 միլիոն tiny.en tiny ~1 GB ~10x
base 74 միլիոն base.en base ~1 GB ~7x
small 244 միլիոն small.en small ~2 GB ~4x
medium 769 միլիոն medium.en medium ~5 GB ~2x
large 1550 միլիոն Չկա large ~10 GB 1x
turbo 809 միլիոն Չկա turbo ~6 GB ~8x

OpenAI-ն արագությունը չափել է անգլերեն խոսքի վրա՝ տվյալների կենտրոնի A100 GPU-ով և նշում է, որ գործնական արագությունը կարող է էականորեն տարբերվել։ Նոութբուքում այն ավելի դանդաղ կլինի։

Ո՞ր Whisper մոդելն ընտրել

Հաշվի առեք հասանելի հիշողությունն ու վերծանման նպատակը։

  • Փորձարկում համեստ համակարգչով․ tiny կամ base՝ շուրջ 1 GB VRAM։ Սպասեք ավելի շատ սխալների։
  • Միայն անգլերեն․ օգտագործեք .en մոդել։ OpenAI-ը նշում է, որ դրանք ավելի լավ են աշխատում, հատկապես tiny և base չափերով։
  • Լավ որակ՝ ողջամիտ արագությամբ․ turbo՝ շուրջ 6 GB։ Հրամանատողում լռելյայն մոդելն է։
  • Խոսքն անգլերեն թարգմանել․ medium կամ large։ Turbo-ն թարգմանության համար չի մարզվել և թարգմանություն խնդրելիս անգամ վերադարձնում է բնօրինակի լեզուն։
  • Ամենադժվար ձայն և հնարավոր լավագույն արդյունք․ large՝ շուրջ 10 GB VRAM։

Whisper-ի տարբերակների ժամանակագրություն

«Large» անունն ընդգրկել է երեք թողարկում, իսկ turbo-ն large-v3-ի փոքրացված տարբերակն է։ Արդյունքները տարբերվում են ըստ մոդելի թողարկված կշիռների։

Տարբերակ Թողարկում Ի՞նչ փոխվեց
Սկզբնական մոդելներ (tiny-ից large) 2022 թ. սեպտեմբեր Առաջին բաց կոդով թողարկումը՝ հոդվածի հետ
large-v2 2022 թ. դեկտեմբեր Նույն չափը, 2.5 անգամ ավելի երկար մարզում՝ լրացուցիչ կանոնավորմամբ
large-v3 2023 թ. նոյեմբեր 128 Mel ալիք, կանտոներենի նոր տոկեն, շատ լեզուներում 10%-ից 20% քիչ սխալ v2-ից
turbo (large-v3-turbo) 2024 թ. սեպտեմբեր Արագության համար ապակոդավորիչի շերտերը 32-ից կրճատվել են մինչև 4, թարգմանություն չկա

Աղբյուրներն են Whisper-ի մոդելի քարտը, large-v2-ի մասին հոդվածի ծանոթագրությունը և Hugging Face-ի large-v3 ու large-v3-turbo քարտերը։

Քանի՞ լեզու է աջակցում Whisper-ը

Whisper-ը ճանաչում է մոտ 99 լեզու։ Հոդվածի լեզվի ճանաչիչը կիրառել է 99 լեզվի տոկեն։ Ներկայիս տոկենավորիչն ունի 100 լեզվի կոդ՝ large-v3-ում կանտոներենի ավելացումից հետո։ Որակը լեզվից լեզու տարբեր է։ Մոդելի քարտը բարձր արդյունքներ է նշում մոտ 10 լեզվի համար։

Որակը կապված է ուսուցման տվյալների հետ։ Հոդվածի համաձայն՝ տվյալ լեզվի արդյունքը լավ կանխատեսվում է մոդելի տեսած ժամերի քանակով, իսկ լեզուների մեծ մասի համար եղել է 1,000 ժամից պակաս։ Անգլերենը, իսպաներենը կամ գերմաներենը սովորաբար ավելի մաքուր են վերծանվում, քան սակավ տվյալներով լեզուն։ README-ն հղում է տալիս յուրաքանչյուր լեզվի սխալների գծապատկերին։

Ծառայության լեզուների քանակը առանձին ցուցանիշ է։ whispertranscribe.ai-ն աջակցում է 130+ լեզվի։ Սա մեր արտադրանքի հնարավորությունն է (գնային էջում նշված է «130+ լեզու և առոգանություն») և վերաբերում է հենց արտադրանքին։

Որքանո՞վ է ճշգրիտ Whisper-ը

Whisper-ի համար մեկ թիվ չկա, քանի որ ճշտությունը կախված է մոդելի չափից, լեզվից ու ձայնագրությունից։ Մաքուր ընթերցված անգլերենի դեպքում large-v2-ի բառերի սխալի գործակիցը (WER) եղել է 2.7%։ 14 անգլերեն ստուգիչ տվյալաշարերի միջինը, որոնց մեծ մասն ավելի դժվար էր, եղել է 12.8%։

WER-ը մարդու կողմից գրված ստուգիչ վերծանման հետ համեմատ որոշում է սխալ բառերի բաժինը՝ ներառյալ փոխարինված, բաց թողնված և ավելացված բառերը։ Ցածրն ավելի լավ է։ Ստորև թվերը հոդվածի աղյուսակ 2-ից են, որտեղ Whisper large-v2-ը համեմատվում է LibriSpeech աուդիոգրքերի տվյալաշարով մարզված wav2vec 2.0 մոդելի հետ։

Ստուգիչ տվյալաշար wav2vec 2.0 WER Whisper large-v2 WER
LibriSpeech clean (ընթերցված աուդիոգրքեր) 2.7% 2.7%
Common Voice (կամավորների ձայնագրած խոսք) 29.9% 9.0%
CHiME-6 (աղմկոտ ընթրիքների ձայնագրություններ) 65.8% 25.5%
Աղյուսակի բոլոր 14 ստուգիչ տվյալաշարերի միջինը 29.3% 12.8%

Աուդիոգրքերի փորձարկման արդյունքն երկու մոդելների մոտ նույնն է, բայց մնացածում Whisper-ը շատ ավելի լավ է դիմանում բարդ պայմաններին՝ միջինը 55.2%-ով պակաս սխալներով։ OpenAI-ի հայտարարությունը կլորացնում է մինչև «50%-ով պակաս սխալ»։ Հոդվածի աղմուկի փորձարկումներում LibriSpeech-ով մարզված մոդելները գերազանցում են Whisper-ին գրեթե մաքուր ձայնի դեպքում, բայց հետ են մնում մարդաշատ բարին բնորոշ ֆոնային աղմուկի պայմաններում՝ ազդանշան-աղմուկ 10 dB-ից ցածր հարաբերակցությամբ։

Այս թվերը հետազոտական փորձարկումներից են, և ձեր ֆայլերի արդյունքը կախված է ձայնագրությունից։ Առանձին արտադրանքներն ունեն իրենց ցուցանիշները։ Օրինակ՝ whispertranscribe.ai-ը հստակ ձայնով հասնում է մինչև 99% ճշտության, իսկ ֆոնային աղմուկը, իրար վրա խոսելը և ուժեղ առոգանությունն իջեցնում են այն։

Որո՞նք են Whisper-ի սահմանափակումները

Հիմնական թույլ կողմն այն է, որ Whisper-ը կարող է գրել սահուն տեքստ, որը ոչ ոք չի ասել։ OpenAI-ի մոդելի քարտում սա կոչվում է հալյուցինացիա և կապվում թույլ վերահսկվող ուսուցման հետ։ Նշվում են նաև կրկնությունները, ըստ լեզվի և առոգանության անհավասար ճշտությունը և ներկառուցված խոսնակի նշումների բացակայությունը։

  1. Հորինված տեքստ։ 2024 թ. Careless Whisper ուսումնասիրության հետազոտողները գտել են, որ իրենց ստուգած վերծանումների մոտ 1%-ում կան ամբողջ արտահայտություններ կամ նախադասություններ, որոնք ձայնագրությունում չկան։ Հորինված տեքստն ավելի հաճախ է հանդիպել երկար դադարների դեպքում։
  2. Կրկնության օղակներ։ Մոդելը կարող է անընդհատ կրկնել մի արտահայտություն։ Ըստ մոդելի քարտի՝ ճառագայթային որոնումն ու այլ ջերմաստիճանով նոր փորձը որոշ չափով նվազեցնում են խնդիրը։
  3. Բաց թողնված առաջին կամ վերջին բառեր։ Հոդվածում նշվում է հատվածի առաջին կամ վերջին մի քանի բառերի բացթողումը։
  4. Երկար ձայնագրությունների բաժանում պատուհանների։ Whisper-ը միաժամանակ տեսնում է միայն 30 վայրկյան։ Երկար ֆայլերի համար վերծանման գործիքը տեղաշարժում է այդ պատուհանը կանխատեսված ժամանակային նշումներով։ Մի պատուհանի սխալը կարող է շեղել հաջորդը։
  5. Խոսնակի նշումներ չկան։ Մոդելի քարտի համաձայն՝ խոսնակների տարբերակումը՝ ով երբ է խոսել, մանրակրկիտ չի գնահատվել։ Դրա համար պետք է այլ գործիք։
  6. Լռելյայն ուղիղ չի աշխատում։ Մոդելը պատրաստվել է ձայնագրված ֆայլերի համար։ Ուղիղ ենթագրերի համար լրացուցիչ մշակում է պետք։
  7. Լեզվից և առոգանությունից կախված որակ։ Մոդելի քարտը նշում է սխալների բարձր մակարդակներ որոշ առոգանությունների, բարբառների ու ժողովրդագրական խմբերի դեպքում։

OpenAI-ը նաև զգուշացնում է մարդկանց առանց համաձայնության վերծանելու և բարձր ռիսկով որոշումների համար կիրառելու դեմ։

Որտե՞ղ են պաշտոնական աղբյուրները տարբերվում

OpenAI-ի սեփական փաստաթղթերում որոշ թվեր տարբեր են, հիմնականում կլորացման կամ տարբերակի պատճառով։ Մեջբերումից առաջ հաշվի առեք տարբերությունները։

Թեմա Մի պաշտոնական աղբյուրում Մյուս աղբյուրում Ինչ օգտագործել
Սխալների նվազումը LibriSpeech մոդելների նկատմամբ Հոդված՝ միջինը 55.2% պակաս սխալ OpenAI-ի հայտարարություն՝ 50% պակաս Մեջբերեք հոդվածը և նշեք համեմատությունը
Անգլերենից բացի ուսուցման լեզուները Հոդված՝ 96 այլ լեզու Մոդելի քարտ՝ 98 լեզու Ճանաչման համար «մոտ 99 լեզու»
Թարգմանության ուսուցման ժամերը Մոդելի քարտ՝ 126,000 Հոդված՝ 125,000 Երկուսից մեկը՝ մոտավոր նշումով
Turbo-ի պարամետրերի թիվը README և Hugging Face՝ 809 միլիոն Մոդելի քարտի աղյուսակ՝ 798 միլիոն 809 միլիոն՝ ամենից հաճախ նշված թիվը
Ուսուցման տվյալների չափը Սկզբնական հոդված՝ 680,000 ժամ Large-v3 քարտ՝ 5 միլիոն ժամ Նշեք համապատասխան տարբերակը
Լիցենզիա GitHub՝ MIT կոդի և կշիռների համար Hugging Face-ի large-v3 մետատվյալներ՝ Apache-2.0 Ստուգեք ներբեռնված պատճենի լիցենզիայի ֆայլը

Ինչպես օգտագործել Whisper-ը․ ինքնուրույն գործարկել, կիրառել API կամ հավելված

Կան երեք գործնական եղանակներ։ Ինքնուրույն գործարկումն անվճար է, և ձայնը մնում է ձեր սարքում։ OpenAI-ի API-ն ազատում է տեղադրումից, բայց սահմանափակում է ֆայլի չափը։ Սերվերում աշխատող հավելվածն ավելացնում է խմբագրում, խոսնակների նշումներ ու արտահանում և երրորդ կողմի ծառայություն է՝ իր պայմաններով։

Գործարկել բաց կոդով Whisper OpenAI-ի վերծանման API Սերվերում աշխատող հավելված
Կարգավորում Python, PyTorch և FFmpeg Կոդ և API բանալի Դիտարկիչ
Արժեք Անվճար՝ ձեր սարքավորումով Վճար ըստ օգտագործման Անվճար մակարդակ կամ բաժանորդագրություն՝ ըստ հավելվածի
Ֆայլի սահմաններ Ձեր սարքավորման հնարավորությունները 25 MB մեկ ֆայլի համար Սահմանում է հավելվածը
Ուր է գնում ձայնը Մնում է ձեր համակարգչում Ուղարկվում է OpenAI-ին Ուղարկվում է հավելվածի սերվերներ
Խոսնակների նշումներ Ներկառուցված չեն whisper-1-ում չկան Կախված է հավելվածից
Խմբագրում և արտահանում TXT, SRT, VTT, TSV, JSON հրամանատողից Վերադարձվում է ձեր կոդին, մնացածը ստեղծում եք դուք Սովորաբար խմբագրիչ և փաստաթղթի ու ենթագրերի արտահանում

Գործարկել Whisper-ը ձեր համակարգչում

OpenAI-ի README-ում տրված են տեղադրման ու պարզ գործարկման հրամանները։

pip install -U openai-whisper
whisper interview.mp3 --model turbo

Պետք է նաև տեղադրել FFmpeg-ը։ Ըստ README-ի՝ կոդը պետք է աշխատի Python 3.8-ից 3.11 տարբերակներում։ Խոսքի լեզուն նշելու համար ավելացրեք --language, իսկ անգլերեն ստանալու համար բազմալեզու մոդելով օգտագործեք --task translate։ Մոդելի կշիռները ներբեռնվում են առաջին գործարկման ժամանակ։

Օգտագործել OpenAI-ի API-ն

OpenAI-ի խոսքից տեքստ ուղեցույցը նշում է մեկ ֆայլի 25 MB սահմանը։ Ավելի մեծ ֆայլերը սեղմեք կամ բաժանեք։ Անգլերեն հոդվածի՝ 2026 թ. նոյեմբերի ստուգման համաձայն՝ ուղեցույցում whisper-1-ը նշված է որպես հնացած, անջատման ամսաթիվը՝ 2027 թ. փետրվարի 26, իսկ մշակողներին ներկայացվում են ավելի նոր վերծանման մոդելներ։ Դրանք OpenAI-ի խոսքի այլ մոդելներ են, իսկ բաց կոդով Whisper-ն ունի իր թողարկումները։

Օգտագործել սերվերում աշխատող վերծանման հավելված

Եթե ցանկանում եք սկսել առանց տեղադրման, հավելվածը ֆայլերը կմշակի իր սերվերներում։ Օրինակ է whispertranscribe.ai-ը, որի ձայնից տեքստ անվճար փոխարկիչը արագ փորձարկում է թույլ տալիս։ Մեր գլխավոր էջում նշված է, որ whispertranscribe.ai-ը հիմնված է Whisper-ի ու նոր սերնդի AI-ի վրա։ Արտադրանքի էջերում նշված են այս հնարավորությունները։

Ֆայլը մշակվում է ամպային ծառայությունում։ Ծառայությունը չի առաջարկում API, հատուկ բառացանկ կամ հանդիպման բոտ։ Վճարովի պլանները սկսվում են ամսական $9.99-ից՝ տարեկան վճարմամբ (գներ)։ Կարող եք սկսել անվճար՝ առանց հաշվի։ Մանրամասները տեսեք Whisper AI վերծանման գործիքի էջում կամ հնարավորությունների ամբողջական ցանկում։

Whisper-ը բա՞ց կոդով է և ի՞նչ է թույլ տալիս լիցենզիան

Այո։ OpenAI-ի պահոցի համաձայն՝ Whisper-ի կոդն ու մոդելի կշիռները թողարկված են MIT լիցենզիայով։ MIT-ը թույլատրող լիցենզիա է։ Ընդհանուր առմամբ այն թույլ է տալիս օգտագործել, պատճենել, փոփոխել և վաճառել կոդի վրա հիմնված ծրագիրը՝ պահպանելով հեղինակային իրավունքի ու լիցենզիայի ծանուցումները։

Հաշվի առեք երկու հանգամանք։ Այլ կայքերում պատճենները կարող են ունենալ այլ լիցենզիայի մետատվյալներ։ Hugging Face-ի large-v3 էջում նշված է Apache-2.0։ Կարդացեք ձեր պատճենին կցված լիցենզիան։ Այն վերաբերում է ծրագրին։ Ձայնագրության համար գործում են համաձայնության ու գաղտնիության կանոնները։ Սա ընդհանուր տեղեկություն է և իրավաբանական խորհրդատվություն չի հանդիսանում։ Պաշտոնական աղբյուրը MIT լիցենզիայի տեքստն է։

Ո՞ւմ համար է Whisper-ը

Whisper-ը հարմար է մշակողներին և հրամանատողին ծանոթ բոլոր նրանց, ովքեր ուզում են անվճար, տեղային և անսահմանափակ վերծանում։ Եթե պետք է պատրաստի տեքստ՝ խմբագրիչով ու արտահանմամբ, սերվերում աշխատող հավելվածը սովորաբար ավելի արագ է։

Դուք… Հարմար տարբերակ Ինչու
Արտադրանք ստեղծող մշակող եք Բաց կոդով Whisper կամ API Լիակատար վերահսկում աշխատանքային ընթացքի վրա
Զգայուն հարցազրույցներ ունեցող հետազոտող եք Տեղային գործարկվող բաց կոդով Whisper Ձայնը մնում է ձեր սարքում
Այս շաբաթ ենթագրերի կարիք ունեցող բովանդակության հեղինակ եք Սերվերում աշխատող SRT կամ VTT արտահանող հավելված Առանց տեղադրման, վերբեռնման պատրաստ ժամանակավորված ֆայլեր
Օգտվում եք առանց GPU-ի նոութբուքից Փոքր տեղային մոդել կամ սերվերում աշխատող հավելված Խոշոր մոդելներին պետք է մոտ 10 GB VRAM

Whisper-ի տեքստին վստահելուց առաջ․ ստուգացանկ

Ցանկը կազմել ենք OpenAI-ի հոդվածի ու մոդելի քարտի նկարագրած խափանումների հիման վրա։

  • Ընտրովի ստուգեք դադարներն ու լուռ հատվածները՝ չասված նախադասություններ գտնելու համար։
  • Փնտրեք նույն արտահայտության մի քանի հաջորդական կրկնություններ։
  • Ֆայլի առաջին ու վերջին տողերը համեմատեք ձայնագրության հետ։
  • Ստուգեք անունները, թվերն ու տեխնիկական տերմինները։
  • Հաստատեք լեզվի ճիշտ ճանաչումը կամ սահմանեք այն ձեռքով։
  • Թարգմանության համար համոզվեք, որ turbo չի օգտագործվել։
  • Անհրաժեշտության դեպքում առանձին գործիքով ավելացրեք խոսնակների նշումները։
  • Ուրիշներին ձայնագրելուց կամ վերծանելուց առաջ ստացեք անհրաժեշտ համաձայնությունը, իսկ առցանց դասախոսության համար՝ նաև կազմակերպչի թույլտվությունը։

Հաճախ տրվող հարցեր

Whisper AI-ն անվճա՞ր է։

Այո, OpenAI Whisper-ը կարելի է անվճար ներբեռնել ու գործարկել։ OpenAI-ը կոդն ու կշիռները տրամադրում է MIT լիցենզիայով, այնպես որ OpenAI-ին վճարելու կարիք չկա։ Համակարգիչը տրամադրում եք դուք, իսկ large մոդելին մոտ 10 GB GPU հիշողություն է պետք։ Սերվերում աշխատող տարբերակները կարող են վճարովի լինել։ OpenAI-ի API-ն վճար է վերցնում ըստ օգտագործման, իսկ հավելվածներն ունեն իրենց պլանները։ Ինքնուրույն գործարկելու համար անհրաժեշտ են Python, FFmpeg և հրամանատողից օգտվելու փորձ։

Whisper-ը կարո՞ղ է տարբերակել խոսնակներին։

Ինքնուրույն՝ ոչ։ Whisper-ը գրում է ասվածը, սակայն չի նշում, թե ով է ասել։ OpenAI-ի մոդելի քարտի համաձայն՝ խոսնակների տարբերակման նման կարողությունները մանրակրկիտ չեն գնահատվել։ Նշումներ ստանալու համար սովորաբար Whisper-ը համատեղում են առանձին տարբերակման գործիքի հետ կամ օգտվում խոսնակների ճանաչում ավելացնող հավելվածից։ Օրինակ՝ whispertranscribe.ai-ում վերծանումից առաջ կարելի է միացնել խոսնակների ճանաչումը։ Նման ձայներով ձայնագրություններում միշտ ստուգեք նշումները։

Whisper-ը կարո՞ղ է վերծանել իրական ժամանակում։

Լռելյայն չի կարող։ Whisper-ը ստեղծվել է ձայնագրված աուդիոյի համար և մշակում է այն 30 վայրկյանանոց պատուհաններով։ OpenAI-ի մոդելի քարտն ասում է, որ իրական ժամանակում վերծանելու համար լրացուցիչ մշակում է պետք։ Մշակողները ստեղծել են գրեթե իրական ժամանակում աշխատող գործիքներ՝ ձայնը հասնելուն պես կարճ կտորներով մոդելին փոխանցելով։ Ուղիղ ենթագրերի համար փնտրեք հատուկ ուղիղ ռեժիմ և նախատեսեք ավելի շատ ուղղումներ, քան ամբողջական ձայնագրության տեքստի դեպքում։

Քանի՞ լեզու է աջակցում Whisper-ը։

Whisper-ը ճանաչում է մոտ 99 լեզու։ Տոկենավորիչը ցուցակում ունի 100 լեզվի կոդ՝ large-v3-ում կանտոներենի ավելացումից հետո։ Որակը զգալիորեն տարբերվում է։ OpenAI-ի մոդելի քարտը լավ արդյունք է նշում մոտ 10 լեզվի համար, իսկ հոդվածը ցույց է տալիս, որ լեզուների մեծ մասն ունեցել է 1,000 ժամից պակաս ուսուցման ձայն։ Քիչ տարածված լեզվի դեպքում նախ կարճ հատված փորձեք։ Արտադրանքի թվերը, օրինակ՝ whispertranscribe.ai-ի 130+ լեզուները, վերաբերում են տվյալ արտադրանքին։

whispertranscribe.ai-ը և OpenAI Whisper-ը նո՞ւյնն են։

Դրանք առանձին են։ OpenAI Whisper-ը բաց կոդով մոդել է, որը ինքնուրույն ներբեռնում ու գործարկում եք։ whispertranscribe.ai-ն դիտարկիչային վերծանման ծառայություն է։ Ըստ գլխավոր էջի՝ այն հիմնված է Whisper-ի ու նոր սերնդի AI-ի վրա։ Ծառայությունն ավելացնում է մինչև 5GB վերբեռնում, YouTube-ի կամ Google Drive-ի հղումով ներմուծում, խոսնակների ճանաչում և DOCX, PDF, SRT ու VTT արտահանում։ «Whisper» անունով մյուս հավելվածները տարբեր ընկերությունների առանձին արտադրանքներ են։

Ինչո՞ւ է Whisper-ը երբեմն գրում բառեր, որոնք ոչ ոք չի ասել։

Այն լեզվական մոդելի պես կանխատեսում է տեքստը։ OpenAI-ի մոդելի քարտում նշվում է, որ մեծածավալ աղմկոտ համացանցային տվյալներով մարզումը երբեմն հանգեցնում է ձայնում չեղած բառերի։ Ըստ OpenAI-ի՝ մոդելը հաջորդ հավանական բառի կանխատեսումը համատեղում է լսածի վերծանման հետ։ 2024 թ. ուսումնասիրությունը իր ստուգած տեքստերի մոտ 1%-ում գտել է ամբողջական հորինված արտահայտություններ, ավելի հաճախ՝ երկար դադարների մոտ։ Ձայնագրության հետ համեմատելով ստուգեք դադարները, լուռ հատվածներն ու ամեն կարևոր հատված։


Whisper-ով տեքստ եք ուզո՞ւմ՝ առանց տեղադրման։ Ֆայլ վերբեռնեք կամ հղում տեղադրեք whispertranscribe.ai-ում և ստացեք տեքստ 130+ լեզվով՝ DOCX, PDF, SRT ու VTT արտահանմամբ։

Աղբյուրներ

Ցանկանո՞ւմ եք ձեր ձայնագրությունները վերածել տեքստի։

Վերածեք աուդիոն և տեսանյութը տեքստի whispertranscribe.ai-ի միջոցով։

Սկսել վերածումը տեքստի ↗