लेखक: whispertranscribe.ai सम्पादकीय टोली · अन्तिम अद्यावधिक: नोभेम्बर 2026 · पढ्न लाग्ने समय: 13 मिनेट
Whisper AI के हो? प्रायः खोजमा यसले OpenAI Whisper जनाउँछ। यो OpenAI ले सेप्टेम्बर 2022 मा सार्वजनिक गरेको खुला स्रोतको बोली पहिचान मोडेल हो। यसले रेकर्ड गरिएको बोलीलाई पाठमा उतार्छ, बोलिएको भाषा पहिचान गर्छ र अन्य भाषाबाट अङ्ग्रेजीमा अनुवाद गर्न सक्छ। OpenAI ले इन्टरनेटको 680,000 घण्टा अडियोमा प्रशिक्षण दिई कोड र मोडेलका भार MIT License अन्तर्गत सार्वजनिक गर्यो।
खुलासा: हामी whispertranscribe.ai बनाउँछौँ। whispertranscribe.ai वेबमा चल्ने AI ट्रान्सक्रिप्सन उपकरण हो, जसले 130+ भाषामा अडियो र भिडियोलाई पाठ बनाउँछ। लेखमा मोडेल र त्यसमा आधारित उत्पादनको विवरण अलग दिइएका छन्। मोडेलसम्बन्धी सबै अङ्क OpenAI को आफ्नै शोधपत्र, रिपोजिटरी वा मोडेल कार्डका हुन्।
छोटो उत्तर: Whisper AI के हो?
Whisper बोलीबाट पाठ बनाउने मोडेल हो। OpenAI को GitHub रिपोजिटरी बाट डाउनलोड गरेर आफ्नै कम्प्युटरमा चलाउन वा तपाईंका लागि यो चलाउने सेवा प्रयोग गर्न सक्नुहुन्छ।
- निर्माता: OpenAI। ठूलो स्तरको कमजोर सुपरिवेक्षणमार्फत भरपर्दो बोली पहिचान शोधपत्र डिसेम्बर 6, 2022 मा arXiv मा राखिएको थियो।
- कार्य: बोली उतार्ने, भाषा पत्ता लगाउने, बोलीलाई अङ्ग्रेजीमा अनुवाद गर्ने र खण्डका समयचिह्न दिने।
- पूर्वनिर्धारित संस्करणका सीमा: वक्ताको नाम वा प्रत्यक्ष ट्रान्सक्रिप्सन छैन। OpenAI को मोडेल कार्डले पूर्वनिर्धारित रूपमा वास्तविक समयमा ट्रान्सक्रिप्सन गर्न नसकिने बताउँछ।
- आकार: छ, tiny (39 मिलियन पारामिटर) देखि large (1,550 मिलियन) सम्म।
- मूल्य: डाउनलोड र चलाउन निःशुल्क। हार्डवेयर आफ्नै चाहिन्छ।
«Whisper AI» ले तीन फरक कुरा जनाउन सक्छ
यो नाम फराकिलो रूपमा चलाइन्छ र यी तीन अर्थ सजिलै मिसिन सक्छन्।
| मानिसले «Whisper AI» भन्ने कुरा | के हो? | कसले बनाउँछ? | कसरी प्रयोग गर्ने? |
|---|---|---|---|
| OpenAI Whisper | खुला स्रोतको बोली पहिचान मोडेल | OpenAI | कोड र मोडेल भार डाउनलोड गरेर आफैँ चलाउनुहोस् |
| whisper-1 | OpenAI को होस्ट गरिएको ट्रान्सक्रिप्सन API मोडेल | OpenAI | अडियो OpenAI को API मा पठाउनुहोस् र प्रयोगअनुसार तिर्नुहोस् |
| नाममा «Whisper» भएका एप | whisperai.com र whispertranscribe.ai (यो साइट) जस्ता ट्रान्सक्रिप्सन उत्पादन | फरक कम्पनी | तिनका एपमा अडियो अपलोड वा रेकर्ड गर्नुहोस् |
तेस्रो पङ्क्तिका उत्पादन अलग-अलग सेवा हुन्। हरेक कम्पनीले आफ्ना सुविधा, सीमा, मूल्य र गोपनीयता सर्त निर्धारण गर्छ। यो लेखमा «Whisper» ले OpenAI को मोडेल जनाउँछ।
Whisper कसरी काम गर्छ?
Whisper एन्कोडर–डिकोडर Transformer हो। एन्कोडरले 30 सेकेन्डको अडियोलाई सङ्ख्यात्मक रूपमा बदल्छ। डिकोडरले कुन काम गर्ने भन्ने विशेष टोकनको निर्देशनमा मिल्दो पाठ एक पटकमा एउटा टोकन गरेर लेख्छ।
Whisper शोधपत्र ले प्रक्रिया यसरी वर्णन गर्छ:
- पुनः नमुनाकरण। अडियो 16,000 Hz मा बदलिन्छ।
- 30 सेकेन्डका विन्डोमा काट्ने। मोडेलले एक पटकमा सधैँ 30 सेकेन्ड हेर्छ। छोटो क्लिपमा बाँकी भाग भरिन्छ।
- स्पेक्ट्रोग्राम बनाउने। हरेक विन्डो 80 च्यानलको log-Mel स्पेक्ट्रोग्राम बन्छ, अर्थात् आवृत्तिअनुसार ध्वनि ऊर्जा कसरी बदलिन्छ भन्ने चित्र। यसको गणना प्रत्येक 10 मिलिसेकेन्डमा 25 मिलिसेकेन्डका फ्रेममा हुन्छ। (Large-v3 मा 128 च्यानल छन्।)
- एन्कोड गर्ने। दुई कन्भोलुसन तह र धेरै Transformer ब्लकले स्पेक्ट्रोग्राम प्रशोधन गर्छन्।
- डिकोड गर्ने। डिकोडरले पहिले भाषा वा «बोली छैन» टोकन अनुमान गर्छ। त्यसपछि काम (ट्रान्सक्रिप्सन वा अनुवाद), समयचिह्न राख्ने कि नराख्ने, अनि अन्त्यमा पाठ आउँछ।
समयचिह्न पनि टोकनका रूपमा अनुमान गरिन्छन् र नजिकको 20 मिलिसेकेन्डमा मिलाइन्छन्। त्यसैले एउटै मोडेलले भाषा पहिचान, ट्रान्सक्रिप्सन, अनुवाद र समय निर्धारण गर्छ।
Whisper लाई केमा प्रशिक्षण दिइयो?
सुरुका मोडेलले मिल्दो ट्रान्सक्रिप्ट भएको इन्टरनेटको 680,000 घण्टा अडियोबाट सिके। OpenAI ले यसलाई «कमजोर सुपरिवेक्षण» भन्छ, किनकि परीक्षण डेटासेटमा जस्तो पाठ मानिसले जाँचिएको थिएन।
| प्रशिक्षण अडियोको अंश | घण्टा | सामग्री |
|---|---|---|
| करिब 65% | 438,000 | अङ्ग्रेजी अडियो र अङ्ग्रेजी ट्रान्सक्रिप्ट |
| करिब 18% | 126,000 | गैरअङ्ग्रेजी अडियो र अङ्ग्रेजी ट्रान्सक्रिप्ट (अनुवाद डेटा) |
| करिब 17% | 117,000 | गैरअङ्ग्रेजी अडियो र उही भाषाका ट्रान्सक्रिप्ट |
स्रोत: OpenAI को Whisper मोडेल कार्ड। शोधपत्रमा अनुवादको अंशलाई करिब 125,000 घण्टा भनिएको छ।
दुई कुराले Whisper को व्यवहार बुझाउँछन्। OpenAI ले सबै अक्षर ठूला भएका जस्ता मेसिनले बनाएझैँ देखिने पाठ फिल्टर गर्यो, त्यसैले मोडेलले विरामचिह्नयुक्त वाक्य सिक्यो। साथै, वेबका धेरै ट्रान्सक्रिप्टमा वक्ताको नाम भएकाले सुरुका मोडेलले नाम अनुमान गर्न खोज्थे। OpenAI ले थप प्रशिक्षणबाट बानी घटायो। यसले मोडेलले प्रशिक्षण पाठलाई कति नजिकबाट पछ्याउँछ देखाउँछ।
Large-v3 लाई फरक रूपमा करिब 5 मिलियन घण्टामा प्रशिक्षण दिइयो। Hugging Face मोडेल कार्ड अनुसार 1 मिलियन घण्टामा वेबको कमजोर लेबल र 4 मिलियन घण्टामा large-v2 का लेबल थिए।
Whisper मोडेलका आकारको तुलना
Whisper छ आकारमा आउँछ। साना मोडेल कम क्षमताको हार्डवेयरमा छिटो चल्छन्। ठूला मोडेल कम गल्ती गर्छन् तर बढी भिडियो मेमोरी (VRAM) चाहिन्छ। तलका अङ्क OpenAI को README बाट हुन्।
| आकार | पारामिटर | अङ्ग्रेजीमात्रको संस्करण | बहुभाषिक संस्करण | आवश्यक VRAM | large को तुलनामा गति |
|---|---|---|---|---|---|
| tiny | 39 M | tiny.en | tiny | ~1 GB | ~10x |
| base | 74 M | base.en | base | ~1 GB | ~7x |
| small | 244 M | small.en | small | ~2 GB | ~4x |
| medium | 769 M | medium.en | medium | ~5 GB | ~2x |
| large | 1550 M | छैन | large | ~10 GB | 1x |
| turbo | 809 M | छैन | turbo | ~6 GB | ~8x |
OpenAI ले A100 डेटा सेन्टर GPU मा अङ्ग्रेजी बोलीबाट गति मापन गरेको हो। वास्तविक गति «धेरै फरक हुन सक्छ»। ल्यापटपमा ढिलो हुन्छ।
कुन Whisper मोडेल छान्ने?
उपलब्ध मेमोरी र ट्रान्सक्रिप्टको प्रयोजनबाट सुरु गर्नुहोस्:
- आधारभूत कम्प्युटरमा परीक्षण: tiny वा base, करिब 1 GB VRAM। बढी गल्ती हुन सक्छ।
- अङ्ग्रेजी मात्र:
.enमोडेल प्रयोग गर्नुहोस्। OpenAI अनुसार विशेष गरी tiny र base मा यी राम्रो चल्छन्। - ठीक गतिमा राम्रो गुणस्तर: turbo, करिब 6 GB। कमान्ड लाइनमा पूर्वनिर्धारित हो।
- बोली अङ्ग्रेजीमा अनुवाद: medium वा large। Turbo अनुवादका लागि प्रशिक्षित छैन र अनुवाद माग्दा पनि मूल भाषा फर्काउँछ।
- सबैभन्दा गाह्रो अडियोमा सम्भव भएसम्म राम्रो नतिजा: large, करिब 10 GB VRAM।
Whisper का संस्करण: छोटो समयरेखा
«Large» नाममा तीन रिलिज छन् र turbo, large-v3 को हलुका रूप हो। कुन संस्करण चलेको छ भन्ने महत्त्वपूर्ण छ, किनकि प्रशिक्षण बिन्दुअनुसार नतिजा फरक हुन्छ।
| संस्करण | सार्वजनिक | के बदलियो? |
|---|---|---|
| मूल मोडेल (tiny देखि large) | सेप्टेम्बर 2022 | शोधपत्रसँगै पहिलो खुला स्रोत संस्करण |
| large-v2 | डिसेम्बर 2022 | उही आकार, अतिरिक्त नियमितीकरण र 2.5 गुणा लामो प्रशिक्षण |
| large-v3 | नोभेम्बर 2023 | 128 Mel च्यानल, नयाँ क्यान्टोनिज टोकन र धेरै भाषामा v2 भन्दा 10% देखि 20% कम गल्ती |
| turbo (large-v3-turbo) | सेप्टेम्बर 2024 | गतिका लागि डिकोडर तह 32 बाट 4 मा झारियो, अनुवाद छैन |
स्रोत: Whisper मोडेल कार्ड, शोधपत्रमा large-v2 को पादटिप्पणी र large-v3 तथा large-v3-turbo का Hugging Face कार्ड।
Whisper ले कति भाषा समर्थन गर्छ?
Whisper ले करिब 99 भाषा पहिचान गर्छ। शोधपत्रको भाषा पहिचानमा 99 भाषा टोकन थिए र large-v3 मा क्यान्टोनिज थपिएपछि हालको टोकनाइजरमा 100 भाषा कोड छन्। समर्थन र गुणस्तर फरक कुरा हुन्। मोडेल कार्डमा करिब 10 भाषामा राम्रो नतिजा आउने उल्लेख छ।
गुणस्तर प्रशिक्षण डेटासँग सम्बन्धित छ। अध्ययनअनुसार मोडेलले भाषाको जति घण्टा सुनेको छ त्यसबाट नतिजा «निकै राम्रोसँग अनुमान» हुन्छ, र अधिकांश भाषामा 1,000 घण्टाभन्दा कम डेटा थियो। अङ्ग्रेजी, स्पेनी वा जर्मनको नतिजा कम डिजिटल स्रोत भएका भाषाभन्दा प्रायः सफा हुन्छ। आफ्नो भाषा हेर्न README मा भाषाअनुसार त्रुटिको चार्ट छ।
उत्पादनको भाषा सङ्ख्या अलग हो। whispertranscribe.ai ले 130+ भाषा समर्थन गर्छ। यो उत्पादनको समर्थन हो (मूल्य पृष्ठमा «130+ भाषा र उच्चारण» भनिएको छ), खुला स्रोत Whisper मोडेलको गुण होइन।
Whisper कत्तिको शुद्ध छ?
Whisper को शुद्धता मोडेलको आकार, भाषा र रेकर्डिङमा भर पर्छ। सफा, पढिएको अङ्ग्रेजीमा large-v2 को शब्द त्रुटि दर (WER) 2.7% थियो। अधिकांशतः कठिन भएका 14 अङ्ग्रेजी परीक्षण समूहमा यसको औसत 12.8% थियो।
WER भनेको मानवले तयार गरेको सन्दर्भ ट्रान्सक्रिप्टसँग तुलना गर्दा प्रणालीले साटेका, छाडेका वा थपेका शब्दको अनुपात हो। दर कम हुनु राम्रो हो। तलका तथ्याङ्क शोधपत्रको तालिका 2 बाट लिइएका हुन्। यसमा Whisper large-v2 लाई LibriSpeech अडियोबुक डेटासेटमा प्रशिक्षित wav2vec 2.0 मोडेलसँग तुलना गरिएको छ।
| परीक्षण समूह | wav2vec 2.0 WER | Whisper large-v2 WER |
|---|---|---|
| LibriSpeech सफा (पढिएका अडियोबुक) | 2.7% | 2.7% |
| Common Voice (सहभागीहरूले रेकर्ड गरेको बोली) | 29.9% | 9.0% |
| CHiME-6 (हल्लायुक्त रात्रिभोजका रेकर्डिङ) | 65.8% | 25.5% |
| तालिकाका सबै 14 परीक्षण समूहको औसत | 29.3% | 12.8% |
अडियोबुक परीक्षणमा दुवै मोडेल बराबर रहे। अन्य परीक्षणमा Whisper को नतिजा निकै राम्रो रह्यो र औसतमा 55.2% कम त्रुटि गर्यो। OpenAI को घोषणाले यसलाई गोलाकार गरेर «50% कम त्रुटि» भनेको छ। शोधपत्रको हल्लासम्बन्धी परीक्षणमा लगभग सफा अडियोमा LibriSpeech मा प्रशिक्षित मोडेलहरू Whisper भन्दा राम्रा थिए। बारमा जस्तो पृष्ठभूमिको हल्ला बढेर सङ्केत र हल्लाको अनुपात 10 dB भन्दा तल झरेपछि ती मोडेल पछि परे।
यी अनुसन्धानका बेन्चमार्क हुन्। तपाईंका फाइलको नतिजा फरक हुन सक्छ र उत्पादनका दाबी छुट्टै हुन्। उदाहरणका लागि, सफा अडियोमा whispertranscribe.ai को शुद्धता 99% सम्म पुग्छ। पृष्ठभूमिको हल्ला, एकैचोटि धेरै जनाको बोली र बलियो लवजले यसलाई घटाउँछन्।
Whisper का सीमाहरू के हुन्?
Whisper को मुख्य कमजोरी कसैले नबोलेको कुरा पनि स्वाभाविक लाग्ने गरी लेख्न सक्नु हो। OpenAI को मोडेल कार्डले यसलाई हलुसिनेसन भन्छ र कमजोर पर्यवेक्षणमा भएको प्रशिक्षणसँग जोड्छ। त्यसमा दोहोरिने पाठ, भाषा र लवजअनुसार फरक शुद्धता तथा अन्तर्निर्मित वक्ता लेबलको अभाव पनि उल्लेख छ।
- नबोलिएको पाठ। 2024 को Careless Whisper अध्ययनमा जाँचिएका करिब 1% ट्रान्सक्रिप्टमा अडियोमा नभएका पूरै वाक्यांश वा वाक्य भेटिए। बोलीमा लामो विराम हुँदा यो बढी देखियो।
- दोहोरिने क्रम। मोडेलले उही वाक्यांश लगातार दोहोर्याउन सक्छ। मोडेल कार्डअनुसार बिम सर्च र टेम्परेचर फलब्याकले यसलाई «केही हदसम्म» कम गर्छन्।
- सुरु वा अन्तिम शब्द छुट्ने। शोधपत्रले खण्डको सुरु वा अन्त्यका केही शब्द छुट्न सक्ने उल्लेख गर्छ।
- लामा रेकर्डिङ खण्डमा बाँड्नुपर्छ। Whisper ले एकपटकमा 30 सेकेन्डको अडियो मात्र हेर्छ। लामो फाइलमा ट्रान्सक्रिप्सन उपकरणले अनुमानित समयचिह्नका आधारमा खण्ड अघि सार्छ, त्यसैले एउटाको गल्तीले अर्कोलाई असर गर्न सक्छ।
- वक्ता लेबल छैन। मोडेल कार्डअनुसार कसले कहिले बोल्यो भन्ने छुट्याउने क्षमता राम्ररी परीक्षण गरिएको थिएन। त्यसका लागि छुट्टै उपकरण चाहिन्छ।
- पूर्वनिर्धारित रूपमा प्रत्यक्ष ट्रान्सक्रिप्सन हुँदैन। यो रेकर्ड गरिएका फाइलका लागि बनाइएको हो। प्रत्यक्ष क्याप्सनका लागि थप विकास आवश्यक हुन्छ।
- भाषा र लवजअनुसार फरक नतिजा। मोडेल कार्डले केही लवज, भाषिका र जनसाङ्ख्यिक समूहमा त्रुटि दर बढी हुने उल्लेख गर्छ।
OpenAI ले व्यक्तिको सहमतिबिना उनीहरूको बोलीको ट्रान्सक्रिप्सन गर्न र उच्च जोखिमयुक्त निर्णयमा प्रयोग गर्न पनि चेतावनी दिएको छ।
आधिकारिक स्रोतमा फरक देखिएका तथ्याङ्क
OpenAI का कागजातबीच केही तथ्याङ्क फरक छन्। धेरैजसो फरक अङ्कलाई गोलाकार गर्दा वा संस्करण बदलिँदा आएको हो। अङ्क उद्धृत गर्नुअघि यी भिन्नता हेर्नुहोस्।
| विषय | एउटा आधिकारिक स्रोत | अर्को स्रोत | कुन प्रयोग गर्ने |
|---|---|---|---|
| LibriSpeech मोडेलको तुलनामा त्रुटि घटेको दर | शोधपत्रमा औसतमा 55.2% कम त्रुटि | OpenAI को घोषणामा 50% कम त्रुटि | शोधपत्रको अङ्क दिँदा तुलना पनि उल्लेख गर्नुहोस् |
| प्रशिक्षण डेटामा अङ्ग्रेजीबाहेकका भाषा | शोधपत्रमा थप 96 भाषा | मोडेल कार्डमा 98 भाषा | बोली पहिचानका लागि «करिब 99 भाषा» |
| अनुवादको प्रशिक्षणका घण्टा | मोडेल कार्डमा 126,000 | शोधपत्रमा 125,000 | अनुमानित भनेर दुवैमध्ये एउटा दिन सकिन्छ |
| Turbo का प्यारामिटरको सङ्ख्या | README र Hugging Face मा 809 M | मोडेल कार्डको तालिकामा 798 M | अधिकांश स्रोतको 809 M |
| प्रशिक्षण डेटाको आकार | मूल शोधपत्रमा 680,000 घण्टा | Large-v3 कार्डमा 5 मिलियन घण्टा | कुन संस्करण हो, उल्लेख गर्नुहोस् |
| इजाजतपत्र | GitHub मा कोड र वेटका लागि MIT | Hugging Face को large-v3 मेटाडेटामा Apache-2.0 | डाउनलोड गरिएको प्रतिको इजाजतपत्र फाइल हेर्नुहोस् |
Whisper कसरी प्रयोग गर्ने? आफ्नै उपकरणमा, API मार्फत वा एपमा
तपाईंका तीन विकल्प छन्। आफैँ Whisper चलाउँदा शुल्क लाग्दैन र अडियो आफ्नै उपकरणमा रहन्छ। OpenAI को API प्रयोग गर्दा स्थापना गर्नुपर्दैन, तर फाइलको आकारमा सीमा छ। अनलाइन ट्रान्सक्रिप्सन एपमा सम्पादन, वक्ता लेबल र निर्यात पाइन्छ र तेस्रो पक्षका आफ्नै सर्त लागू हुन्छन्।
| खुला स्रोत Whisper चलाउने | OpenAI ट्रान्सक्रिप्सन API | अनलाइन ट्रान्सक्रिप्सन एप | |
|---|---|---|---|
| सुरु गर्न चाहिने कुरा | Python, PyTorch र FFmpeg | कोड र API कुञ्जी | ब्राउजर |
| लागत | निःशुल्क, आफ्नै हार्डवेयर | प्रयोगअनुसार शुल्क | एपअनुसार निःशुल्क योजना वा सदस्यता |
| फाइल सीमा | हार्डवेयरमा भर पर्छ | प्रत्येक फाइल 25 MB | एपले निर्धारण गर्छ |
| अडियो कहाँ जान्छ | आफ्नै कम्प्युटरमा रहन्छ | OpenAI मा पठाइन्छ | एपका सर्भरमा पठाइन्छ |
| वक्ता लेबल | अन्तर्निर्मित छैन | whisper-1 मा छैन | एपअनुसार फरक |
| सम्पादन र निर्यात | कमान्ड लाइनबाट TXT, SRT, VTT, TSV, JSON | नतिजा तपाईंको कोडमा आउँछ, अरू सुविधा आफैँ बनाउनुपर्छ | सामान्यतया सम्पादक र कागजात तथा सबटाइटल निर्यात |
आफ्नै कम्प्युटरमा Whisper चलाउनुहोस्
OpenAI को README मा स्थापना र सामान्य प्रयोगका यी कमान्ड छन्।
pip install -U openai-whisper
whisper interview.mp3 --model turbo
FFmpeg पनि स्थापित हुनुपर्छ। README अनुसार कोड Python 3.8 देखि 3.11 सम्म चल्नुपर्छ। बोलीको भाषा तोक्न --language थप्नुहोस् वा अङ्ग्रेजी अनुवादका लागि बहुभाषिक मोडेलसँग --task translate प्रयोग गर्नुहोस्। पहिलो प्रयोगमा मोडेल वेट डाउनलोड हुन्छन्।
OpenAI को API प्रयोग गर्नुहोस्
OpenAI को बोलीबाट पाठ बनाउने मार्गदर्शिका अनुसार प्रत्येक फाइल बढीमा 25 MB हुनुपर्छ। ठूला फाइल कम्प्रेस गर्नुहोस् वा खण्डमा विभाजन गर्नुहोस्। नोभेम्बर 2026 मा गरिएको जाँचअनुसार मार्गदर्शिकाले whisper-1 लाई हटाउने क्रममा रहेको जनाएको छ र बन्द हुने मिति फेब्रुअरी 26, 2027 तोकेको छ। त्यसले विकासकर्तालाई नयाँ ट्रान्सक्रिप्सन मोडेलतर्फ निर्देश गर्छ। ती नयाँ मोडेल OpenAI का छुट्टै बोली मोडेल हुन्, खुला स्रोत Whisper का नयाँ संस्करण होइनन्।
अनलाइन ट्रान्सक्रिप्सन एप प्रयोग गर्नुहोस्
कुनै सफ्टवेयर स्थापना गर्न नचाहे अनलाइन एपले आफ्नै सर्भरमा फाइल प्रशोधन गर्छ। whispertranscribe.ai एउटा विकल्प हो। छिटो परीक्षण गर्न यसको निःशुल्क अडियोबाट पाठ बनाउने उपकरण प्रयोग गर्न सक्नुहुन्छ। हाम्रो गृहपृष्ठले whispertranscribe.ai लाई «Whisper र नयाँ पुस्ताको AI मा आधारित» भनेर वर्णन गर्छ। हाम्रा उत्पादन पृष्ठमा यी सुविधा उल्लेख छन्।
- 5GB सम्मको र 10 घण्टासम्म लामो अडियो वा भिडियो अपलोड गर्नुहोस्, वा लिङ्कबाट ट्रान्सक्रिप्सन मा YouTube, Vimeo, Google Drive वा Dropbox को लिङ्क टाँस्नुहोस्।
- 130+ भाषा र सक्रिय गर्न सकिने वक्ता पहिचान।
- माइक्रोफोनबाट प्रत्यक्ष ट्रान्सक्रिप्सन र ब्राउजरमा रेकर्ड तथा ट्रान्सक्राइब गर्ने सुविधा। रेकर्ड गर्नुअघि आवश्यक सहमति लिनुहोस् र अनलाइन सत्रमा आयोजकको अनुमति लिनुहोस्।
- DOCX, PDF, SRT, VTT, TXT र CSV मा निर्यात, साथै AI सबटाइटल जेनेरेटर बाट बनाइएका सबटाइटल।
- अङ्ग्रेजीबाहेकका रेकर्डिङका लागि अडियोलाई अङ्ग्रेजीमा अनुवाद गर्ने सुविधा।
तपाईंको फाइल क्लाउड सेवामा जान्छ। हामी API, आफूअनुकूल शब्दावली वा बैठक बट उपलब्ध गराउँदैनौँ। वार्षिक बिलिङमा सशुल्क योजना $9.99/महिनाबाट सुरु हुन्छ (मूल्य) र खाता नबनाई निःशुल्क सुरु गर्न सक्नुहुन्छ। थप जानकारीका लागि Whisper AI ट्रान्सक्रिप्सन उपकरण वा सबै सुविधा हेर्नुहोस्।
Whisper खुला स्रोत हो? इजाजतपत्रले के गर्न दिन्छ?
हो। OpenAI को रिपोजिटरीअनुसार «Whisper को कोड र मोडेल वेट MIT इजाजतपत्रअन्तर्गत जारी गरिएका छन्»। MIT उदार इजाजतपत्र हो। सामान्यतया प्रतिलिपि अधिकार र इजाजतपत्रको सूचना कायम राखेसम्म यसले कोडमा आधारित सफ्टवेयर प्रयोग गर्न, प्रतिलिपि बनाउन, परिमार्जन गर्न र बेच्न दिन्छ।
अन्य साइटमा भएका प्रतिमा इजाजतपत्रसम्बन्धी मेटाडेटा फरक हुन सक्छ। Hugging Face को large-v3 पृष्ठमा Apache-2.0 उल्लेख छ। आफूले प्रयोग गर्ने प्रतिसँग आएको इजाजतपत्र हेर्नुहोस्। इजाजतपत्र सफ्टवेयरमा लागू हुन्छ। रेकर्डिङमा सहमति र गोपनीयताका नियम लागू हुन्छन्। यहाँ सामान्य जानकारी दिइएको हो। आधिकारिक स्रोत MIT इजाजतपत्रको पाठ हो।
Whisper कसका लागि उपयुक्त छ?
Whisper विकासकर्ता र टर्मिनल चलाउन जान्ने, निःशुल्क, निजी र असीमित ट्रान्सक्रिप्सन चाहनेका लागि उपयुक्त छ। सम्पादक र निर्यात सुविधासहित तयार ट्रान्सक्रिप्ट चाहिए अनलाइन एप सामान्यतया छिटो पर्छ।
| तपाईं... | उपयुक्त विकल्प | कारण |
|---|---|---|
| उत्पादन बनाउँदै गरेका विकासकर्ता | खुला स्रोत Whisper वा API | प्रशोधन प्रक्रियामा पूर्ण नियन्त्रण |
| संवेदनशील अन्तर्वार्ता भएका अनुसन्धानकर्ता | आफ्नै कम्प्युटरमा खुला स्रोत Whisper | अडियो उपकरणबाहिर जाँदैन |
| यही हप्ता सबटाइटल चाहिएका सामग्री निर्माता | SRT वा VTT निर्यात गर्ने अनलाइन एप | स्थापना गर्नु पर्दैन, समयचिह्नसहित फाइल अपलोड गर्न तयार हुन्छन् |
| GPU बिनाको ल्यापटप प्रयोगकर्ता | सानो मोडेल आफ्नै उपकरणमा वा अनलाइन एप | ठूला मोडेललाई करिब 10 GB VRAM चाहिन्छ |
Whisper ट्रान्सक्रिप्टमा भर पर्नुअघि जाँच गर्ने सूची
यो सूची OpenAI को शोधपत्र र मोडेल कार्डमा उल्लेख भएका त्रुटिका आधारमा बनाइएको हो।
- लामो विराम र मौन अंशमा कसैले नबोलेका वाक्य छन् कि भनेर नमुना जाँच गर्नुहोस्।
- उही वाक्यांश लगातार दोहोरिएको छ कि हेर्नुहोस्।
- फाइलका पहिलो र अन्तिम हरफ अडियोसँग तुलना गर्नुहोस्।
- नाम, सङ्ख्या र प्राविधिक शब्द रुजु गर्नुहोस्।
- सही भाषा पहिचान भएको निश्चित गर्नुहोस् वा आफैँ तोक्नुहोस्।
- अनुवादका लागि turbo प्रयोग गरिएको छैन भन्ने यकिन गर्नुहोस्।
- आवश्यक परे छुट्टै उपकरणबाट वक्ता लेबल थप्नुहोस्।
- अरूको बोली रेकर्ड वा ट्रान्सक्राइब गर्नुअघि सहमति लिनुहोस्।
प्रायः सोधिने प्रश्न
Whisper AI निःशुल्क हो?
हो। OpenAI Whisper डाउनलोड गर्न र चलाउन शुल्क लाग्दैन। OpenAI ले कोड र मोडेल वेट MIT अन्तर्गत उपलब्ध गराउँछ। त्यसैले OpenAI लाई नतिरी प्रयोग गर्न सक्नुहुन्छ। आफ्नै कम्प्युटर चाहिन्छ र ठूलो मोडेललाई करिब 10 GB GPU मेमोरी आवश्यक हुन्छ। अनलाइन विकल्पमा शुल्क लाग्न सक्छ। OpenAI को API को शुल्क प्रयोगअनुसार लाग्छ र ट्रान्सक्रिप्सन एपका आ-आफ्नै योजना हुन्छन्। निःशुल्क विकल्प चलाउन Python, FFmpeg र कमान्ड लाइनको आधारभूत ज्ञान चाहिन्छ।
Whisper ले फरक वक्ता पहिचान गर्न सक्छ?
Whisper आफैँले वक्ता छुट्याउन सक्दैन। यसले के भनियो लेख्छ। OpenAI को मोडेल कार्डअनुसार वक्ता छुट्याउने जस्ता क्षमताको पर्याप्त मूल्याङ्कन गरिएको थिएन। वक्ता लेबल चाहिनेले Whisper सँग छुट्टै वक्ता पहिचान गर्ने उपकरण जोड्छन् वा उक्त सुविधा भएको एप प्रयोग गर्छन्। उदाहरणका लागि, whispertranscribe.ai मा ट्रान्सक्रिप्सनअघि वक्ता पहिचान सक्रिय गर्न सकिन्छ। उस्तै सुनिने आवाज भएका रेकर्डिङमा लेबल अवश्य जाँच्नुहोस्।
Whisper ले वास्तविक समयमा ट्रान्सक्राइब गर्न सक्छ?
यसका लागि थप काम आवश्यक पर्छ। Whisper रेकर्ड गरिएको अडियोका लागि बनाइएको हो र यसले 30 सेकेन्डका खण्डमा काम गर्छ। OpenAI को मोडेल कार्डले थप विकासबिना यसलाई वास्तविक समयमा ट्रान्सक्राइब गर्न प्रयोग गर्न नसकिने बताउँछ। विकासकर्ताले छोटा खण्ड आउनेबित्तिकै प्रशोधन गर्ने लगभग प्रत्यक्ष उपकरण बनाएका छन्। प्रत्यक्ष क्याप्सन चाहिन्छ भने त्यसका लागि छुट्टै मोड भएको उपकरण खोज्नुहोस्। पूरा रेकर्डिङबाट बनाइएको ट्रान्सक्रिप्टको तुलनामा प्रत्यक्ष नतिजा बढी सम्पादन गर्नुपर्ने हुन सक्छ।
Whisper ले कति भाषा समर्थन गर्छ?
Whisper ले करिब 99 भाषा पहिचान गर्छ। large-v3 मा क्यान्टोनिज थपिएपछि यसको हालको टोकेनाइजरमा 100 भाषा कोड छन्। गुणस्तर निकै फरक हुन्छ। OpenAI को मोडेल कार्डले करिब 10 भाषामा राम्रो नतिजा उल्लेख गर्छ। शोधपत्रअनुसार अधिकांश भाषामा 1,000 घण्टाभन्दा कम प्रशिक्षण अडियो थियो। कम प्रचलित भाषामा भर पर्नुअघि छोटो अंश परीक्षण गर्नुहोस्। whispertranscribe.ai का 130+ भाषा जस्ता तथ्याङ्क सम्बन्धित उत्पादनको आफ्नै समर्थनबारे हुन्।
whispertranscribe.ai र OpenAI Whisper एउटै हुन्?
OpenAI Whisper डाउनलोड गरी आफैँ चलाउन मिल्ने खुला स्रोत मोडेल हो। whispertranscribe.ai ब्राउजरमा चल्ने छुट्टै ट्रान्सक्रिप्सन सेवा हो। यसको गृहपृष्ठमा यो Whisper र नयाँ पुस्ताको AI मा आधारित भनिएको छ। यसले 5GB सम्म अपलोड गर्ने, YouTube वा Google Drive बाट लिङ्क आयात गर्ने, वक्ता पहिचान गर्ने र DOCX, PDF, SRT तथा VTT मा निर्यात गर्ने सुविधा थप्छ। नाममा «Whisper» भएका अरू एप फरक कम्पनीका छुट्टै उत्पादन हुन्।
Whisper ले कहिलेकाहीँ कसैले नबोलेका शब्द किन लेख्छ?
यसले भाषा मोडेलले जस्तै पाठ अनुमान गर्छ। OpenAI को मोडेल कार्डअनुसार इन्टरनेटबाट सङ्कलित ठूलो र हल्लायुक्त डेटामा प्रशिक्षण पाएकाले मोडेलले कहिलेकाहीँ अडियोमा नभएका शब्द लेख्छ। OpenAI का अनुसार यसले आफूले सुनेको कुरा ट्रान्सक्राइब गर्दै अब आउन सक्ने शब्द पनि अनुमान गर्छ। 2024 को अध्ययनले जाँचिएका करिब 1% ट्रान्सक्रिप्टमा पूरै बनावटी वाक्यांश भेटायो। यो लामो विराम वरिपरि बढी देखियो। विराम, शान्त अंश र महत्त्वपूर्ण कुरा अडियोसँग दाँजेर जाँच्नुहोस्।
स्थापना नगरी Whisper ट्रान्सक्रिप्ट चाहनुहुन्छ? whispertranscribe.ai मा फाइल अपलोड गर्नुहोस् वा लिङ्क टाँस्नुहोस्। 130+ भाषामा पाठ प्राप्त गर्नुहोस् र DOCX, PDF, SRT तथा VTT मा निर्यात गर्नुहोस्।
सन्दर्भ
- OpenAI: Whisper को परिचय (सेप्टेम्बर 21, 2022)
- Radford र सहकर्मी: ठूलो मात्राको कमजोर पर्यवेक्षणबाट भरपर्दो बोली पहिचान (arXiv 2212.04356)
- OpenAI: Whisper को GitHub रिपोजिटरी र README, मोडेल कार्ड र MIT इजाजतपत्र
- Hugging Face: openai/whisper-large-v3 मोडेल कार्ड
- OpenAI API कागजात: बोलीबाट पाठ बनाउने मार्गदर्शिका (नोभेम्बर 2026 मा जाँचिएको)
- Koenecke र सहकर्मी: Careless Whisper: बोलीबाट पाठ बनाउँदा उत्पन्न हलुसिनेसनका हानि (arXiv 2402.08021)
