লিখেছেন whispertranscribe.ai সম্পাদকীয় দল · সর্বশেষ হালনাগাদ নভেম্বর 2026 · পড়তে 13 মিনিট
Whisper AI কী? বেশির ভাগ অনুসন্ধানে এটি OpenAI Whisper-কে বোঝায়। OpenAI সেপ্টেম্বর 2022-এ এই ওপেন সোর্স বাক্স্বীকৃতি মডেল প্রকাশ করে। এটি রেকর্ড করা কথা লেখায় বদলায়, কথার ভাষা শনাক্ত করে এবং অন্য ভাষার কথা ইংরেজিতে অনুবাদ করতে পারে। OpenAI ইন্টারনেটের 680,000 ঘণ্টা অডিও দিয়ে এটি প্রশিক্ষণ দেয় এবং MIT লাইসেন্সের অধীনে কোড ও মডেল ওয়েট প্রকাশ করে।
আমরা whispertranscribe.ai তৈরি করি। whispertranscribe.ai 130+ ভাষার অডিও ও ভিডিওকে লেখায় বদলানোর ওয়েবভিত্তিক AI ট্রান্সক্রিপশন টুল। এই নির্দেশিকায় মডেল ও এটির ওপর ভিত্তি করে তৈরি পণ্যের তথ্য আলাদা করে দেওয়া হয়েছে। মডেলের প্রতিটি সংখ্যার সূত্র OpenAI-এর গবেষণাপত্র, রিপোজিটরি বা মডেল কার্ড।
সংক্ষিপ্ত উত্তর: Whisper AI কী?
Whisper হলো কথা থেকে লেখা তৈরির মডেল। OpenAI-এর GitHub রিপোজিটরি থেকে ডাউনলোড করে নিজের কম্পিউটারে চালাতে পারেন, অথবা এমন সেবা ব্যবহার করতে পারেন যা আপনার হয়ে মডেলটি চালায়।
- নির্মাতা: OpenAI। গবেষণাপত্র বৃহৎ পরিসরে দুর্বল তত্ত্বাবধানের মাধ্যমে নির্ভরযোগ্য বাক্স্বীকৃতি 6 ডিসেম্বর 2022-এ arXiv-এ প্রকাশিত হয়।
- যা করে: কথা ট্রান্সক্রাইব করে, ভাষা শনাক্ত করে, কথা ইংরেজিতে অনুবাদ করে এবং অডিওর অংশে টাইমস্ট্যাম্প যোগ করে।
- যা করতে বাড়তি ব্যবস্থা লাগে: কে কথা বলছেন তা চিহ্নিত করা ও লাইভ ট্রান্সক্রিপশন। OpenAI-এর মডেল কার্ড অনুযায়ী, অতিরিক্ত ব্যবস্থা ছাড়া এটি রিয়েল-টাইম ট্রান্সক্রিপশনে ব্যবহার করা যায় না।
- আকার: ছয়টি, tiny (39 মিলিয়ন প্যারামিটার) থেকে large (1,550 মিলিয়ন) পর্যন্ত।
- খরচ: ডাউনলোড ও চালানো বিনা মূল্যে। হার্ডওয়্যার আপনার নিজের।
«Whisper AI» বলতে তিনটি আলাদা জিনিস বোঝানো হতে পারে
নামটি নানা অর্থে ব্যবহৃত হওয়ায় এই তিনটি সহজে গুলিয়ে যায়।
| «Whisper AI» বলতে যা বোঝানো হয় | এটি কী | কে তৈরি করে | কীভাবে ব্যবহার করবেন |
|---|---|---|---|
| OpenAI Whisper | ওপেন সোর্স বাক্স্বীকৃতি মডেল | OpenAI | কোড ও মডেল ওয়েট ডাউনলোড করে নিজে চালান |
| whisper-1 | ট্রান্সক্রিপশনের জন্য OpenAI-এর হোস্ট করা API মডেল | OpenAI | অডিও ফাইল OpenAI API-তে পাঠান ও ব্যবহারের ভিত্তিতে মূল্য দিন |
| নামে «Whisper» আছে এমন অ্যাপ | whisperai.com ও whispertranscribe.ai (এই সাইট)-এর মতো ট্রান্সক্রিপশন পণ্য | আলাদা কোম্পানি | তাদের অ্যাপে অডিও আপলোড বা রেকর্ড করুন |
তৃতীয় সারির পণ্যগুলোর ফিচার, সীমা, দাম ও গোপনীয়তার শর্ত সংশ্লিষ্ট কোম্পানি নির্ধারণ করে। এই নিবন্ধে «Whisper» বলতে OpenAI-এর মডেল বোঝানো হয়েছে।
Whisper কীভাবে কাজ করে?
Whisper একটি এনকোডার-ডিকোডার Transformer। এনকোডার 30 সেকেন্ডের অডিওকে সংখ্যায় প্রকাশ করে। ডিকোডার একবারে একটি টোকেন করে সংশ্লিষ্ট লেখা তৈরি করে। বিশেষ টোকেন দিয়ে তাকে জানানো হয় কোন কাজটি করতে হবে।
Whisper-এর গবেষণাপত্রে প্রক্রিয়াটি বর্ণনা করা হয়েছে।
- স্যাম্পল রেট বদলানো। অডিও 16,000 Hz-এ রূপান্তর করা হয়।
- 30 সেকেন্ডের অংশে কাটা। মডেল একবারে 30 সেকেন্ডের অডিও দেখে। ছোট ক্লিপের দৈর্ঘ্য ফাঁকা অংশ দিয়ে পূরণ করা হয়।
- স্পেকট্রোগ্রাম তৈরি। প্রতিটি অংশ থেকে 80-চ্যানেলের লগ-মেল স্পেকট্রোগ্রাম বানানো হয়। এটি বিভিন্ন কম্পাঙ্কে শব্দের শক্তি কীভাবে বদলায় তার ছবি। প্রতি 10 মিলিসেকেন্ডে 25 মিলিসেকেন্ডের ফ্রেম ধরে এটি গণনা করা হয়। (Large-v3-এ 128 চ্যানেল ব্যবহৃত হয়।)
- এনকোড করা। দুটি কনভলিউশন স্তর ও কয়েকটি Transformer ব্লক স্পেকট্রোগ্রাম প্রক্রিয়া করে।
- ডিকোড করা। ডিকোডার প্রথমে ভাষা বা «কোনো কথা নেই» টোকেন অনুমান করে। তারপর কাজ (ট্রান্সক্রিপশন বা অনুবাদ), টাইমস্ট্যাম্প যুক্ত হবে কি না এবং শেষে লেখা নির্ধারণ করে।
টাইমস্ট্যাম্পও টোকেন হিসেবে অনুমান করা হয়, নিকটতম 20 মিলিসেকেন্ডের গুণিতকে। এভাবেই একটি মডেল ভাষা শনাক্তকরণ, ট্রান্সক্রিপশন, অনুবাদ ও সময়চিহ্ন সামলায়।
Whisper কী দিয়ে প্রশিক্ষিত হয়েছিল?
মূল মডেলগুলো সংশ্লিষ্ট ট্রান্সক্রিপ্টসহ ইন্টারনেটের 680,000 ঘণ্টা অডিও থেকে শিখেছে। OpenAI এটিকে «দুর্বল তত্ত্বাবধান» বলে, কারণ বেঞ্চমার্ক ডেটাসেটের মতো ট্রান্সক্রিপ্টগুলো হাতে যাচাই করা হয়নি।
| প্রশিক্ষণের অডিওর অংশ | ঘণ্টা | বিষয়বস্তু |
|---|---|---|
| প্রায় 65% | 438,000 | ইংরেজি অডিও ও ইংরেজি ট্রান্সক্রিপ্ট |
| প্রায় 18% | 126,000 | ইংরেজি ছাড়া অন্য ভাষার অডিও ও ইংরেজি ট্রান্সক্রিপ্ট (অনুবাদের ডেটা) |
| প্রায় 17% | 117,000 | ইংরেজি ছাড়া অন্য ভাষার অডিও ও একই ভাষার ট্রান্সক্রিপ্ট |
সূত্র OpenAI-এর Whisper মডেল কার্ড। গবেষণাপত্রে অনুবাদের অংশের আনুমানিক পরিমাণ 125,000 ঘণ্টা।
দুটি তথ্য Whisper-এর আচরণ বুঝতে সাহায্য করে। OpenAI যন্ত্রে তৈরি বলে মনে হয় এমন ট্রান্সক্রিপ্ট বাদ দেয়, যেমন পুরোপুরি বড় হাতের অক্ষরে লেখা পাঠ। এতে মডেল বিরামচিহ্নসহ বাক্য লিখতে শেখে। শুরুর মডেলগুলো বক্তার নাম অনুমান করত, কারণ অনেক ওয়েব ট্রান্সক্রিপ্টে বক্তার নাম থাকত। OpenAI ফাইন-টিউনিং করে ওই অভ্যাস দূর করে। এতে বোঝা যায় প্রশিক্ষণের লেখা মডেলে কতটা প্রতিফলিত হয়।
Hugging Face মডেল কার্ড অনুযায়ী Large-v3-কে আলাদাভাবে প্রায় 5 মিলিয়ন ঘণ্টা দিয়ে প্রশিক্ষণ দেওয়া হয়েছে। এর মধ্যে 1 মিলিয়ন ঘণ্টায় ওয়েবের দুর্বল লেবেল এবং 4 মিলিয়ন ঘণ্টায় large-v2-এর দেওয়া লেবেল ছিল।
বিভিন্ন আকারের Whisper মডেলের তুলনা
Whisper ছয়টি আকারে আসে। ছোট মডেল সাধারণ হার্ডওয়্যারেও দ্রুত চলে। বড় মডেল কম ভুল করে, তবে বেশি ভিডিও মেমরি (VRAM) লাগে। নিচের তথ্য OpenAI-এর README থেকে নেওয়া।
| আকার | প্যারামিটার | শুধু ইংরেজি সংস্করণ | বহুভাষিক সংস্করণ | প্রয়োজনীয় VRAM | large-এর তুলনায় গতি |
|---|---|---|---|---|---|
| tiny | 39 M | tiny.en | tiny | ~1 GB | ~10x |
| base | 74 M | base.en | base | ~1 GB | ~7x |
| small | 244 M | small.en | small | ~2 GB | ~4x |
| medium | 769 M | medium.en | medium | ~5 GB | ~2x |
| large | 1550 M | নেই | large | ~10 GB | 1x |
| turbo | 809 M | নেই | turbo | ~6 GB | ~8x |
OpenAI ইংরেজি কথায় ডেটা সেন্টারের A100 GPU দিয়ে এই গতি মেপেছে। বাস্তবে গতি অনেকটাই বদলাতে পারে বলে তারা জানায়। ল্যাপটপে গতি কম হবে।
কোন Whisper মডেলটি বেছে নেবেন?
আপনার মেমরি আর ট্রান্সক্রিপ্টের কাজ দিয়ে শুরু করুন।
- সাধারণ কম্পিউটারে পরীক্ষা: tiny বা base, প্রায় 1 GB VRAM। ভুল বেশি হতে পারে।
- শুধু ইংরেজি:
.enমডেল ব্যবহার করুন। OpenAI জানায়, বিশেষ করে tiny ও base আকারে এগুলো ভালো ফল দেয়। - যুক্তিসংগত গতিতে ভালো মান: turbo, প্রায় 6 GB। কমান্ড লাইনে এটি ডিফল্ট।
- কথা ইংরেজিতে অনুবাদ: medium বা large। Turbo অনুবাদের জন্য প্রশিক্ষিত নয় এবং অনুবাদ চাইলেও মূল ভাষায় ফল দেয়।
- সবচেয়ে কঠিন অডিওতে সেরা ফল: large, প্রায় 10 GB VRAM।
Whisper সংস্করণের সংক্ষিপ্ত ইতিহাস
«Large» নামে তিনটি সংস্করণ প্রকাশিত হয়েছে। turbo হলো large-v3-এর হালকা সংস্করণ। চেকপয়েন্টভেদে ফল বদলায়।
| সংস্করণ | প্রকাশ | কী বদলেছে |
|---|---|---|
| মূল মডেল (tiny থেকে large) | সেপ্টেম্বর 2022 | গবেষণাপত্রসহ প্রথম ওপেন সোর্স প্রকাশ |
| large-v2 | ডিসেম্বর 2022 | একই আকার, অতিরিক্ত রেগুলারাইজেশনসহ 2.5 গুণ বেশি সময় প্রশিক্ষণ |
| large-v3 | নভেম্বর 2023 | 128 মেল চ্যানেল, নতুন ক্যান্টনিজ টোকেন, অনেক ভাষায় v2-এর তুলনায় 10% থেকে 20% কম ভুল |
| turbo (large-v3-turbo) | সেপ্টেম্বর 2024 | গতি বাড়াতে ডিকোডারের স্তর 32 থেকে 4-এ নামানো হয়েছে, অনুবাদ নেই |
সূত্র Whisper মডেল কার্ড, গবেষণাপত্রে large-v2-এর পাদটীকা এবং large-v3 ও large-v3-turbo-এর Hugging Face কার্ড।
Whisper কতটি ভাষা সমর্থন করে?
Whisper প্রায় 99টি ভাষা শনাক্ত করে। গবেষণাপত্রে ভাষা শনাক্তকরণে 99টি ভাষার টোকেন ব্যবহৃত হয়। large-v3-এ ক্যান্টনিজ যোগ হওয়ার পর বর্তমান টোকেনাইজারে 100টি ভাষার কোড আছে। ভাষা সমর্থন থাকলেও মান ভিন্ন হয়। মডেল কার্ড বলছে, প্রায় 10টি ভাষায় Whisper ভালো ফল দেয়।
মান প্রশিক্ষণের ডেটার সঙ্গে সম্পর্কিত। গবেষণাপত্রে দেখা গেছে, একটি ভাষার কত ঘণ্টা অডিও মডেলটি পেয়েছে তা দিয়ে সেই ভাষায় ফল বেশ ভালোভাবে অনুমান করা যায়। বেশির ভাগ ভাষায় 1,000 ঘণ্টার কম অডিও ছিল। সাধারণত ইংরেজি, স্প্যানিশ বা জার্মানে তথ্যস্বল্প ভাষার তুলনায় পরিষ্কার ফল আসে। নিজের ভাষা যাচাই করতে README-তে ভাষাভিত্তিক ত্রুটির চার্টের লিঙ্ক দেখুন।
পণ্যের ভাষার হিসাব আলাদা। whispertranscribe.ai 130+ ভাষা সমর্থন করে। এটি পণ্যের ভাষা সমর্থনের হিসাব (মূল্য পৃষ্ঠায় «130+ ভাষা ও উচ্চারণ» বলা আছে)। ওপেন সোর্স Whisper মডেলের ভাষার হিসাব ওপরে দেওয়া হয়েছে।
Whisper কতটা নির্ভুল?
Whisper-এর নির্ভুলতা মডেলের আকার, ভাষা ও রেকর্ডিংয়ের ওপর নির্ভর করে। পরিষ্কারভাবে পড়া ইংরেজি অডিওতে large-v2-এর শব্দ ত্রুটির হার (WER) 2.7% ছিল। বেশির ভাগই তুলনামূলক কঠিন এমন 14টি ইংরেজি পরীক্ষাসেটে গড় ছিল 12.8%।
মানুষের তৈরি রেফারেন্স ট্রান্সক্রিপ্টের তুলনায় মডেল যে শব্দগুলো বদলায়, বাদ দেয় বা যোগ করে, তার অনুপাত WER। হার যত কম, তত ভালো। নিচের তথ্য গবেষণাপত্রের টেবিল 2 থেকে নেওয়া। এতে Whisper large-v2-এর সঙ্গে LibriSpeech অডিওবুক ডেটাসেটে প্রশিক্ষিত wav2vec 2.0 মডেলের তুলনা করা হয়েছে।
| পরীক্ষাসেট | wav2vec 2.0 WER | Whisper large-v2 WER |
|---|---|---|
| LibriSpeech পরিষ্কার (পড়া অডিওবুক) | 2.7% | 2.7% |
| Common Voice (অংশগ্রহণকারীদের রেকর্ড করা কথা) | 29.9% | 9.0% |
| CHiME-6 (শোরগোলসহ নৈশভোজের রেকর্ডিং) | 65.8% | 25.5% |
| টেবিলের মোট 14টি পরীক্ষাসেটের গড় | 29.3% | 12.8% |
অডিওবুক পরীক্ষায় দুই মডেল সমান ফল দেয়। অন্য পরীক্ষাগুলোতে Whisper ভালো করে এবং গড়ে 55.2% কম ভুল করে। OpenAI-এর ঘোষণায় সংখ্যাটি পূর্ণ করে «50% কম ভুল» বলা হয়েছে। গবেষণাপত্রের আওয়াজ-সংক্রান্ত পরীক্ষায় প্রায় পরিষ্কার অডিওতে LibriSpeech-এ প্রশিক্ষিত মডেলগুলো Whisper-এর চেয়ে ভালো করেছিল। পানশালার মতো পটভূমির আওয়াজ বেড়ে সংকেত ও আওয়াজের অনুপাত 10 dB-এর নিচে নামলে সেগুলো পিছিয়ে পড়ে।
এগুলো গবেষণার বেঞ্চমার্ক। আপনার ফাইলের ফল ভিন্ন হতে পারে এবং পণ্যের দাবি আলাদা। যেমন, পরিষ্কার অডিওতে whispertranscribe.ai-এর নির্ভুলতা 99% পর্যন্ত পৌঁছায়। পটভূমির আওয়াজ, একসঙ্গে কথা ও প্রবল টানযুক্ত উচ্চারণে নির্ভুলতা কমে।
Whisper-এর সীমাবদ্ধতা কী?
Whisper-এর প্রধান দুর্বলতা হলো, কেউ বলেননি এমন কথাও এটি সাবলীলভাবে লিখতে পারে। OpenAI-এর মডেল কার্ডে একে হ্যালুসিনেশন বলা হয়েছে এবং দুর্বল তত্ত্বাবধানে প্রশিক্ষণের সঙ্গে এর যোগসূত্র দেখানো হয়েছে। একই কথা বারবার লেখা, ভাষা ও টানভেদে নির্ভুলতার তারতম্য এবং অন্তর্নির্মিত বক্তা লেবেল না থাকার কথাও সেখানে আছে।
- বলা হয়নি এমন লেখা। 2024 সালের Careless Whisper গবেষণায় দেখা গেছে, পরীক্ষা করা ট্রান্সক্রিপ্টের প্রায় 1%-এ এমন পুরো বাক্যাংশ বা বাক্য ছিল যা অডিওতে ছিল না। কথার মধ্যে দীর্ঘ বিরতি থাকলে এমনটি বেশি হতো।
- একই কথার পুনরাবৃত্তি। মডেল কোনো বাক্যাংশে আটকে সেটিই বারবার লিখতে পারে। মডেল কার্ড অনুযায়ী বিম সার্চ ও টেম্পারেচার ফলব্যাক এটি কিছুটা কমায়, পুরোপুরি দূর করে না।
- প্রথম বা শেষের শব্দ বাদ পড়া। গবেষণাপত্রে অডিওর কোনো অংশের শুরু বা শেষের কয়েকটি শব্দ বাদ পড়াকে পরিচিত সমস্যা হিসেবে উল্লেখ করা হয়েছে।
- দীর্ঘ রেকর্ডিং ভাগ করতে হয়। Whisper একবারে 30 সেকেন্ড দেখে। লম্বা ফাইলে ট্রান্সক্রিপশন টুল অনুমান করা টাইমস্ট্যাম্প ধরে পরের অংশে যায়। ফলে এক অংশের ভুল পরের অংশে প্রভাব ফেলতে পারে।
- বক্তার লেবেল নেই। মডেল কার্ড অনুযায়ী কে কখন কথা বলেছেন, অর্থাৎ ডায়ারাইজেশনের ক্ষমতা যথেষ্ট যাচাই করা হয়নি। এর জন্য আলাদা টুল দরকার।
- ডিফল্টভাবে রিয়েল-টাইম নয়। এটি রেকর্ড করা ফাইলের জন্য তৈরি। লাইভ ক্যাপশনের জন্য বাড়তি ব্যবস্থা লাগবে।
- ভাষা ও টানভেদে ফল আলাদা। মডেল কার্ডে কিছু টান, উপভাষা ও জনগোষ্ঠীর ক্ষেত্রে বেশি ত্রুটির উল্লেখ রয়েছে।
OpenAI সম্মতি ছাড়া কারও কথা ট্রান্সক্রাইব করার বিরুদ্ধে এবং উচ্চ ঝুঁকির সিদ্ধান্তে এটি ব্যবহার করার বিরুদ্ধে সতর্ক করেছে।
অফিশিয়াল সূত্রে যেসব অমিল আছে
OpenAI-এর নিজস্ব নথিতেই কিছু সংখ্যা আলাদা। বেশির ভাগ ক্ষেত্রে অঙ্ক পূর্ণ করা বা সংস্করণ বদলানোর কারণে এমন হয়েছে। কোনো সংখ্যা উদ্ধৃত করার আগে নিচের পার্থক্যগুলো দেখুন।
| বিষয় | একটি অফিশিয়াল সূত্র | অন্য সূত্র | কী ব্যবহার করবেন |
|---|---|---|---|
| LibriSpeech মডেলের তুলনায় ত্রুটি হ্রাস | গবেষণাপত্রে গড়ে 55.2% কম ভুল | OpenAI-এর ঘোষণায় 50% কম ভুল | গবেষণাপত্রের সংখ্যা ও তুলনাটি উল্লেখ করুন |
| প্রশিক্ষণ ডেটায় ইংরেজি ছাড়া অন্য ভাষা | গবেষণাপত্রে অন্য 96টি ভাষা | মডেল কার্ডে 98টি ভাষা | শনাক্তকরণের জন্য «প্রায় 99টি ভাষা» |
| অনুবাদ প্রশিক্ষণের ঘণ্টা | মডেল কার্ডে 126,000 | গবেষণাপত্রে 125,000 | আনুমানিক উল্লেখ করে যেকোনোটি |
| Turbo-এর প্যারামিটারের সংখ্যা | README ও Hugging Face-এ 809 M | মডেল কার্ডের টেবিলে 798 M | বেশির ভাগ সূত্রে ব্যবহৃত 809 M |
| প্রশিক্ষণ ডেটার আকার | মূল গবেষণাপত্রে 680,000 ঘণ্টা | Large-v3 কার্ডে 5 মিলিয়ন ঘণ্টা | যে সংস্করণ বোঝাচ্ছেন সেটি উল্লেখ করুন |
| লাইসেন্স | GitHub-এ কোড ও ওয়েটের জন্য MIT | Hugging Face-এর large-v3 মেটাডেটায় Apache-2.0 | যে কপি ডাউনলোড করছেন তার লাইসেন্স ফাইল দেখুন |
Whisper ব্যবহারের তিনটি উপায়
নিজে Whisper চালালে খরচ হয় না এবং অডিও নিজের কম্পিউটারেই থাকে। OpenAI API ব্যবহার করলে সেটআপ লাগে না, তবে ফাইলের আকারে সীমা আছে। হোস্ট করা ট্রান্সক্রিপশন অ্যাপে সম্পাদনা, বক্তার লেবেল ও রপ্তানি থাকে এবং তৃতীয় পক্ষের নিজস্ব শর্ত প্রযোজ্য।
| ওপেন সোর্স Whisper চালানো | OpenAI ট্রান্সক্রিপশন API | হোস্ট করা ট্রান্সক্রিপশন অ্যাপ | |
|---|---|---|---|
| সেটআপ | Python, PyTorch ও FFmpeg | কোড ও API কী | ব্রাউজার |
| খরচ | বিনা মূল্যে, নিজের হার্ডওয়্যার | ব্যবহার অনুযায়ী | অ্যাপভেদে বিনা মূল্যের পরিকল্পনা বা সাবস্ক্রিপশন |
| ফাইলের সীমা | আপনার হার্ডওয়্যারের ওপর নির্ভর করে | ফাইলপ্রতি 25 MB | অ্যাপভেদে আলাদা |
| অডিও কোথায় যায় | নিজের কম্পিউটারে থাকে | OpenAI-এ পাঠানো হয় | অ্যাপের সার্ভারে পাঠানো হয় |
| বক্তার লেবেল | অন্তর্নির্মিত নয় | whisper-1-এ নেই | অ্যাপের ওপর নির্ভর করে |
| সম্পাদনা ও রপ্তানি | কমান্ড লাইন থেকে TXT, SRT, VTT, TSV, JSON | ফল আপনার কোডে ফেরত আসে, বাকিটা আপনাকে তৈরি করতে হবে | সাধারণত সম্পাদক ও নথি এবং সাবটাইটেল রপ্তানি |
নিজের কম্পিউটারে Whisper চালান
OpenAI-এর README-তে ইনস্টল ও চালানোর প্রাথমিক কমান্ড রয়েছে।
pip install -U openai-whisper
whisper interview.mp3 --model turbo
FFmpeg-ও ইনস্টল করতে হবে। README অনুযায়ী কোডটি Python 3.8 থেকে 3.11-এ চলার কথা। কথার ভাষা নির্দিষ্ট করতে --language যোগ করুন বা ইংরেজি পেতে বহুভাষিক মডেলের সঙ্গে --task translate ব্যবহার করুন। প্রথম ব্যবহারে মডেল ওয়েট ডাউনলোড হবে।
OpenAI API ব্যবহার করুন
OpenAI-এর স্পিচ টু টেক্সট নির্দেশিকায় প্রতি ফাইলের আপলোড সীমা 25 MB। বড় ফাইল সংকুচিত করুন বা ভাগ করুন। নভেম্বর 2026-এ যাচাই করা নির্দেশিকায় whisper-1 বন্ধ করার পথে বলে উল্লেখ রয়েছে এবং বন্ধের তারিখ 26 ফেব্রুয়ারি, 2027 দেওয়া হয়েছে। নির্দেশিকায় ডেভেলপারদের নতুন ট্রান্সক্রিপশন মডেলের দিকে পাঠানো হয়েছে। সেগুলো OpenAI-এর আলাদা স্পিচ মডেল। ওপেন সোর্স Whisper-এর সংস্করণ উপরে দেওয়া হয়েছে।
হোস্ট করা ট্রান্সক্রিপশন অ্যাপ ব্যবহার করুন
কিছু ইনস্টল করতে না চাইলে হোস্ট করা অ্যাপ তার সার্ভারে ফাইল প্রক্রিয়া করে। whispertranscribe.ai একটি বিকল্প। দ্রুত চেষ্টা করতে এর বিনা মূল্যের অডিও টু টেক্সট কনভার্টার ব্যবহার করুন। আমাদের হোমপেজে whispertranscribe.ai-কে «Whisper ও পরবর্তী প্রজন্মের AI-চালিত» বলা হয়েছে। পণ্যের পৃষ্ঠাগুলোতে এই ফিচারগুলো রয়েছে।
- সর্বোচ্চ 5GB ও 10 ঘণ্টার অডিও বা ভিডিও আপলোড করুন, অথবা URL থেকে ট্রান্সক্রাইব-এ YouTube, Vimeo, Google Drive বা Dropbox লিঙ্ক দিন।
- 130+ ভাষা এবং চালু করার মতো বক্তা শনাক্তকরণ।
- মাইক্রোফোন থেকে লাইভ ট্রান্সক্রিপশন এবং ব্রাউজারে রেকর্ড ও ট্রান্সক্রাইব করার সুবিধা। রেকর্ডিংয়ের আগে প্রয়োজনীয় সম্মতি ও অনলাইন সেশনের জন্য আয়োজকের অনুমতি নিন।
- DOCX, PDF, SRT, VTT, TXT ও CSV রপ্তানি, সঙ্গে AI সাবটাইটেল জেনারেটর-এ তৈরি সাবটাইটেল।
- ইংরেজি ছাড়া অন্য ভাষার রেকর্ডিংয়ের জন্য অডিও ইংরেজিতে অনুবাদ।
ফাইল ক্লাউড সেবায় পাঠানো হয়। API, নিজস্ব শব্দতালিকা বা মিটিং বট নেই। বার্ষিক বিলিংয়ে সশুল্ক পরিকল্পনা মাসে $9.99 থেকে শুরু (মূল্য)। অ্যাকাউন্ট ছাড়া বিনা মূল্যে শুরু করতে পারেন। বিস্তারিত জানতে Whisper AI ট্রান্সক্রিপশন টুল বা সব ফিচার দেখুন।
Whisper কি ওপেন সোর্স এবং লাইসেন্সে কী করার অনুমতি আছে?
হ্যাঁ। OpenAI-এর রিপোজিটরি অনুযায়ী, «Whisper-এর কোড ও মডেল ওয়েট MIT লাইসেন্সের অধীনে প্রকাশিত»। MIT একটি উদার লাইসেন্স। সাধারণভাবে কপিরাইট ও লাইসেন্স নোটিশ রাখলে ওই কোডের ওপর তৈরি সফটওয়্যার ব্যবহার, কপি, পরিবর্তন ও বিক্রি করা যায়।
অন্য সাইটে থাকা কপির লাইসেন্স মেটাডেটা আলাদা হতে পারে। Hugging Face-এর large-v3 পৃষ্ঠায় Apache-2.0 রয়েছে। যে কপি ব্যবহার করবেন তার সঙ্গে থাকা লাইসেন্স পড়ুন। লাইসেন্সটি সফটওয়্যারে প্রযোজ্য। রেকর্ডিংয়ের ক্ষেত্রে সম্মতি ও গোপনীয়তার নিয়ম প্রযোজ্য। এটি সাধারণ তথ্য, আইনি পরামর্শ নয়। অফিশিয়াল সূত্র MIT লাইসেন্সের পাঠ।
Whisper কাদের জন্য?
Whisper ডেভেলপার এবং টার্মিনালে স্বচ্ছন্দ এমন সবার জন্য উপযোগী, যাঁরা বিনা মূল্যে, ব্যক্তিগতভাবে ও সীমাহীন ট্রান্সক্রিপশন চান। সম্পাদক ও রপ্তানিসহ প্রস্তুত ট্রান্সক্রিপ্ট দরকার হলে হোস্ট করা অ্যাপ সাধারণত দ্রুততর।
| আপনি যদি হন… | উপযুক্ত বিকল্প | কারণ |
|---|---|---|
| পণ্য তৈরি করছেন এমন ডেভেলপার | ওপেন সোর্স Whisper বা API | প্রক্রিয়ার ওপর পূর্ণ নিয়ন্ত্রণ |
| সংবেদনশীল সাক্ষাৎকার নিয়ে কাজ করছেন এমন গবেষক | নিজের কম্পিউটারে ওপেন সোর্স Whisper | অডিও কম্পিউটারের বাইরে যায় না |
| এ সপ্তাহেই সাবটাইটেল দরকার এমন নির্মাতা | SRT বা VTT রপ্তানিসহ হোস্ট করা অ্যাপ | সেটআপ লাগে না, সময়চিহ্নসহ ফাইল আপলোডের জন্য প্রস্তুত থাকে |
| GPU ছাড়া ল্যাপটপ ব্যবহারকারী | নিজের কম্পিউটারে ছোট মডেল বা হোস্ট করা অ্যাপ | বড় মডেলের প্রায় 10 GB VRAM প্রয়োজন |
Whisper ট্রান্সক্রিপ্ট ব্যবহারের আগে যাচাইয়ের তালিকা
OpenAI-এর গবেষণাপত্র ও মডেল কার্ডে চিহ্নিত সমস্যাগুলো থেকে তালিকাটি তৈরি করেছি।
- বিরতি ও নীরব অংশে কেউ বলেননি এমন বাক্য আছে কি না নমুনা ধরে দেখুন।
- একই বাক্যাংশ পরপর কয়েকবার এসেছে কি না দেখুন।
- ফাইলের প্রথম ও শেষ লাইন অডিওর সঙ্গে মেলান।
- নাম, সংখ্যা ও প্রযুক্তিগত শব্দ যাচাই করুন।
- সঠিক ভাষা শনাক্ত হয়েছে কি না দেখুন অথবা নিজে ভাষা নির্ধারণ করুন।
- অনুবাদের জন্য turbo ব্যবহার করা হয়নি নিশ্চিত করুন।
- প্রয়োজনে আলাদা টুল দিয়ে বক্তার লেবেল যোগ করুন।
- অন্যদের রেকর্ড বা ট্রান্সক্রাইব করার আগে সম্মতি নিন।
সচরাচর জিজ্ঞাসা
Whisper AI কি বিনা মূল্যে ব্যবহার করা যায়?
হ্যাঁ। OpenAI Whisper ডাউনলোড ও চালাতে টাকা লাগে না। কোড ও মডেল ওয়েট OpenAI-এর MIT লাইসেন্সের অধীনে আসে। তাই OpenAI-কে টাকা না দিয়েও ব্যবহার করতে পারেন। কম্পিউটার আপনার নিজের, আর বড় মডেলের প্রায় 10 GB GPU মেমরি দরকার। হোস্ট করা বিকল্পে খরচ আছে। OpenAI API ব্যবহারের ভিত্তিতে দাম নেয় এবং ট্রান্সক্রিপশন অ্যাপগুলোর নিজস্ব পরিকল্পনা আছে। বিনা মূল্যের মডেল চালাতে Python, FFmpeg ও কমান্ড লাইন সম্পর্কে ধারণা থাকা দরকার।
Whisper কি আলাদা বক্তা শনাক্ত করতে পারে?
এ কাজের জন্য আলাদা টুল লাগে। Whisper কী বলা হয়েছে তা লেখে। OpenAI-এর মডেল কার্ড অনুযায়ী ডায়ারাইজেশনের মতো ক্ষমতা যথেষ্ট যাচাই করা হয়নি। লেবেল পেতে সাধারণত Whisper-এর সঙ্গে আলাদা ডায়ারাইজেশন টুল বা বক্তা শনাক্তকারী ট্রান্সক্রিপশন অ্যাপ ব্যবহার করা হয়। যেমন, whispertranscribe.ai-এ ট্রান্সক্রিপশন শুরুর আগে বক্তা শনাক্তকরণ চালু করা যায়। কণ্ঠ একই রকম শোনালে লেবেল অবশ্যই যাচাই করুন।
Whisper কি রিয়েল-টাইমে ট্রান্সক্রাইব করতে পারে?
এর জন্য বাড়তি ব্যবস্থা দরকার। Whisper রেকর্ড করা অডিওর জন্য তৈরি। এটি 30 সেকেন্ডের অংশ ধরে অডিও দেখে। OpenAI-এর মডেল কার্ড বলছে, অতিরিক্ত কাজ ছাড়া রিয়েল-টাইম ট্রান্সক্রিপশন করা যায় না। ডেভেলপাররা ছোট অংশ আসামাত্র Whisper-এ পাঠিয়ে প্রায় রিয়েল-টাইম টুল তৈরি করেছেন। লাইভ ক্যাপশনের জন্য আলাদা লাইভ মোড রয়েছে এমন টুল দেখুন। পুরো রেকর্ডিং থেকে তৈরি ট্রান্সক্রিপ্টের তুলনায় লাইভ লেখা বেশি সংশোধন করতে হতে পারে।
Whisper কতটি ভাষা সমর্থন করে?
Whisper প্রায় 99টি ভাষা শনাক্ত করে। large-v3-এ ক্যান্টনিজ যোগ হওয়ার পর বর্তমান টোকেনাইজারে 100টি ভাষার কোড আছে। মানে বেশ পার্থক্য হয়। OpenAI-এর মডেল কার্ডে প্রায় 10টি ভাষায় ভালো ফলের কথা আছে। গবেষণাপত্রে দেখা গেছে, বেশির ভাগ ভাষায় 1,000 ঘণ্টার কম প্রশিক্ষণ অডিও ছিল। কম প্রচলিত ভাষার ওপর নির্ভর করার আগে ছোট ক্লিপ পরীক্ষা করুন। whispertranscribe.ai-এর 130+ ভাষার মতো সংখ্যা সংশ্লিষ্ট পণ্যের নিজস্ব সমর্থন বোঝায়।
whispertranscribe.ai ও OpenAI Whisper কি একই?
OpenAI Whisper একটি ওপেন সোর্স মডেল, যা ডাউনলোড করে নিজে চালাতে হয়। whispertranscribe.ai একটি আলাদা ব্রাউজারভিত্তিক ট্রান্সক্রিপশন সেবা। হোমপেজে একে Whisper ও পরবর্তী প্রজন্মের AI-চালিত বলা হয়েছে। মডেলের সঙ্গে এটি সর্বোচ্চ 5GB আপলোড, YouTube বা Google Drive থেকে লিঙ্ক আমদানি, বক্তা শনাক্তকরণ এবং DOCX, PDF, SRT ও VTT রপ্তানি যোগ করে। নামে «Whisper» আছে এমন অন্য অ্যাপগুলো আলাদা কোম্পানির পণ্য।
Whisper কখনও কেন এমন কথা লেখে যা কেউ বলেননি?
এটি একটি ভাষা মডেলের মতো লেখা অনুমান করে। OpenAI-এর মডেল কার্ড বলছে, ইন্টারনেট থেকে নেওয়া বিপুল ও অসংগতিপূর্ণ ডেটায় প্রশিক্ষণের ফলে মডেল কখনও অডিওতে নেই এমন শব্দ লেখে। OpenAI-এর ব্যাখ্যা অনুযায়ী, এটি যা শোনে তা ট্রান্সক্রাইব করার সঙ্গে পরের সম্ভাব্য শব্দও অনুমান করে। 2024 সালের একটি গবেষণায় পরীক্ষা করা ট্রান্সক্রিপ্টের প্রায় 1%-এ সম্পূর্ণ বানানো বাক্যাংশ পাওয়া গেছে। দীর্ঘ বিরতির কাছে এমনটি বেশি হয়। বিরতি, নীরব অংশ ও গুরুত্বপূর্ণ কথা অডিওর সঙ্গে মিলিয়ে দেখুন।
সেটআপ ছাড়াই Whisper ট্রান্সক্রিপ্ট চান? whispertranscribe.ai-তে ফাইল আপলোড করুন বা লিঙ্ক দিন। 130+ ভাষায় লেখা পাবেন এবং DOCX, PDF, SRT ও VTT-তে রপ্তানি করতে পারবেন।
তথ্যসূত্র
- OpenAI: Whisper-এর পরিচিতি (21 সেপ্টেম্বর, 2022)
- Radford ও সহকর্মীরা: বৃহৎ পরিসরে দুর্বল তত্ত্বাবধানের মাধ্যমে নির্ভরযোগ্য বাক্স্বীকৃতি (arXiv 2212.04356)
- OpenAI: Whisper GitHub রিপোজিটরি ও README, মডেল কার্ড ও MIT লাইসেন্স
- Hugging Face: openai/whisper-large-v3 মডেল কার্ড
- OpenAI API নথি: স্পিচ টু টেক্সট নির্দেশিকা (নভেম্বর 2026-এ যাচাই করা)
- Koenecke ও সহকর্মীরা: Careless Whisper: স্পিচ টু টেক্সট হ্যালুসিনেশনের ক্ষতি (arXiv 2402.08021)
