whispertranscribe.ai সম্পাদকীয় দল · সর্বশেষ হালনাগাদ নভেম্বর 2026 · পড়তে 13 মিনিট · বিভাগ ট্রান্সক্রিপশনের নির্ভুলতা
Whisper কতটা নির্ভুল? OpenAI-এর গবেষণাপত্রে পরিষ্কারভাবে পড়া ইংরেজিতে Whisper large-v2-এর শব্দভুলের হার (WER) 2.5%, অর্থাৎ প্রতি 100 শব্দের প্রায় 97 থেকে 98টি সঠিক। কঠিন অডিওতে ভুল বেশি: ফোন কলে 13.6%, শোরগোলের মধ্যে নৈশভোজে 24.9% এবং দূরে রাখা একটি মাইক্রোফোনে ধারণ করা মিটিংয়ে 39.9%।
Whisper হলো OpenAI-এর ওপেন সোর্স কথার স্বীকৃতি মডেল, যা আমাদেরসহ অনেক ট্রান্সক্রিপশন অ্যাপে ব্যবহৃত হয়। এখানে WER কী মাপে, অডিও ও ভাষাভেদে বেঞ্চমার্কের ফল, Whisper কোথায় ভুল করে এবং নিজে কীভাবে পরীক্ষা করবেন তা রয়েছে। মডেলটি সম্পর্কে জানতে Whisper AI কী পড়ুন।
বেশির ভাগ সংখ্যা Whisper গবেষণাপত্র (Radford ও সহকর্মীরা, 2022) থেকে নেওয়া। সেখানে প্রতিটি মডেলের ‘জিরো-শট’ পরীক্ষা করা হয়েছে, অর্থাৎ পরীক্ষার ডেটা দিয়ে ফাইন-টিউন করা হয়নি। নতুন large-v3 মডেল কার্ড অনেক ভাষায় large-v2-এর তুলনায় 10% থেকে 20% ভুল কম হওয়ার কথা জানায়। সেখানে প্রতিটি ডেটাসেটের পূর্ণ ছক নেই। নিবন্ধটি whispertranscribe.ai প্রকাশ করে। মূল লেখার জন্য আলাদা বেঞ্চমার্ক চালানো হয়নি এবং এখানে নিজেদের পরীক্ষার কোনো সংখ্যা নেই।
একনজরে Whisper-এর নির্ভুলতা
অডিওর ধরন ফলকে সবচেয়ে বেশি প্রভাবিত করে, তাই একটি ডেটাসেট দিয়ে প্রশ্নটির উত্তর হয় না। ছকে বিম সার্চ ও টেম্পারেচার ফলব্যাকসহ large-v2-এর OpenAI-প্রকাশিত ফল আছে (পরিশিষ্টের ছক 9)। OpenAI-এর টেক্সট নরমালাইজার প্রয়োগের পর স্কোর করা হয়েছে।
| অডিওর ধরন | গবেষণাপত্রের ডেটাসেট | Whisper large-v2-এর WER | আনুমানিক সঠিক শব্দ |
|---|---|---|---|
| অডিওবুক, স্পষ্ট পাঠ | LibriSpeech test-clean | 2.5% | 100-এ প্রায় 97.5 |
| সংবাদ পড়া | WSJ | 2.6% | 100-এ প্রায় 97.4 |
| TED বক্তৃতা | TED-LIUM 3 | 3.7% | 100-এ প্রায় 96 |
| অডিওবুক, বোঝা কঠিন এমন বক্তা | LibriSpeech test-other | 4.9% | 100-এ প্রায় 95 |
| স্বেচ্ছাসেবীদের বাড়ির মাইকে রেকর্ড | Common Voice 5.1 | 8.2% | 100-এ প্রায় 92 |
| ফোনে কথোপকথন | Switchboard | 13.6% | 100-এ প্রায় 86 |
| দীর্ঘ সমাজভাষাবৈজ্ঞানিক সাক্ষাৎকার | CORAAL | 14.2% | 100-এ প্রায় 86 |
| পরিবার ও বন্ধুদের ফোন কল | CallHome | 16.4% | 100-এ প্রায় 84 |
| মিটিং, প্রত্যেকের হেডসেট মাইক | AMI IHM | 17.4% | 100-এ প্রায় 83 |
| নৈশভোজ, দূরের মাইক | CHiME-6 | 24.9% | 100-এ প্রায় 75 |
| মিটিং, টেবিলে দূরে রাখা একটি মাইক | AMI SDM1 | 39.9% | 100-এ প্রায় 60 |
‘সঠিক শব্দের ভাগ’ বলতে 100 থেকে WER বিয়োগের আনুমানিক হিসাব বোঝায়। WER-এ যোগ হওয়া শব্দও ধরা হয়।
অনেক সময় 2.7% উদ্ধৃত হয়। সেটি একই মডেলের সহজতর গ্রিডি ডিকোডিংয়ের ফল (গবেষণাপত্রের ছক 2)। AMI-এর দুই সারিতে একই মিটিং দুইভাবে ধারণ করা হয়েছে। প্রত্যেক বক্তার মাথার কাছে মাইকের বদলে টেবিলের মাঝখানে একটি মাইক রাখলে ভুলের হার দ্বিগুণের বেশি হয়েছে।
শব্দভুলের হার (WER) কী এবং কীভাবে হিসাব করা হয়?
মানুষের যাচাই করা মূল লেখার সঙ্গে তুলনা করে ট্রান্সক্রিপ্টের কতটা ভুল তা শব্দভুলের হার দেখায়। তিন ধরনের ভুল যোগ করে মূল লেখার শব্দসংখ্যা দিয়ে ভাগ করুন।
WER = (প্রতিস্থাপন + বাদ পড়া + সংযোজন) ÷ মূল লেখার শব্দসংখ্যা
- প্রতিস্থাপন: সঠিক শব্দের জায়গায় ভুল শব্দ (“উদ্বোধন”-এর জায়গায় “উদযাপন”)।
- বাদ পড়া: বলা হয়েছে কিন্তু ট্রান্সক্রিপ্টে নেই এমন শব্দ।
- সংযোজন: ট্রান্সক্রিপ্টে আছে অথচ কেউ বলেননি এমন শব্দ।
ওপেন সোর্স jiwer লাইব্রেরি দিয়ে হিসাব করার জন্য বাংলায় সাজানো উদাহরণ:
| লাইন | লেখা |
|---|---|
| মূল লেখা (22 শব্দ) | আমরা নতুন পণ্যের উদ্বোধন মার্চের নয় তারিখে সরিয়েছি কারণ ওই সরবরাহকারী দুটি সময়সীমা মিস করেছে আর ডাক্তার প্যাটেল নতুন পরীক্ষার পরিকল্পনা চান |
| ট্রান্সক্রিপ্ট | আমরা নতুন পণ্যের উদযাপন মার্চের নয় তারিখে সরিয়েছি কারণ সরবরাহকারী দুটি সময়সীমা মিস করেছে আর ডাক্তার পাটিল নতুন পরীক্ষার পরিকল্পনা চান আজ |
| ভুল | 2টি প্রতিস্থাপন (উদযাপন, পাটিল), 1টি বাদ (ওই), 1টি সংযোজন (আজ) |
| WER | 4 ÷ 22 = 18.2% |
WER সম্পর্কে তিনটি বিষয় প্রায়ই খেয়াল থাকে না।
- এটি 100% ছাড়াতে পারে। কত শব্দ যোগ হতে পারে তার ঊর্ধ্বসীমা নেই। গবেষণাপত্রের Fleurs ফলে প্রশিক্ষণ ডেটা কম এমন কয়েকটি ভাষায় 100%-এর বেশি স্কোর রয়েছে।
- নরমালাইজেশন স্কোর বদলায়। দুই লেখাকে একইভাবে মানসম্মত না করলে “Dr.” আর “doctor”-এর পার্থক্য ভুল হিসেবে গণ্য হয়। OpenAI বলছে, তাদের নরমালাইজার কিছু ডেটাসেটে WER সর্বোচ্চ 50% কমিয়েছে, মূলত লেখার বিন্যাসের পার্থক্য দূর করে।
- কিছু ভাষায় অক্ষরভুলের হার (CER) ব্যবহৃত হয়। চীনা, জাপানি, থাই, লাও এবং বার্মিজ ভাষায় শব্দগুলো স্পেস দিয়ে আলাদা করা হয় না। তাই গবেষণাপত্রে অক্ষর ধরে স্কোর করা হয়েছে।
কোন ডেটাসেট ও স্কোরিং পদ্ধতি ব্যবহৃত হয়েছে তা ছাড়া নির্ভুলতার দাবি পরিমাপ হিসেবে ধরা যায় না। এই লেখার জন্যও একই কথা প্রযোজ্য।
ইংরেজিতে Whisper কতটা নির্ভুল?
পরিষ্কার ইংরেজিতে Whisper খুব নির্ভুল, আর জটিল ইংরেজি অডিওতেও কাজে লাগে। গবেষণাপত্রে LibriSpeech-এ প্রায় একই স্কোর পাওয়া সুপারভাইজড wav2vec 2.0 মডেলের তুলনায় অন্য 12টি ইংরেজি ডেটাসেটে Whisper 55.2% কম ভুল করেছে।
দীর্ঘ রেকর্ডিং
Whisper 30 সেকেন্ডের অংশে অডিও পড়ে। তাই গবেষণাপত্রে দীর্ঘ ফাইল আলাদা করে পরীক্ষা করা হয়েছে (পরিশিষ্টের ছক 16, large-v2)।
| দীর্ঘ অডিওর ডেটাসেট | কী আছে | WER |
|---|---|---|
| TED-LIUM 3 | 11টি পূর্ণ TED বক্তৃতা | 3.5% |
| Meanwhile | অপ্রচলিত শব্দ বেশি এমন গভীর রাতের 64টি টিভি অংশ | 5.1% |
| Kincaid46 | 2018 সালের তুলনা থেকে 46টি মিশ্র রেকর্ডিং | 8.8% |
| Earnings-21 | কোম্পানির আয় নিয়ে কল | 9.7% |
| Rev16 | 16টি পডকাস্ট পর্ব | 11.3% |
| Earnings-22 | নানা উচ্চারণে আরও কিছু আয়সংক্রান্ত কল | 12.6% |
| CORAAL | আফ্রিকান আমেরিকান ইংরেজিতে 231টি পূর্ণ সাক্ষাৎকার | 19.6% |
Whisper ও মানুষের করা ট্রান্সক্রিপশনের তুলনা
OpenAI Kincaid46-এর 25টি রেকর্ডিং চারটি মানবনির্ভর ও একটি কম্পিউটার-সহায়ক পরিষেবা দিয়ে ট্রান্সক্রাইব করিয়েছিল। কম্পিউটার-সহায়ক পরিষেবার স্কোর Whisper-এর চেয়ে 1.15 শতাংশ পয়েন্ট ভালো। শুধু মানুষের কাজের স্কোর এক শতাংশ পয়েন্টেরও কম ব্যবধানে ভালো ছিল। গবেষণাপত্রের ভাষায়, নির্ভুলতা নিখুঁত না হলেও মানুষের পর্যায়ের খুব কাছাকাছি।
মডেলের আকারের প্রভাব
Whisper বিভিন্ন আকারের মডেলে পাওয়া যায়। অ্যাপগুলো সব সময় জানায় না কোনটি ব্যবহার করে (পরিশিষ্টের ছক 9)।
| মডেল | প্যারামিটার | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
অডিও কঠিন হলে ব্যবধান বাড়ে। পরিষ্কার অডিওবুকে প্রায় 4 পয়েন্ট আর নৈশভোজের রেকর্ডিংয়ে 23 পয়েন্ট। নতুন turbo হলো large-v3-এর অপ্টিমাইজ করা মডেল। OpenAI-এর GitHub README অনুযায়ী অনেক দ্রুত ট্রান্সক্রিপশনের বিনিময়ে নির্ভুলতা সামান্য কমে।
অন্য ভাষায় Whisper কতটা নির্ভুল?
ইংরেজির বাইরে নির্ভুলতা প্রধানত নির্ভর করে ওই ভাষায় Whisper-এর প্রশিক্ষণে কত অডিও ছিল তার ওপর। গবেষণাপত্রে প্রশিক্ষণের ঘণ্টার লগ ও WER-এর লগের মধ্যে সহসম্পর্কের বর্গ 0.83 পাওয়া যায়। অনুমান অনুযায়ী, প্রশিক্ষণ ডেটা 16 গুণ হলে WER অর্ধেক হয়। ইংরেজি ছাড়া 96টি ভাষার বেশির ভাগেরই 1,000 ঘণ্টার কম ডেটা ছিল।
Fleurs-এর কিছু ফল (পড়া বাক্য, large-v2, পরিশিষ্টের ছক 13)।
| ভাষা | Fleurs WER | মন্তব্য |
|---|---|---|
| স্প্যানিশ | 3.0% | ছকে সর্বনিম্ন |
| ইংরেজি | 4.2% | |
| পর্তুগিজ | 4.3% | |
| জার্মান | 4.5% | |
| জাপানি | 5.3% | অক্ষরভুলের হার |
| রুশ | 5.6% | |
| ফরাসি | 8.3% | |
| কোরিয়ান | 14.3% | প্রত্যাশা থেকে বিচ্যুত |
| চীনা | 14.7% | অক্ষরভুলের হার |
| আরবি | 16.0% | |
| হিন্দি | 21.5% | |
| হিব্রু | 27.1% | প্রত্যাশা থেকে বিচ্যুত |
| সোয়াহিলি | 39.3% | |
| তেলুগু | 99.0% | প্রত্যাশা থেকে বিচ্যুত |
গবেষণাপত্রে হিব্রু, তেলুগু, চীনা ও কোরিয়ান ভাষায় প্রশিক্ষণ ডেটা থেকে প্রত্যাশিত ফলের চেয়ে খারাপ ফল উল্লেখ আছে। সম্ভাব্য কারণ ভাষাগত দূরত্ব, সংশ্লিষ্ট লিপির জন্য অনুপযুক্ত টোকেনাইজার অথবা ডেটার মান। Fleurs-এ পড়া কথা আছে, তাই আলাপে ভুল বেশি হওয়ার কথা। README-তে Common Voice 15 ও Fleurs-এ large-v3 ও large-v2-এর নতুন চার্ট আছে।
স্প্যানিশ অডিও থেকে টেক্সট তৈরি করতে স্প্যানিশের ফল উৎসাহজনক। প্রশিক্ষণের অডিও কম এমন ভাষায় পুরো প্রকল্প দেওয়ার আগে ছোট ক্লিপ পরীক্ষা করুন।
কী কী Whisper-এর নির্ভুলতাকে প্রভাবিত করে?
রেকর্ডিংয়ের পরিস্থিতির প্রভাব সবচেয়ে বেশি। গবেষণাপত্র ও মডেল কার্ডে যা পাওয়া গেছে তা নিচের ছকে আছে।
| কারণ | প্রমাণে যা দেখা যায় | কী করবেন |
|---|---|---|
| পেছনের শোরগোল | পানশালার শব্দে সিগন্যাল ও নয়েজের অনুপাত 10 dB-এর কম হলে Whisper তুলনার 14টি মডেলকেই ছাড়িয়ে যায়। শব্দ বাড়লে সব মডেলের ফল খারাপ হয় | পাখা ও সংগীত থেকে দূরে শান্ত ঘরে রেকর্ড করুন |
| মাইক্রোফোনের দূরত্ব | একই AMI মিটিংয়ে হেডসেট মাইকে 17.4% ও টেবিলের একটি মাইকে 39.9% | মাইক বক্তার কাছে রাখুন |
| কথোপকথন ও একসঙ্গে কথা | ফোন কল ও নৈশভোজে 13.6% থেকে 24.9%, পড়া কথায় 2.5% | একবারে একজন কথা বলুন এবং প্রতি বক্তার জন্য একটি মাইক রাখুন |
| উচ্চারণ ও উপভাষা | মডেল কার্ডে উচ্চারণ ও উপভাষাভেদে নির্ভুলতা বদলানোর কথা আছে। দীর্ঘ CORAAL সাক্ষাৎকারে 19.6% | বাস্তব রেকর্ডিংয়ের মতো উচ্চারণ আছে এমন বক্তা দিয়ে পরীক্ষা করুন |
| বিরল শব্দ ও পরিভাষা | পরিভাষাবহুল Meanwhile ডেটাসেটে ভালো ফল (5.1%)। তবু নাম ও কারিগরি পরিভাষায় প্রায়ই ভুল হয় | তালিকা ধরে নাম ও পরিভাষা মিলিয়ে দেখুন |
| ভাষার ডেটা | Fleurs WER 3.0% (স্প্যানিশ) থেকে 99.0% (তেলুগু) | নিজে ভাষা বেছে নিন। প্রশিক্ষণ ডেটা কম এমন ভাষায় বেশি যাচাইয়ের সময় রাখুন |
| মডেলের আকার | CHiME-6-এ tiny-এর ফল 48.0% ও large-v2-এর 24.9% | টুলটি কোন মডেল চালায় জিজ্ঞেস করুন বা আপনার পক্ষে সম্ভব সবচেয়ে বড়টি ব্যবহার করুন |
| ফাইল ফরম্যাট ও স্যাম্পল রেট | Whisper-এর কোড সব অডিও 16 kHz মোনোতে রিস্যাম্পল করে | পরিষ্কার 16 kHz ফাইলের চেয়ে 48 kHz WAV-এ বাড়তি সুবিধা নেই |
MP3 থেকে বড় WAV তৈরি করলে হারানো তথ্য ফেরে না। মাঝারি বিটরেটের পরিষ্কার রেকর্ডিং বেশি বিটরেটের শোরগোলযুক্ত রেকর্ডিংয়ের চেয়ে ভালো ফল দেয়।
Whisper-এর পরিচিত সমস্যা: বানানো লেখা, পুনরাবৃত্তি ও টাইমস্ট্যাম্প
OpenAI এই সমস্যাগুলোর প্রতিটি নথিভুক্ত করেছে। WER-এ এদের অনুপাত কম দেখালেও বাস্তবে প্রভাব বেশি হতে পারে।
বানানো লেখা
Whisper এমন শব্দ লিখতে পারে যা কেউ বলেননি। মডেল কার্ড অনুযায়ী আউটপুটে ইনপুট অডিওতে বলা হয়নি এমন লেখা থাকতে পারে। সম্ভবত মডেল পরের সম্ভাব্য শব্দও অনুমান করে বলে এমন হয়। গবেষণাপত্রের সীমাবদ্ধতা অংশে এমন আউটপুটের কথাও আছে, যার সঙ্গে অডিওর কোনো সম্পর্কই নেই।
স্বাধীন গবেষণা Careless Whisper (Koenecke ও সহকর্মীরা, 2024) এপ্রিল ও মে 2023-এ OpenAI-এর Whisper API দিয়ে 13,140টি অডিও অংশ চালিয়েছিল। ট্রান্সক্রিপশনের প্রায় 1%-এ (গড় 1.4%) সম্পূর্ণ বানানো বাক্যাংশ বা বাক্য ছিল। সেগুলোর 38%-এ সহিংসতা বা মিথ্যা যোগসূত্রের মতো ক্ষতিকর বিষয় ছিল। যাঁরা বেশি সময় বিরতি দিয়েছিলেন, এই গবেষণায় অ্যাফেসিয়া আছে এমন ব্যক্তিরা, তাঁদের অডিওতে বেশি ঘটেছিল। API পরে বদলেছে, তাই এটিকে 2023 সালের পরিমাপ হিসেবে ধরুন।
পুনরাবৃত্তি ও বাদ যাওয়া শব্দ
মডেল কার্ডে Whisper-এর একই লেখা বারবার তৈরি করার প্রবণতার কথা বলা হয়েছে। বিম সার্চ ও টেম্পারেচার নির্ধারণ এতে সাহায্য করলেও সমস্যা পুরোপুরি দূর হয় না। গবেষণাপত্রে কোনো অংশের প্রথম বা শেষ শব্দ বাদ দেওয়ার কথাও আছে। ডিকোডিংয়ে সংশোধনের পর দীর্ঘ রেকর্ডিংয়ের গড় WER 11.0% থেকে 10.0%-এ নেমেছে।
নীরবতা, সংগীত ও মুখের অভ্যাসের শব্দ
দীর্ঘ নীরবতা ও সংগীতের সময় বানানো লেখা বেশি দেখা যায়। গবেষণাপত্রে শুধু Whisper-এর ‘কথা নেই’ সংকেতকে নির্ভরযোগ্য পাওয়া যায়নি। ওপেন সোর্স কোডে এখন বানানো লেখা শনাক্ত হওয়ার সম্ভাবনা থাকলে দীর্ঘ নীরবতা এড়ানোর বিকল্প আছে।
দীর্ঘ ফাইলে টাইমস্ট্যাম্প সরে যাওয়া
Whisper দীর্ঘ অডিওতে একবারে 30 সেকেন্ড এগোয়। পরের অংশের অবস্থান নির্ধারণে নিজের অনুমান করা টাইমস্ট্যাম্প ব্যবহার করে। ফলে গবেষণাপত্র অনুযায়ী এক অংশের ভুল পরের অংশেও ছড়াতে পারে। কোডে শব্দভিত্তিক টাইমস্ট্যাম্পকে পরীক্ষামূলক বলা হয়েছে। সাবটাইটেলের জন্য বিরতির আশপাশের সময় মিলিয়ে দেখুন।
উন্নয়নের সময় OpenAI দেখেছিল, Whisper বক্তার নাম অনুমান করে প্রায় সব সময় ভুল বলছিল। প্রকাশিত মডেলগুলোতে এটি কমাতে ফাইন-টিউন করা হয়েছে, তারপরও লেখায় থাকা নাম যাচাই করুন।
Whisper ট্রান্সক্রিপশনের নির্ভুলতা বাড়ানোর 10টি উপায়
ট্রান্সক্রাইব করার আগেই সবচেয়ে বেশি উন্নতি করা যায়। আনুমানিক বেশি প্রভাব থেকে কম প্রভাবের ক্রমে পরামর্শগুলো দেওয়া হলো।
- মাইক্রোফোন কাছে রাখুন। AMI মিটিংয়ে শুধু দূরত্বের কারণে ভুলের হার দ্বিগুণের বেশি হয়েছিল।
- উৎসেই শব্দ কমান। জানালা বন্ধ করুন, পাখা বন্ধ করুন ও সংগীত থামান।
- একসঙ্গে কথা বলা এড়ান। একবারে একজন কথা বললে যেকোনো সেটিং বদলানোর চেয়ে বেশি কাজ হয়।
- দীর্ঘ নীরবতা ও শুরুর সংগীত কেটে দিন, যেখানে বানানো লেখা বেশি আসে। বাক্যের মাঝখানে কাটবেন না, বিরতিতে কাটুন।
- নিজে ভাষা বেছে নিন। Fleurs-এর 82টি ভাষায় Whisper 80.3% সময় ভাষা ঠিক ধরেছে। ছোট ক্লিপ বা বিশেষ উচ্চারণে স্বয়ংক্রিয় শনাক্তকরণ ভুল করতে পারে।
- যত বড় মডেল পাওয়া যায় ব্যবহার করুন, বিশেষ করে শোরগোলযুক্ত রেকর্ডিংয়ে।
- নিজে হোস্ট করলে প্রম্পটে নাম ও পরিভাষা দিন। ওপেন সোর্স Whisper-এ প্রত্যাশিত বানানসহ
--initial_promptদেওয়া যায়। - মূল ফাইল আপলোড করুন। স্পিকারে চালিয়ে আবার রেকর্ড বা বারবার কম্প্রেস করলে তথ্য হারায়।
- পরিভাষা আলাদাভাবে যাচাই করুন। প্রতিটি নাম, সংখ্যা, তারিখ ও সংক্ষিপ্ত রূপ খুঁজে অডিওর সঙ্গে মিলিয়ে দেখুন।
- দুই ধাপে যাচাই করুন। প্রথমে স্বাভাবিক গতিতে ভুল ঠিক করুন। তারপর বানানো লেখার লক্ষণ খুঁজুন, যেমন পুনরাবৃত্ত লাইন, নীরবতার মধ্যে বাক্য বা ‘দেখার জন্য ধন্যবাদ’-এর মতো বিদায়বার্তা। আইনি, চিকিৎসাসংক্রান্ত বা প্রকাশযোগ্য কাজে পুরো লেখা একজনকে দিয়ে যাচাই করান।
নিজের অডিওতে Whisper-এর নির্ভুলতা কীভাবে মাপবেন?
নিজের রেকর্ডিংয়ে 30 মিনিটের পরীক্ষা আপনার কাজের জন্য সবচেয়ে ভালো অনুমান দেবে। এই ধাপগুলো আপনার নিজের পরীক্ষা চালানোর জন্য। এগুলো whispertranscribe.ai-এর পরীক্ষার ফল নয়।
- 2 মিনিটের তিনটি ক্লিপ বেছে নিন যা আসল কাজের মতো। একটি সহজ, একটি সাধারণ, একটি কঠিন।
- প্রতিটি শব্দ শুনে হাতে রেফারেন্স ট্রান্সক্রিপ্ট লিখুন। নিয়ম আগে ঠিক করুন। ‘উম’ রাখবেন কি না বা সংখ্যা অঙ্কে লিখবেন নাকি কথায়।
- প্রতিটি ক্লিপ ট্রান্সক্রাইব করুন যে টুলটি পরীক্ষা করছেন সেটি দিয়ে। সাধারণ টেক্সট হিসেবে রাখুন।
- দুটি লেখাই একইভাবে নরমালাইজ করুন। OpenAI-এর নরমালাইজার
openai-whisper-এর সঙ্গে থাকে। - WER হিসাব করুন jiwer দিয়ে।
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- গুরুত্বপূর্ণ ভুল আলাদা করে গুনুন। মুখের পাঁচটি অভ্যাসের শব্দে ভুল এবং পাঁচজন গ্রাহকের নামে ভুল একই WER দিলেও প্রভাব আলাদা।
- ফল লিখে রাখুন যাতে টুল বা সেটিংস তুলনা করা যায়।
| ক্লিপ | পরিস্থিতি | মূল লেখার শব্দ | S | D | I | WER | গুরুত্বপূর্ণ ভুল |
|---|---|---|---|---|---|---|---|
| ক্লিপ A | শান্ত ঘর, একজন বক্তা | 310 | |||||
| ক্লিপ B | ভিডিও কল, দুজন বক্তা | 285 | |||||
| ক্লিপ C | ক্যাফে, ভিন্ন উচ্চারণের বক্তা | 296 |
শব্দসংখ্যা উদাহরণমাত্র। ধাপ 4-এ একটি বিষয় খেয়াল রাখুন। মূল লেখার লেখকেরা নিজেদের তৈরি একটি বাক্যে OpenAI-এর ইংরেজি নরমালাইজার চালিয়ে দেখেছিলেন, এটি “Dr.” ও “doctor”, “two” ও “2” একই হিসেবে ধরেছে, কিন্তু “9th” ও “ninth”-এর পার্থক্য ভুল হিসেবে গুনেছে। স্কোর গ্রহণের আগে চিহ্নিত পার্থক্য পড়ুন।
whispertranscribe.ai কতটা নির্ভুল?
whispertranscribe.ai Whisper-চালিত ওয়েবভিত্তিক AI ট্রান্সক্রিপশন টুল। এতে 130+ ভাষা এবং 5GB ও 10 ঘণ্টা পর্যন্ত ফাইল আপলোডের সুবিধা আছে। পরিষ্কার অডিওতে নির্ভুলতা 99% পর্যন্ত হতে পারে। ওপরে Whisper-এর নিজস্ব বেঞ্চমার্কে যেমন দেখা গেছে, পেছনের শব্দ, জোরালো উচ্চারণ ও একসঙ্গে কথা নির্ভুলতা কমায়। আমাদের ফল গবেষণাপত্রের সমান বা তার চেয়ে ভালো, এমন দাবি করা হয়নি। নিজস্ব বেঞ্চমার্কও প্রকাশ করা হয়নি। ওপরের ধাপগুলো দিয়ে নিজের ক্লিপ পরীক্ষা করুন।
- Noise / Low-Quality Audio/Video বিকল্প অনেক ভাষার জন্য ভাষা বাছাইয়ের তালিকায় আছে। শোরগোলযুক্ত ফাইলে সাধারণ ও শব্দযুক্ত অডিওর বিকল্প চালিয়ে ফল মিলিয়ে দেখুন।
- 130+ ভাষা, Multilingual Mix বিকল্প এবং অডিও ইংরেজিতে অনুবাদ।
- 5GB ও 10 ঘণ্টা পর্যন্ত ফাইল, বক্তা শনাক্তকরণ ও টাইমস্ট্যাম্প (সব সুবিধা)।
- পরিষ্কার ইনপুট: দরকারি সম্মতি ও প্রযোজ্য ক্ষেত্রে আয়োজকের অনুমতি নিয়ে মাইক কাছে রেখে ব্রাউজারে রেকর্ড করুন। কেবল অডিও আপলোড করতে ভিডিও MP3-তে বদলান।
- এক্সপোর্ট DOCX, PDF, TXT, CSV, SRT ও VTT-তে, এবং সময়মাফিক ক্যাপশনের জন্য সাবটাইটেল তৈরির টুল।
অ্যাকাউন্ট ছাড়াই বিনামূল্যে শুরু করুন। পেইড প্ল্যান বার্ষিক বিলিংয়ে মাসে $9.99 থেকে। দাম দেখুন।
প্রায় জিজ্ঞাসিত প্রশ্ন
Whisper কি 99% নির্ভুল?
সাধারণভাবে এমন দাবি করা যায় না। Whisper-এর সেরা প্রকাশিত ফল LibriSpeech test-clean-এ 2.5% শব্দভুলের হার। পরিষ্কারভাবে পড়া অডিওবুকের এই ডেটাসেটে প্রায় 97.5% শব্দ সঠিক। ফোন কল, মিটিং ও শোরগোলের ঘরের অডিওতে OpenAI-এর হিসাবে WER প্রায় 13% থেকে 40%। যে অডিওতে মাপা হয়েছে তার উল্লেখ থাকলেই ‘99%’ দাবিটি অর্থবহ। whispertranscribe.ai-সহ Whisper-ভিত্তিক টুল নিজের রেকর্ডিং দিয়ে বিচার করুন।
কোন Whisper মডেল সবচেয়ে নির্ভুল?
large মডেলগুলো সবচেয়ে নির্ভুল। OpenAI-এর গবেষণাপত্রে বেশির ভাগ টেস্ট সেটে large-v2-এর ভুলের হার সবচেয়ে কম। large-v3-এর মডেল কার্ডে অনেক ভাষায় large-v2-এর চেয়ে 10% থেকে 20% কম ভুলের কথা আছে। turbo হলো অপ্টিমাইজ করা large-v3, যা OpenAI-এর মতে অনেক দ্রুত কাজের জন্য অল্প নির্ভুলতা ছাড়ে। সবচেয়ে ছোট tiny মডেল কঠিন অডিওতে অনেক কম নির্ভুল। শোরগোলের মধ্যে নৈশভোজে এর WER 48.0%, যেখানে large-v2-এর 24.9%।
Whisper কেন বলা হয়নি এমন শব্দ লেখে?
Whisper অডিও ট্রান্সক্রাইব করার পাশাপাশি সম্ভাব্য লেখা অনুমান করতে প্রশিক্ষিত। OpenAI-এর মডেল কার্ড বলছে, এটি অডিওতে নেই এমন লেখাও তৈরি করতে পারে। দীর্ঘ নীরবতা, সংগীত বা শোরগোলের সময় বেশি হয়। 2023 সালের স্বাধীন গবেষণায় প্রায় 1% ট্রান্সক্রিপ্টে বানানো বাক্যাংশ ছিল এবং বিরতি তা আরও সম্ভাব্য করেছিল। নীরবতা কেটে দেওয়া, ভাষা ঠিক করা ও শান্ত অংশের লেখা যাচাই করলে ঝুঁকি কমে।
বিভিন্ন উচ্চারণে Whisper কতটা নির্ভুল?
Whisper অনেক পুরোনো ব্যবস্থার চেয়ে উচ্চারণ ভালো সামলায়। OpenAI-এর মডেল কার্ড অনুযায়ী একই ভাষায় উচ্চারণ ও উপভাষাভেদে নির্ভুলতা বদলায়। গবেষণাপত্রে আফ্রিকান আমেরিকান ইংরেজির দীর্ঘ সাক্ষাৎকারের (CORAAL) WER 19.6%, যেখানে পূর্ণ TED বক্তৃতায় 3.5%। রেকর্ডিংয়ের অবস্থাও ভিন্ন ছিল। বাস্তব রেকর্ডিংয়ের মতো উচ্চারণের বক্তার ক্লিপ পরীক্ষা করুন। জোরালো উচ্চারণে বেশি যাচাইয়ের সময় রাখুন।
Whisper কি মানুষের ট্রান্সক্রিপশনের মতো নির্ভুল?
ইংরেজিতে Whisper কাছাকাছি আসে। OpenAI 25টি রেকর্ডিংয়ে পাঁচটি পেশাদার পরিষেবার সঙ্গে তুলনা করেছে। একটি কম্পিউটার-সহায়ক পরিষেবার সম্মিলিত WER Whisper-এর চেয়ে 1.15 পয়েন্ট কম এবং চারটি সম্পূর্ণ মানবনির্ভর পরিষেবা এক পয়েন্টের ভগ্নাংশে এগিয়ে। মানুষ সাধারণত নাম, একসঙ্গে বলা কথা ও অস্পষ্ট উচ্চারণ ভালো সামলান। যে লেখা উদ্ধৃত, দাখিল বা প্রকাশ করবেন তা একজনকে দিয়ে রেকর্ডিংয়ের সঙ্গে মিলিয়ে নিন।
ইংরেজি ছাড়া অন্য ভাষায় Whisper কতটা নির্ভুল?
ভাষাভেদে বড় পার্থক্য আছে। Fleurs বেঞ্চমার্কে large-v2-এর WER স্প্যানিশে 3.0%, জার্মানে 4.5% ও ফরাসিতে 8.3%, এবং হিব্রুতে 27.1% ও তেলুগুতে 99.0%। চীনা ও জাপানিতে অক্ষরভুলের হার যথাক্রমে 14.7% ও 5.3%। গবেষণাপত্রে প্রতিটি ভাষার নির্ভুলতার সঙ্গে প্রশিক্ষণের অডিওর পরিমাণের সম্পর্ক দেখা গেছে। প্রশিক্ষণ ডেটা কম এমন ভাষায় আগে ছোট ক্লিপ পরীক্ষা করুন ও সংশোধনে বেশি সময় রাখুন।
নিজের রেকর্ডিংয়ে নির্ভুলতা পরীক্ষা করুন
বেঞ্চমার্ক অন্যদের অডিওর ফল দেখায়। 130+ ভাষার যেকোনো একটির ক্লিপ whispertranscribe.ai-এ আপলোড করে এই নির্দেশিকার ধাপগুলোয় স্কোর করুন। অ্যাকাউন্ট ছাড়া বিনামূল্যে শুরু করুন অথবা প্ল্যানগুলো তুলনা করুন।
সম্পর্কিত নিবন্ধ: Whisper AI কী? · সেরা বিনামূল্যের ট্রান্সক্রিপশন সফটওয়্যার · TurboScribe-এর সেরা বিকল্প · YouTube ভিডিও ট্রান্সক্রাইব করবেন কীভাবে · SRT ফাইল কী? · হার্ড ও সফট সাবটাইটেলের তুলনা
তথ্যসূত্র
- Radford ও সহকর্মীরা, বড় পরিসরের দুর্বল তত্ত্বাবধানে নির্ভরযোগ্য কথার স্বীকৃতি (Whisper গবেষণাপত্র, OpenAI, 2022): ছক 2, 9, 13 ও 16 এবং অনুচ্ছেদ 3 থেকে 6
- OpenAI, GitHub-এ openai/whisper: README-র মডেল তালিকা, turbo সম্পর্কে মন্তব্য এবং ভাষাভিত্তিক WER চার্ট
- OpenAI ও Hugging Face, whisper-large-v3 মডেল কার্ড: large-v3-এর পরিবর্তন, মূল্যায়ন করা ব্যবহার ও সীমাবদ্ধতা
- Koenecke ও সহকর্মীরা, Careless Whisper: কথা থেকে লেখায় বানানো শব্দের ক্ষতি (2024)
- jiwer: WER ও CER-এর ওপেন সোর্স লাইব্রেরি
- Hugging Face, Open ASR Leaderboard: ওপেন স্পিচ মডেলের স্বাধীন ও নিয়মিত হালনাগাদ হওয়া তুলনা
