Whisper AI ဘယ်လောက်တိကျသလဲ။ WER၊ အမှန်တကယ်ကန့်သတ်ချက်နှင့် အကြံပြုချက်များ (2026)

whispertranscribe.ai အယ်ဒီတာအဖွဲ့ · နောက်ဆုံးပြင်ဆင်ချက်: 2026 နိုဝင်ဘာ · ဖတ်ချိန် 13 မိနစ် · အမျိုးအစား: Transcription တိကျမှု

Whisper ဘယ်လောက်တိကျသလဲ။ ရှင်းလင်းစွာ ဖတ်ထားသော အင်္ဂလိပ်အသံတွင် Whisper large-v2 ၏ စကားလုံးအမှားနှုန်း (WER) 2.5% ဖြစ်ကြောင်း OpenAI သုတေသနစာတမ်းက ဖော်ပြသည်။ ဆိုလိုသည်မှာ စကားလုံး 100 တွင် 97 မှ 98 ခန့် မှန်သည်။ ပိုခက်သောအသံများတွင် ရလဒ်ပိုဆိုးသည်။ ဖုန်းခေါ်ဆိုမှုတွင် 13.6%၊ ဆူညံသော ညစာစားပွဲတွင် 24.9%၊ အဝေးရှိ မိုက်တစ်လုံးဖြင့် မှတ်တမ်းတင်ထားသော အစည်းအဝေးတွင် 39.9% ဖြစ်သည်။

Whisper သည် OpenAI ၏ open-source speech recognition model ဖြစ်ပြီး ကျွန်ုပ်တို့၏ app အပါအဝင် transcription app များစွာ၏ အခြေခံဖြစ်သည်။ ဤလမ်းညွှန်သည် တိကျမှုကိုသာ ဖော်ပြသည်။ WER က ဘာတိုင်းသလဲ၊ အသံအမျိုးအစားနှင့် ဘာသာစကားအလိုက် benchmark များက ဘာပြောသလဲ၊ Whisper ဘယ်နေရာတွင် မှားသလဲ၊ ကိုယ်တိုင် ဘယ်လိုစမ်းသပ်မလဲဆိုတာ ပါဝင်သည်။ Model ၏ နောက်ခံအကြောင်း Whisper AI ဆိုတာဘာလဲ တွင် ကြည့်ပါ။

ဂဏန်းအများစုသည် Whisper သုတေသနစာတမ်း (Radford နှင့် ပူးတွဲရေးသားသူများ၊ 2022) မှဖြစ်ပြီး စမ်းသပ်ဒေတာအပေါ် fine-tuning မလုပ်ဘဲ model တစ်ခုစီကို “zero-shot” စမ်းသပ်ခဲ့သည်။ အသစ်ထွက် large-v3 model card တွင် ဘာသာစကားများစွာ၌ large-v2 ထက် အမှား 10% မှ 20% လျော့ကြောင်း ဖော်ပြထားသော်လည်း ဒေတာအစုတစ်ခုချင်းစီအတွက် ဇယားအပြည့်အစုံ မပါပါ။ ဤဆောင်းပါးကို whispertranscribe.ai က ထုတ်ဝေသည်။ ဤလမ်းညွှန်အတွက် ကျွန်ုပ်တို့ benchmark မပြုလုပ်ခဲ့သလို ဤနေရာရှိ ဂဏန်းများသည် ကျွန်ုပ်တို့၏စမ်းသပ်မှုရလဒ် မဟုတ်ပါ။

Whisper တိကျမှုကို အကျဉ်းချုပ်ကြည့်ရန်

စမ်းသပ်ဒေတာအစုတစ်ခုတည်းက အဖြေပြည့်စုံမပေးနိုင်ပါ။ အကြောင်းမှာ အသံအမျိုးအစားက ဂဏန်းကို အများဆုံးပြောင်းလဲစေသည်။ ဇယားတွင် beam search နှင့် temperature fallback အသုံးပြုထားသော large-v2 အတွက် OpenAI ၏ရလဒ်များ (နောက်ဆက်တွဲ Table 9) ကို OpenAI စာသား normalizer ပြီးနောက် အမှတ်ပေးထားသည်။

အသံအမျိုးအစား စာတမ်းရှိ စမ်းသပ်ဒေတာအစု Whisper large-v2 WER မှန်ကန်သော စကားလုံးအကြမ်းဖျင်းအချိုး
Audiobook၊ ရှင်းလင်းစွာဖတ်သူ LibriSpeech test-clean 2.5% 100 တွင် 97.5 ခန့်
ဖတ်ပြထားသော သတင်းစာသား WSJ 2.6% 100 တွင် 97.4 ခန့်
TED ဟောပြောချက်များ TED-LIUM 3 3.7% 100 တွင် 96 ခန့်
Audiobook၊ နားထောင်ရန်ပိုခက်သော ပြောသူများ LibriSpeech test-other 4.9% 100 တွင် 95 ခန့်
အိမ်သုံးမိုက်များဖြင့် စေတနာ့ဝန်ထမ်းများ Common Voice 5.1 8.2% 100 တွင် 92 ခန့်
ဖုန်းစကားပြောဆိုမှုများ Switchboard 13.6% 100 တွင် 86 ခန့်
ရှည်လျားသော လူမှုဘာသာဗေဒ interview များ CORAAL 14.2% 100 တွင် 86 ခန့်
မိသားစုနှင့် သူငယ်ချင်းများ ဖုန်းခေါ်ဆိုမှု CallHome 16.4% 100 တွင် 84 ခန့်
အစည်းအဝေး၊ တစ်ဦးစီ headset မိုက်သုံးထားသည် AMI IHM 17.4% 100 တွင် 83 ခန့်
ညစာစားပွဲများ၊ အဝေးရှိမိုက်များ CHiME-6 24.9% 100 တွင် 75 ခန့်
အစည်းအဝေး၊ စားပွဲပေါ် အဝေးရှိမိုက်တစ်လုံး AMI SDM1 39.9% 100 တွင် 60 ခန့်

“မှန်ကန်သော စကားလုံးအချိုး” သည် 100 မှ WER ကို နုတ်ထားသော အကြမ်းဖျင်းနည်းဖြစ်သည်။ WER သည် ထပ်ထည့်ထားသော စကားလုံးများကိုလည်း တွက်သည်။

2.7% ဟုလည်း မကြာခဏ တွေ့ရနိုင်သည်။ ၎င်းသည် တူညီသော model ကို ပိုရိုးရှင်းသည့် greedy decoding ဖြင့် စမ်းထားသောရလဒ်ဖြစ်သည် (စာတမ်း Table 2)။ AMI အတန်းနှစ်ခုသည် တူညီသောအစည်းအဝေးများကို နည်းနှစ်မျိုးဖြင့် မှတ်တမ်းတင်ထားခြင်းဖြစ်သည်။ မိုက်ကို ပြောသူတစ်ဦးစီ၏ ဦးခေါင်းနားမှ စားပွဲအလယ်သို့ ရွှေ့လိုက်သောအခါ အမှားနှုန်း နှစ်ဆကျော်တိုးသွားသည်။

Word error rate (WER) ဆိုတာဘာလဲ၊ ဘယ်လိုတွက်သလဲ

WER သည် လူကစစ်ဆေးထားသော ရည်ညွှန်းစာသားနှင့် နှိုင်းယှဉ်ရာတွင် transcript မှားသော စကားလုံးအချိုးဖြစ်သည်။ အမှားသုံးမျိုးကို ရေတွက်ပြီး ရည်ညွှန်းစာသား၏ စကားလုံးအရေအတွက်ဖြင့် စားပါ:

WER = (အစားထိုးအမှား + ချန်လှပ်မှု + ထပ်ထည့်မှု) ÷ ရည်ညွှန်းစာသားရှိ စကားလုံးအရေအတွက်

  • အစားထိုးအမှား: မှန်သောစကားလုံးအစား မှားသောစကားလုံး ထည့်ခြင်း (အင်္ဂလိပ် “launch” အစား “lunch” ကဲ့သို့)။
  • ချန်လှပ်မှု: ပြောခဲ့သောစကားလုံး transcript တွင် မပါခြင်း။
  • ထပ်ထည့်မှု: မည်သူမျှ မပြောခဲ့သောစကားလုံး transcript တွင် ပါခြင်း။

အင်္ဂလိပ်မူရင်းဆောင်းပါးတွင် open-source jiwer library ဖြင့် တွက်ချက်ထားသော ကိုယ်တိုင်ဖန်တီးသည့် ဥပမာပါသည်။ အောက်ပါမြန်မာဥပမာသည် တူညီသောတွက်ချက်နည်းကို ပြသရန် စကားလုံးများကို နေရာလွတ်ဖြင့် ခွဲရေးထားခြင်းဖြစ်သည်:

စာကြောင်း စာသား
ရည်ညွှန်းစာသား (22 လုံး) ကျွန်ုပ်တို့ သည် ထုတ်ကုန် အသစ် မိတ်ဆက်ပွဲ ကို မတ်လ ကိုးရက်နေ့ သို့ ရွှေ့လိုက်သည် အကြောင်းမှာ ပေးသွင်းသူ က သတ်မှတ်ရက် နှစ်ခု လွဲခဲ့ပြီး ဒေါက်တာ ပတယ် က စမ်းသပ်မှု အသစ် လိုချင်သည်
Transcript ကျွန်ုပ်တို့ ထုတ်ကုန် အသစ် အခမ်းအနား ကို မတ်လ ကိုးရက်နေ့ သို့ ရွှေ့လိုက်သည် အကြောင်းမှာ ပေးသွင်းသူ က သတ်မှတ်ရက် နှစ်ခု လွဲခဲ့ပြီး ဒေါက်တာ ပါထဲ က စမ်းသပ်မှု အသစ် လိုချင်သည် ယနေ့
အမှားများ အစားထိုးအမှား 2 ခု (အခမ်းအနား၊ ပါထဲ)၊ ချန်လှပ်မှု 1 ခု (သည်)၊ ထပ်ထည့်မှု 1 ခု (ယနေ့)
WER 4 ÷ 22 = 18.2%

WER အကြောင်း လူအများ မှားနားလည်နိုင်သည့် အချက်သုံးခု:

  1. 100% ထက် ကျော်နိုင်သည်။ ထပ်ထည့်ထားသော စကားလုံးများအတွက် အထက်ကန့်သတ်ချက် မရှိပါ။ စာတမ်း၏ Fleurs ရလဒ်များတွင် လေ့ကျင့်ဒေတာနည်းသော ဘာသာစကားအချို့သည် 100% ကျော်ရှိသည်။
  2. Normalization က အမှတ်ကို ပြောင်းစေသည်။ စာသားနှစ်ခုကို တူညီစွာ မရှင်းလင်းလျှင် “Dr.” နှင့် “doctor” သည် အမှားအဖြစ် တွက်မည်။ အများအားဖြင့် ပုံစံကွာခြားချက်များ ဖယ်ရှားခြင်းကြောင့် ဒေတာအစုအချို့တွင် ၎င်းတို့၏ normalizer က WER ကို 50% အထိ လျှော့ခဲ့သည်ဟု OpenAI ကဆိုသည်။
  3. ဘာသာစကားအချို့တွင် character error rate (CER) သုံးသည်။ တရုတ်၊ ဂျပန်၊ ထိုင်း၊ လာအိုနှင့် မြန်မာဘာသာများတွင် စကားလုံးများကို space ဖြင့် မခွဲသောကြောင့် စာတမ်းက အက္ခရာများကို တွက်သည်။

ကျွန်ုပ်တို့အပါအဝင် မည်သူဆိုစေ စမ်းသပ်ဒေတာအစုနှင့် အမှတ်ပေးနည်း မသတ်မှတ်ထားသော တိကျမှုအဆိုသည် တိုင်းတာချက် မဟုတ်ပါ။

အင်္ဂလိပ်ဘာသာတွင် Whisper ဘယ်လောက်တိကျသလဲ

Whisper သည် ရှင်းလင်းသော အင်္ဂလိပ်တွင် အလွန်တိကျပြီး ရှုပ်ထွေးသော အင်္ဂလိပ်တွင်လည်း အသုံးပြုနိုင်သည်။ စာတမ်းတွင် LibriSpeech ရမှတ် နီးပါးတူသော supervised wav2vec 2.0 model ထက် အခြားအင်္ဂလိပ်ဒေတာအစု 12 ခုတွင် အမှား 55.2% လျော့ခဲ့သည်။

မှတ်တမ်းရှည်များ

Whisper သည် အသံကို 30 စက္ကန့် window များဖြင့် ဖတ်သောကြောင့် စာတမ်းတွင် ဖိုင်ရှည်များကို သီးခြားစမ်းသပ်ထားသည် (နောက်ဆက်တွဲ Table 16၊ large-v2):

ရှည်လျားသောအသံ စမ်းသပ်ဒေတာအစု ပါဝင်သည့်အရာ WER
TED-LIUM 3 TED ဟောပြောချက် အပြည့် 11 ခု 3.5%
Meanwhile မထူးမခြားမဟုတ်သောစကားလုံးများစွာပါသည့် ညပိုင်း TV အပိုင်း 64 ခု 5.1%
Kincaid46 2018 နှိုင်းယှဉ်မှုမှ ရောနှောထားသောမှတ်တမ်း 46 ခု 8.8%
Earnings-21 ကုမ္ပဏီဝင်ငွေရှင်းလင်းပွဲ ဖုန်းခေါ်ဆိုမှုများ 9.7%
Rev16 Podcast အပိုင်း 16 ခု 11.3%
Earnings-22 လေယူလေသိမ်းမျိုးစုံပါသော ဝင်ငွေရှင်းလင်းပွဲခေါ်ဆိုမှုများ 12.6%
CORAAL African American English ဖြင့် interview အပြည့် 231 ခု 19.6%

Whisper နှင့် လူသား transcription လုပ်သူများ

OpenAI သည် Kincaid46 မှ မှတ်တမ်း 25 ခုကို လူသားဝန်ဆောင်မှုလေးခုနှင့် ကွန်ပျူတာအကူအညီသုံး ဝန်ဆောင်မှုတစ်ခုဖြင့် transcription လုပ်စေခဲ့သည်။ ကွန်ပျူတာအကူအညီသုံးဝန်ဆောင်မှုက Whisper ထက် 1.15 ရာခိုင်နှုန်းပွိုင့် ပိုကောင်းပြီး လူသားသီးသန့်ဝန်ဆောင်မှုများက ပွိုင့်၏အစိတ်အပိုင်းအနည်းငယ်သာ ပိုကောင်းခဲ့သည်။ စာတမ်း၏ကောက်ချက်မှာ ပြည့်စုံမှုမရှိသော်လည်း လူသားအဆင့်တိကျမှုနှင့် အလွန်နီးစပ်သည်။

Model အရွယ်အစားသည် အရေးကြီးသည်

Whisper တွင် အရွယ်အစားများစွာရှိပြီး app များက မည်သည့် model ကို သုံးသည်ကို အမြဲမပြောပါ (နောက်ဆက်တွဲ Table 9):

Model Parameter များ LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

အသံပိုခက်လာသောအခါ ကွာဟမှုကြီးလာသည်။ ရှင်းလင်းသော audiobook တွင် 4 ပွိုင့်ခန့်၊ ညစာစားပွဲတွင် 23 ပွိုင့် ဖြစ်သည်။ အသစ်ထွက် turbo model သည် အမြန်နှုန်းပိုရရန် ပိုမိုကောင်းမွန်အောင်ပြင်ထားသော large-v3 ဖြစ်ပြီး OpenAI ၏ GitHub README အရ တိကျမှု အနည်းငယ်ကျဆင်းမှုကို လက်ခံထားသည်။

အခြားဘာသာစကားများတွင် Whisper ဘယ်လောက်တိကျသလဲ

အင်္ဂလိပ်ပြင်ပတွင် တိကျမှုသည် ထိုဘာသာစကားဖြင့် Whisper လေ့ကျင့်ခဲ့သည့် အသံပမာဏအပေါ် အများဆုံးမူတည်သည်။ စာတမ်းတွင် log လေ့ကျင့်နာရီနှင့် log WER အကြား squared correlation 0.83 တွေ့ရှိပြီး ဒေတာ 16 ဆတိုးတိုင်း WER ထက်ဝက်ကျမည်ဟု ခန့်မှန်းထားသည်။ အင်္ဂလိပ်မဟုတ်သော ဘာသာစကား 96 ခုအနက် အများစုတွင် နာရီ 1,000 ထက်နည်းသည်။

ရွေးချယ်ထားသော Fleurs ရလဒ်များ (ဖတ်ထားသောဝါကျများ၊ large-v2၊ နောက်ဆက်တွဲ Table 13):

ဘာသာစကား Fleurs WER မှတ်ချက်
စပိန် 3.0% ဇယားတွင် အနိမ့်ဆုံး
အင်္ဂလိပ် 4.2%
ပေါ်တူဂီ 4.3%
ဂျာမန် 4.5%
ဂျပန် 5.3% အက္ခရာအမှားနှုန်း
ရုရှား 5.6%
ပြင်သစ် 8.3%
ကိုရီးယား 14.3% ထူးခြားကွဲပြားသောရလဒ်အဖြစ် မှတ်သားထားသည်
တရုတ် 14.7% အက္ခရာအမှားနှုန်း
အာရဗီ 16.0%
ဟိန္ဒီ 21.5%
ဟီးဘရူး 27.1% ထူးခြားကွဲပြားသောရလဒ်အဖြစ် မှတ်သားထားသည်
ဆွာဟီလီ 39.3%
တယ်လူဂူ 99.0% ထူးခြားကွဲပြားသောရလဒ်အဖြစ် မှတ်သားထားသည်

ဟီးဘရူး၊ တယ်လူဂူ၊ တရုတ်နှင့် ကိုရီးယားတို့သည် လေ့ကျင့်ဒေတာအရ ခန့်မှန်းထားသည်ထက် ပိုဆိုးကြောင်း စာတမ်းက မှတ်သားထားသည်။ ဘာသာစကားအကွာအဝေး၊ ထိုစာလုံးစနစ်များနှင့် မကိုက်ညီသော tokenizer သို့မဟုတ် ဒေတာအရည်အသွေးကြောင့် ဖြစ်နိုင်သည်။ Fleurs သည် ဖတ်ထားသောပြောသံဖြစ်သဖြင့် စကားပြောဆိုမှုတွင် အမှားပိုများနိုင်သည်။ README တွင် Common Voice 15 နှင့် Fleurs အတွက် large-v3 နှင့် large-v2 ၏ ပိုသစ်သောဇယား ပါသည်။

စပိန်အသံကို စာသားသို့ transcription လုပ်ရန် စိတ်ဝင်စားသူများအတွက် စပိန်ရလဒ်သည် အားတက်စရာဖြစ်သည်။ ဒေတာအရင်းအမြစ်နည်းသောဘာသာများတွင် စီမံကိန်းတစ်ခုလုံး မစမီ ကလစ်တို စမ်းပါ။

Whisper တိကျမှုကို ဘာတွေ သက်ရောက်စေသလဲ

မှတ်တမ်းတင်သည့်အခြေအနေသည် အရေးအကြီးဆုံးဖြစ်သည်။ စာတမ်းနှင့် model card မှ အထောက်အထားများ:

အချက် အထောက်အထားက ပြသသည် လုပ်သင့်သည်
နောက်ခံဆူညံသံ 10 dB signal-to-noise ratio ထက်နိမ့်သော အရက်ဆိုင်ဆူညံသံတွင် Whisper သည် နှိုင်းယှဉ်ထားသော model 14 ခုလုံးထက် ကောင်းသော်လည်း ဆူညံသံတိုးသောအခါ model အားလုံး ပိုဆိုးလာသည် ပန်ကာ၊ ဂီတနှင့်ဝေးသော တိတ်ဆိတ်သည့်အခန်းတွင် မှတ်တမ်းတင်ပါ
မိုက်နှင့်အကွာအဝေး တူညီသော AMI အစည်းအဝေးများ: headset မိုက်တွင် 17.4%၊ စားပွဲမိုက်တစ်လုံးတွင် 39.9% ပြောနေသူနှင့် မိုက်ကို နီးအောင်ထားပါ
စကားပြောဆိုမှုနှင့် တစ်ပြိုင်နက်ပြောခြင်း ဖုန်းနှင့် ညစာစားပွဲများတွင် 13.6% မှ 24.9%၊ ဖတ်ထားသောပြောသံတွင် 2.5% တစ်ကြိမ်တစ်ဦးသာပြောပါ။ ပြောသူတစ်ဦးလျှင် မိုက်တစ်လုံးသုံးပါ
လေယူလေသိမ်းနှင့် ဒေသသုံးစကား လေယူလေသိမ်းနှင့် ဒေသသုံးစကားများတွင် တိကျမှုမညီဟု model card က ဖော်ပြသည်။ CORAAL interview ရှည်များတွင် 19.6% သင့်မှတ်တမ်းများတွင် ပါမည့်ပြောသူများနှင့် ဆင်တူသူများဖြင့် စမ်းပါ
ရှားပါးစကားလုံးနှင့် အထူးပြုဝေါဟာရ အထူးပြုစကားလုံးများသော Meanwhile တွင် ကောင်းသည် (5.1%)။ သို့သော် အမည်နှင့် နည်းပညာစကားလုံးများ မှားလေ့ရှိသည် အမည်နှင့် ဝေါဟာရများကို စာရင်းနှင့်တိုက်စစ်ပါ
ဘာသာစကားအရင်းအမြစ် Fleurs WER သည် 3.0% (စပိန်) မှ 99.0% (တယ်လူဂူ) အထိ ဖြစ်သည် ဘာသာစကားကို ကိုယ်တိုင်ရွေးပြီး အရင်းအမြစ်နည်းသောဘာသာများအတွက် စစ်ဆေးချိန်ပိုထားပါ
Model အရွယ်အစား CHiME-6 တွင် tiny 48.0%၊ large-v2 24.9% Tool က ဘယ် model သုံးသလဲ မေးပါ သို့မဟုတ် ရနိုင်သည့်အကြီးဆုံးကို သုံးပါ
ဖိုင်ပုံစံနှင့် sample rate Whisper code သည် အသံအားလုံးကို 16 kHz mono သို့ resample လုပ်သည် ကြည်လင်သော 16 kHz ဖိုင်ထက် 48 kHz WAV က ပိုအကျိုးမရှိပါ

MP3 ကို WAV အကြီးဖိုင်သို့ပြောင်းခြင်းက ပျောက်ဆုံးပြီးသားအသေးစိတ်ကို ပြန်မရစေပါ။ အလယ်အလတ် bitrate ဖြင့် ရှင်းလင်းသောမှတ်တမ်းသည် မြင့်သော bitrate ဖြင့် ဆူညံသောမှတ်တမ်းထက် ပိုကောင်းသည်။

Whisper ၏ သိထားသောပြဿနာများ: hallucination၊ ထပ်ခါတလဲလဲထွက်ခြင်းနှင့် timestamp

ဤချို့ယွင်းမှုတစ်မျိုးစီကို OpenAI က မှတ်တမ်းတင်ထားပြီး WER တွင် ပါဝင်သည့်အချိုးထက် ပိုအရေးကြီးနိုင်သည်။

မပြောခဲ့သောစာသားကို ဖန်တီးထွက်ခြင်း

Whisper သည် မည်သူမျှ မပြောခဲ့သော စကားလုံးများကို ရေးနိုင်သည်။ Model card အရ အမှန်တကယ် အသံတွင် မပြောခဲ့သောစာသားများ ပါလာနိုင်သည်။ Model က နောက်တွင်လာနိုင်သည့် စကားလုံးများကိုလည်း ခန့်မှန်းသောကြောင့် ဖြစ်နိုင်သည်။ စာတမ်း၏ ကန့်သတ်ချက်အပိုင်းတွင် အသံနှင့် မသက်ဆိုင်သော အပြည့်အဝ hallucination ကိုပင် ဖော်ပြထားသည်။

သီးခြား Careless Whisper လေ့လာမှု (Koenecke နှင့် ပူးတွဲရေးသားသူများ၊ 2024) သည် 2023 ဧပြီနှင့် မေတွင် OpenAI Whisper API မှတစ်ဆင့် အသံအပိုင်း 13,140 ခုကို စမ်းသပ်ခဲ့သည်။ Transcription များ၏ 1% ခန့် (ပျမ်းမျှ 1.4%) တွင် လုံးဝဖန်တီးထားသော စကားစု သို့မဟုတ် ဝါကျများ ပါခဲ့ပြီး ၎င်းတို့အနက် 38% တွင် အကြမ်းဖက်မှု သို့မဟုတ် မှားယွင်းစွာ ဆက်စပ်ဖော်ပြခြင်းကဲ့သို့ အန္တရာယ်ရှိအကြောင်းအရာ ပါခဲ့သည်။ ခေတ္တရပ်နားချိန်ပိုရှည်သော ပြောသူများ၊ ဤနေရာတွင် aphasia ရှိသူများ၌ ပိုဖြစ်ခဲ့သည်။ ထိုအချိန်နောက်ပိုင်း API ပြောင်းလဲသွားသောကြောင့် ၎င်းကို 2023 တိုင်းတာချက်အဖြစ်သာ သဘောထားပါ။

စာသားထပ်တလဲလဲထွက်ခြင်းနှင့် စကားလုံးကျန်ခဲ့ခြင်း

Whisper သည် ထပ်ခါတလဲလဲ စာသားထုတ်လေ့ရှိပြီး beam search နှင့် temperature scheduling တို့က လျှော့ချသော်လည်း လုံးဝမဖယ်ရှားနိုင်ဟု model card ကဆိုသည်။ အသံအပိုင်းတစ်ခု၏ ပထမ သို့မဟုတ် နောက်ဆုံးစကားလုံး ကျော်သွားခြင်းကိုလည်း စာတမ်းက ဖော်ပြသည်။ Decoding ပြင်ဆင်ချက်များကြောင့် အသံရှည်၏ ပျမ်းမျှ WER သည် 11.0% မှ 10.0% သို့ လျော့ခဲ့သည်။ ပိုကောင်းလာသော်လည်း အပြီးသတ်ဖြေရှင်းပြီး မဟုတ်ပါ။

တိတ်ဆိတ်မှု၊ ဂီတနှင့် ဖြည့်စကားများ

တိတ်ဆိတ်ချိန်ရှည်နှင့် ဂီတတွင် မပြောခဲ့သောစာသား ပေါ်လာတတ်သည်။ Whisper ကိုယ်ပိုင် “no speech” signal တစ်ခုတည်းကို အားမကိုးနိုင်ကြောင်း စာတမ်းက တွေ့ရှိခဲ့ပြီး hallucination ဖြစ်နိုင်ကြောင်း သိရှိလျှင် တိတ်ဆိတ်ချိန်ရှည်များကို ကျော်ရန် open-source code တွင် ရွေးချယ်စရာ ရှိနေပြီဖြစ်သည်။

Timestamp ရွေ့လျားခြင်းနှင့် ဖိုင်ရှည်များ

Whisper သည် အသံရှည်ကို တစ်ကြိမ် 30 စက္ကန့် window ဖြင့် ဆက်တိုက်လုပ်ဆောင်ပြီး နောက် window သတ်မှတ်ရန် ၎င်းကိုယ်တိုင်ခန့်မှန်းထားသော timestamp များကို အသုံးပြုသည်။ ထို့ကြောင့် window တစ်ခု၏အမှားသည် နောက်တစ်ခုသို့ ဆက်ကူးနိုင်သည်ဟု စာတမ်းက မှတ်ချက်ပြုသည်။ စကားလုံးအဆင့် timestamp များကို code တွင် “experimental” ဟု သတ်မှတ်ထားသည်။ Subtitle အတွက် ခေတ္တရပ်နားချိန်ပတ်ဝန်းကျင်ရှိ အချိန်ကို စစ်ပါ။

ဖွံ့ဖြိုးစဉ် Whisper သည် ပြောသူအမည်များကို ခန့်မှန်းပြီး ထိုအမည်များသည် အမြဲလိုလို မှားကြောင်းလည်း OpenAI တွေ့ရှိခဲ့သည်။ ထုတ်ဝေထားသော model များကို ၎င်းလျော့ချရန် fine-tune လုပ်ထားသော်လည်း စာသားထဲရှိ အမည်တိုင်းကို စစ်ပါ။

Whisper transcription တိကျမှု မြှင့်တင်ရန် နည်း 10 ခု

အများဆုံးတိုးတက်မှုသည် transcription စတင်ရန်ခလုတ် မနှိပ်မီ ရလာသည်။ အကျိုးအများဆုံးမှ အနည်းဆုံးသို့ အကြမ်းဖျင်းအစဉ်:

  1. မိုက်ခရိုဖုန်းကို နီးအောင်ထားပါ။ AMI အစည်းအဝေးများတွင် အကွာအဝေးတစ်ခုတည်းက အမှားနှုန်းကို နှစ်ဆကျော်တိုးစေသည်။
  2. ဆူညံသံကို အရင်းအမြစ်မှာ လျှော့ပါ။ ပြတင်းပေါက်ပိတ်ပါ၊ ပန်ကာပိတ်ပါ၊ ဂီတရပ်ပါ။
  3. တစ်ပြိုင်နက်ပြောခြင်းကို ရှောင်ပါ။ တစ်ကြိမ်တစ်ဦးသာ ပြောခြင်းသည် setting မည်သည့်အရာထက်မဆို ပိုကောင်းသည်။
  4. တိတ်ဆိတ်ချိန်ရှည်နှင့် ဂီတနိဒါန်းကို ဖြတ်ပါ။ ထိုနေရာတွင် မပြောခဲ့သောစာသားများ မကြာခဏ ပေါ်လာသည်။ ဝါကျအလယ်မဟုတ်ဘဲ ခေတ္တရပ်နားချိန်တွင် ဖြတ်ပါ။
  5. ဘာသာစကားကို ကိုယ်တိုင်သတ်မှတ်ပါ။ Fleurs ဘာသာစကား 82 ခုတွင် Whisper က 80.3% ကို မှန်ကန်စွာ ခွဲခြားခဲ့သဖြင့် ကလစ်တို သို့မဟုတ် လေယူလေသိမ်းပြင်းသောကလစ်တွင် အလိုအလျောက်ရှာဖွေမှု မှားနိုင်သည်။
  6. ရနိုင်သော အကြီးဆုံး model ကို သုံးပါ၊ အထူးသဖြင့် ဆူညံသောမှတ်တမ်းများအတွက်။
  7. ကိုယ်တိုင် host လုပ်လျှင် အမည်နှင့်ဝေါဟာရများကို prompt တွင်ပေးပါ။ Open-source Whisper သည် မျှော်လင့်ထားသော စာလုံးပေါင်းများပါသည့် --initial_prompt ကို လက်ခံသည်။
  8. မူရင်းဖိုင်ကို တင်ပါ။ စပီကာမှတစ်ဆင့် ပြန်မှတ်တမ်းတင်ခြင်း သို့မဟုတ် ထပ်ခါထပ်ခါ compress လုပ်ခြင်းက အသေးစိတ်များ ဆုံးရှုံးစေသည်။
  9. ဝေါဟာရစစ်ဆေးမှု လုပ်ပါ။ အမည်၊ ကိန်းဂဏန်း၊ ရက်စွဲနှင့် အတိုကောက်တိုင်းကို ရှာပြီး အသံနှင့်တိုက်စစ်ပါ။
  10. နှစ်ကြိမ်ခွဲစစ်ပါ။ ပထမ ပုံမှန်အမြန်နှုန်းဖြင့် အမှားပြင်ပါ။ ထို့နောက် ထပ်နေသောစာကြောင်း၊ တိတ်ဆိတ်ချိန်တွင် ပေါ်သောဝါကျ၊ “ကြည့်ရှုပေးသည့်အတွက် ကျေးဇူးတင်ပါတယ်” ကဲ့သို့ အဆုံးသတ်စကားများကို စစ်ပါ။ ဥပဒေ၊ ဆေးဘက် သို့မဟုတ် ထုတ်ဝေရန်အလုပ်တွင် လူတစ်ဦးက အားလုံးစစ်သင့်သည်။

ကိုယ်ပိုင်အသံတွင် Whisper တိကျမှု တိုင်းတာနည်း

သင့်လုပ်ငန်းအတွက် အကောင်းဆုံးခန့်မှန်းချက်မှာ ကိုယ်ပိုင်မှတ်တမ်းများပေါ်တွင် 30 မိနစ် စမ်းသပ်ခြင်းဖြစ်သည်။ ဤအဆင့်များသည် သင်ကိုယ်တိုင် လုပ်ဆောင်ရန်ဖြစ်ပြီး whispertranscribe.ai ၏စမ်းသပ်မှု မဟုတ်ပါ။

  1. 2 မိနစ်ကလစ် သုံးခုရွေးပါ။ သင့်အလုပ်နှင့်တူသည့် လွယ်သော၊ ပုံမှန်နှင့် ခက်သောကလစ် တစ်ခုစီ။
  2. ရည်ညွှန်း transcript ကို လက်ဖြင့်ရေးပါ၊ စကားလုံးတစ်လုံးချင်းစီ ရေးပါ။ “အင်း” စသည့် ဖြည့်စကားများ ထားမလား ဖယ်မလား၊ ကိန်းဂဏန်းကို ဂဏန်းဖြင့်လား စာလုံးဖြင့်လား အရင်ဆုံးဖြတ်ပါ။
  3. စမ်းသပ်မည့် tool ဖြင့် ကလစ်တစ်ခုစီကို transcription လုပ်ပြီး ရိုးရိုးစာသားအဖြစ် သိမ်းပါ။
  4. စာသားနှစ်ခုကို တူညီစွာ normalize လုပ်ပါ။ OpenAI normalizer သည် openai-whisper နှင့်အတူ ပါသည်။
  5. jiwer ဖြင့် WER တွက်ပါ:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. အရေးကြီးသောအမှားများကို သီးခြားရေတွက်ပါ။ ဖြည့်စကားမှား 5 ခုနှင့် ဖောက်သည်အမည်မှား 5 ခုသည် WER တူသော်လည်း ပြဿနာတူမဟုတ်ပါ။
  2. Tool သို့မဟုတ် setting များ နှိုင်းယှဉ်နိုင်ရန် ရလဒ်များကို မှတ်တမ်းတင်ပါ:
ကလစ် အခြေအနေများ ရည်ညွှန်းစာသား စကားလုံး S D I WER အရေးကြီးအမှားများ
ကလစ် A တိတ်ဆိတ်သောအခန်း၊ ပြောသူတစ်ဦး 310
ကလစ် B ဗီဒီယိုခေါ်ဆိုမှု၊ ပြောသူနှစ်ဦး 285
ကလစ် C ကဖေး၊ လေယူလေသိမ်းရှိသော ပြောသူ 296

စကားလုံးအရေအတွက်များသည် ဥပမာသာဖြစ်သည်။ အဆင့် 4 အတွက် သတိပြုရန်: အင်္ဂလိပ်မူရင်းဆောင်းပါးအဖွဲ့က ကိုယ်တိုင်ဖန်တီးထားသော ဝါကျတစ်ခုတွင် OpenAI အင်္ဂလိပ် normalizer ကို စမ်းရာ “Dr.” နှင့် “doctor”၊ “two” နှင့် “2” ကို တူညီစွာတွက်သော်လည်း “9th” နှင့် “ninth” ကို အမှားအဖြစ် တွက်နေဆဲဖြစ်ကြောင်း ဖော်ပြထားသည်။ အမှတ်ကို မယုံမီ သတ်မှတ်ထားသော ကွာခြားချက်များကို ဖတ်ပါ။

whispertranscribe.ai ဘယ်လောက်တိကျသလဲ

whispertranscribe.ai သည် Whisper အသုံးပြုသော browser-based AI transcription tool ဖြစ်ပြီး 130+ ဘာသာစကားနှင့် အများဆုံး 5GB၊ 10 နာရီ upload ကို ပံ့ပိုးသည်။ ကြည်လင်သောအသံတွင် တိကျမှု အများဆုံး 99% အထိရနိုင်သည်။ အထက်ပါ Whisper benchmark များပြသသကဲ့သို့ နောက်ခံဆူညံသံ၊ လေယူလေသိမ်းပြင်းခြင်းနှင့် တစ်ပြိုင်နက်ပြောခြင်းတို့က လျော့စေသည်။ စာတမ်း၏ဂဏန်းများနှင့် တူသည် သို့မဟုတ် ပိုကောင်းသည်ဟု ကျွန်ုပ်တို့ မဆိုပါ။ ကိုယ်ပိုင် benchmark ကိုလည်း မထုတ်ပြန်ထားသောကြောင့် အထက်ပါအဆင့်များဖြင့် သင့်ကလစ်များကို စမ်းပါ။

အကောင့်မလိုဘဲ အခမဲ့စတင်နိုင်သည်။ နှစ်အလိုက် ဘီလ်တွက်သော အခပေးအစီအစဉ်များ $9.99/လ မှ စသည်။ ဈေးနှုန်းကြည့်ပါ။

မေးလေ့ရှိသော မေးခွန်းများ

Whisper က 99% တိကျသလား

ယေဘုယျအားဖြင့် မဟုတ်ပါ။ Whisper ၏ ထုတ်ပြန်ထားသော အကောင်းဆုံးရလဒ်သည် ရှင်းလင်းစွာဖတ်ထားသော audiobook များပါသည့် LibriSpeech test-clean တွင် word error rate 2.5% ဖြစ်ပြီး စကားလုံး 97.5% ခန့် မှန်သည်ဟု အကြမ်းဖျင်းဆိုနိုင်သည်။ ဖုန်းခေါ်ဆိုမှု၊ အစည်းအဝေးနှင့် ဆူညံသည့်အခန်းများတွင် OpenAI ၏ဂဏန်းများသည် WER 13% မှ 40% ခန့်ရှိသည်။ “99%” ဟုဆိုလျှင် မည်သည့်အသံပေါ် တိုင်းတာထားသည်ကို ဖော်ပြမှသာ အဓိပ္ပာယ်ရှိသည်။ whispertranscribe.ai အပါအဝင် Whisper အခြေပြု tool များကို ခေါင်းစဉ်ရာခိုင်နှုန်းအစား သင့်မှတ်တမ်းများပေါ်တွင် အကဲဖြတ်ပါ။

ဘယ် Whisper model က အတိကျဆုံးလဲ

Model အကြီးများက အတိကျဆုံးဖြစ်သည်။ OpenAI စာတမ်းတွင် large-v2 သည် စမ်းသပ်ဒေတာအစုအများစု၌ အမှားအနည်းဆုံးဖြစ်ပြီး large-v3 model card က ဘာသာစကားများစွာတွင် large-v2 ထက် အမှား 10% မှ 20% လျော့သည်ဟု ဖော်ပြသည်။ Turbo သည် ပိုမိုကောင်းမွန်အောင်ပြင်ထားသော large-v3 ဖြစ်ပြီး အမြန်နှုန်းအများကြီးတိုးရန် တိကျမှုအနည်းငယ်သာ လျော့ကြောင်း OpenAI ကဆိုသည်။ အသေးဆုံး tiny သည် ခက်သောအသံတွင် ပိုမိုတိကျမှုနည်းသည်။ ဆူညံသော ညစာစားပွဲတွင် WER 48.0% ဖြစ်ပြီး large-v2 သည် 24.9% ဖြစ်သည်။

မပြောခဲ့သော စကားလုံးတွေကို Whisper ဘာကြောင့်ရေးသလဲ

Whisper ကို အသံ transcription လုပ်ရုံသာမက ဖြစ်နိုင်သောစာသားကိုပါ ခန့်မှန်းရန် လေ့ကျင့်ထားသောကြောင့် hallucination ဖြစ်နိုင်သည်။ အသံထဲမရှိသော စာသားထွက်နိုင်သည်ဟု OpenAI model card က သတိပေးသည်။ တိတ်ဆိတ်ချိန်ရှည်၊ ဂီတ သို့မဟုတ် ဆူညံသံတွင် ပိုဖြစ်တတ်သည်။ 2023 သီးခြားလေ့လာမှုတစ်ခုတွင် transcription များ၏ 1% ခန့်၌ ဖန်တီးထွက်သော စကားစုများ တွေ့ရှိခဲ့ပြီး ခေတ္တရပ်နားမှုကြောင့် ပိုဖြစ်နိုင်သည်။ တိတ်ဆိတ်ချိန်ဖြတ်ခြင်း၊ ဘာသာစကားသတ်မှတ်ခြင်းနှင့် တိတ်ဆိတ်သောအပိုင်းများကို စစ်ခြင်းက အန္တရာယ်လျော့စေသည်။

လေယူလေသိမ်းရှိသောအသံတွင် Whisper ဘယ်လောက်တိကျသလဲ

Whisper သည် ယခင်စနစ်များစွာထက် လေယူလေသိမ်းကို ပိုကောင်းစွာ ကိုင်တွယ်သော်လည်း အားလုံးတွင် တူညီမှုမရှိပါ။ ဘာသာစကားတစ်မျိုးတည်း၏ လေယူလေသိမ်းနှင့် ဒေသသုံးစကားများတွင် တိကျမှုကွာသည်ဟု OpenAI model card ကဆိုသည်။ စာတမ်းတွင် African American English interview ရှည်များ (CORAAL) သည် WER 19.6% ဖြစ်ပြီး TED ဟောပြောချက်အပြည့်များတွင် 3.5% ဖြစ်သည်။ သို့သော် မှတ်တမ်းတင်အခြေအနေများလည်း မတူပါ။ ယုံကြည်ရသောနည်းမှာ သင့်မှတ်တမ်းများနှင့် ဆင်တူသောပြောသူ၏ ကလစ်ကို စမ်းပြီး လေယူလေသိမ်းပြင်းလျှင် စစ်ဆေးချိန်ပိုထားခြင်းဖြစ်သည်။

Whisper သည် လူသား transcription လုပ်သူနှင့် တိကျမှုတူသလား

အင်္ဂလိပ်တွင် နီးစပ်သော်လည်း အကောင်းဆုံးကို မမီပါ။ OpenAI က မှတ်တမ်း 25 ခုတွင် ပရော်ဖက်ရှင်နယ်ဝန်ဆောင်မှု 5 ခုနှင့် နှိုင်းယှဉ်ခဲ့သည်။ ကွန်ပျူတာအကူအညီသုံး ဝန်ဆောင်မှု၏ စုစုပေါင်း WER သည် Whisper ထက် 1.15 ပွိုင့် လျော့ပြီး လူသားသီးသန့်ဝန်ဆောင်မှု 4 ခုက ပွိုင့်၏အစိတ်အပိုင်းအနည်းငယ် ပိုကောင်းခဲ့သည်။ အမည်၊ တစ်ပြိုင်နက်ပြောခြင်းနှင့် မရှင်းသောပြောသံများကို လူက ပိုကောင်းစွာ ကိုင်တွယ်တတ်သည်။ ကိုးကား၊ တင်သွင်း သို့မဟုတ် ထုတ်ဝေမည့်အကြောင်းအရာတွင် လူတစ်ဦးက transcript ကို မှတ်တမ်းနှင့် တိုက်စစ်သင့်သည်။

အင်္ဂလိပ်မဟုတ်သော ဘာသာစကားများတွင် Whisper ဘယ်လောက်တိကျသလဲ

ဘာသာစကားအလိုက် အလွန်ကွာခြားသည်။ Fleurs benchmark တွင် large-v2 သည် စပိန် 3.0% WER၊ ဂျာမန် 4.5%၊ ပြင်သစ် 8.3% ရရှိသော်လည်း ဟီးဘရူးတွင် 27.1%၊ တယ်လူဂူတွင် 99.0% ဖြစ်သည်။ တရုတ်နှင့် ဂျပန်ကို character error rate ဖြင့် တိုင်းထားပြီး 14.7% နှင့် 5.3% ဖြစ်သည်။ ဘာသာစကားတစ်ခုစီ၏ လေ့ကျင့်အသံပမာဏနှင့် တိကျမှု ဆက်စပ်ကြောင်း စာတမ်းက တွေ့ရှိသည်။ အရင်းအမြစ်နည်းသောဘာသာများတွင် ကလစ်တိုကို အရင်စမ်းပြီး ပြင်ဆင်ချိန်ပိုထားပါ။

ကိုယ်ပိုင်မှတ်တမ်းတွင် တိကျမှုကို စမ်းပါ

Benchmark များသည် အခြားသူများ၏အသံကို ဖော်ပြခြင်းဖြစ်သည်။ 130+ ဘာသာစကားတစ်ခုခုဖြင့် ကလစ်တစ်ခုကို whispertranscribe.ai သို့တင်ပြီး ဤလမ်းညွှန်ပါအဆင့်များဖြင့် အမှတ်တွက်ပါ။ အကောင့်မလိုဘဲ အခမဲ့စတင်ပါ သို့မဟုတ် အစီအစဉ်များ နှိုင်းယှဉ်ပါ။

ဆက်စပ်ဆောင်းပါးများ: Whisper AI ဆိုတာဘာလဲ · အကောင်းဆုံး အခမဲ့ transcription software · အကောင်းဆုံး TurboScribe အစားထိုးရွေးချယ်စရာများ · YouTube ဗီဒီယို transcription လုပ်နည်း · SRT ဖိုင်ဆိုတာဘာလဲ · Hard နှင့် soft subtitle

ကိုးကားချက်များ

  • Radford နှင့် ပူးတွဲရေးသားသူများ၊ Robust Speech Recognition via Large-Scale Weak Supervision (Whisper စာတမ်း၊ OpenAI၊ 2022): Table 2၊ 9၊ 13၊ 16 နှင့် အပိုင်း 3 မှ 6
  • OpenAI၊ GitHub ရှိ openai/whisper: README model ဇယား၊ turbo မှတ်ချက်နှင့် ဘာသာစကားအလိုက် WER ဇယား
  • OpenAI နှင့် Hugging Face၊ whisper-large-v3 model card: large-v3 အပြောင်းအလဲ၊ အကဲဖြတ်ထားသောအသုံးပြုမှုနှင့် ကန့်သတ်ချက်များ
  • Koenecke နှင့် ပူးတွဲရေးသားသူများ၊ Careless Whisper: Speech-to-Text Hallucination Harms (2024)
  • jiwer: WER နှင့် CER အတွက် open-source library
  • Hugging Face၊ Open ASR Leaderboard: Open speech model များ၏ သီးခြား၊ ပုံမှန်မွမ်းမံထားသော နှိုင်းယှဉ်ချက်

သင့်အသံဖမ်းချက်များကို စာသားအဖြစ် ပြောင်းလိုပါသလား။

whispertranscribe.ai ဖြင့် အသံနှင့် ဗီဒီယိုကို စာသားအဖြစ် ပြောင်းပါ။

စာသားအဖြစ် စတင်ပြောင်းရန် ↗