Whisper AI எவ்வளவு துல்லியமானது? WER, உண்மையான வரம்புகள், பரிந்துரைகள் (2026)

whispertranscribe.ai ஆசிரியர் குழு · கடைசியாகப் புதுப்பிக்கப்பட்டது: நவம்பர் 2026 · 13 நிமிட வாசிப்பு · பிரிவு: படியெடுப்புத் துல்லியம்

Whisper எவ்வளவு துல்லியமானது? தெளிவாகப் படிக்கப்பட்ட ஆங்கில ஒலியில் Whisper large-v2-ன் சொல் பிழை விகிதம் (WER) 2.5% என OpenAI ஆய்வுக்கட்டுரை தெரிவிக்கிறது; அதாவது 100 சொற்களில் சுமார் 97 முதல் 98 சரி. கடினமான ஒலியில் முடிவு மோசமாகிறது: தொலைபேசி அழைப்புகளில் 13.6%, இரைச்சலான விருந்தில் 24.9%, தொலைவில் உள்ள ஒரு மைக்கில் பதிவு செய்யப்பட்ட கூட்டத்தில் 39.9%.

Whisper என்பது OpenAI-யின் திறந்த மூலப் பேச்சறிதல் மாதிரி; எங்களுடையது உட்பட பல படியெடுப்புச் செயலிகளின் அடிப்படை. இந்த வழிகாட்டி துல்லியத்தை மட்டும் விளக்குகிறது: WER என்ன அளக்கிறது, ஒலி மற்றும் மொழிவாரி benchmark என்ன கூறுகிறது, Whisper எங்கு தவறுகிறது, நீங்களே எப்படிச் சோதிக்கலாம். மாதிரியின் பின்னணிக்கு Whisper AI என்றால் என்ன பார்க்கவும்.

பெரும்பாலான எண்கள் Whisper ஆய்வுக்கட்டுரையிலிருந்து (Radford மற்றும் இணை ஆசிரியர்கள், 2022) பெறப்பட்டவை; சோதனைத் தொகுப்புகளில் கூடுதல் fine-tuning இல்லாமல் ஒவ்வொரு மாதிரியும் “zero-shot” சோதிக்கப்பட்டது. புதிய large-v3 மாதிரி அட்டை, பல மொழிகளில் large-v2-ஐவிட 10% முதல் 20% குறைவான பிழைகள் எனத் தெரிவிக்கிறது; ஆனால் ஒவ்வொரு தரவுத்தொகுப்புக்குமான முழு அட்டவணை இல்லை. இந்தக் கட்டுரையை whispertranscribe.ai வெளியிடுகிறது. இதற்காக நாங்கள் benchmark நடத்தவில்லை; இங்குள்ள எந்த எண்ணும் எங்கள் சொந்தச் சோதனை முடிவு அல்ல.

Whisper துல்லியம்: ஒரே பார்வையில்

ஒரே சோதனைத் தொகுப்பு முழுப் பதிலையும் தராது; ஏனெனில் ஒலியின் தன்மை எண்ணைப் பெரிதும் மாற்றும். Beam search மற்றும் temperature fallback உடன் large-v2-க்கு OpenAI பெற்ற முடிவுகள் (பின்னிணைப்பு Table 9), OpenAI உரை normalizer செயலாக்கத்துக்குப் பிறகு மதிப்பிடப்பட்டவை:

ஒலி வகை ஆய்வுக்கட்டுரையின் சோதனைத் தொகுப்பு Whisper large-v2 WER சரியான சொற்களின் தோராயமான பங்கு
ஒலிப்புத்தகம், தெளிவான வாசிப்பு LibriSpeech test-clean 2.5% 100-ல் சுமார் 97.5
வாசிக்கப்பட்ட செய்தி WSJ 2.6% 100-ல் சுமார் 97.4
TED உரைகள் TED-LIUM 3 3.7% 100-ல் சுமார் 96
ஒலிப்புத்தகம், கடினமான பேச்சாளர்கள் LibriSpeech test-other 4.9% 100-ல் சுமார் 95
வீட்டு மைக்குகளில் தன்னார்வலர்கள் Common Voice 5.1 8.2% 100-ல் சுமார் 92
தொலைபேசி உரையாடல்கள் Switchboard 13.6% 100-ல் சுமார் 86
நீண்ட சமூக மொழியியல் நேர்காணல்கள் CORAAL 14.2% 100-ல் சுமார் 86
குடும்பம், நண்பர்கள் தொலைபேசி அழைப்புகள் CallHome 16.4% 100-ல் சுமார் 84
கூட்டங்கள், ஒவ்வொருவருக்கும் headset மைக் AMI IHM 17.4% 100-ல் சுமார் 83
விருந்துகள், தொலைதூர மைக்குகள் CHiME-6 24.9% 100-ல் சுமார் 75
கூட்டங்கள், மேசையில் ஒரு தொலைதூர மைக் AMI SDM1 39.9% 100-ல் சுமார் 60

“சரியான சொற்களின் பங்கு” என்பது 100-லிருந்து WER-ஐக் கழிக்கும் தோராயக் கணக்கு; WER கூடுதலாகச் சேர்க்கப்பட்ட சொற்களையும் எண்ணுகிறது.

2.7% என்றும் அடிக்கடி குறிப்பிடப்படுவதைக் காணலாம்: அது அதே மாதிரியின் எளிய greedy decoding முடிவு (ஆய்வுக்கட்டுரையின் Table 2). AMI வரிசைகள் ஒரே கூட்டங்களை இரு முறைகளில் பதிவு செய்தவை. ஒவ்வொரு பேச்சாளரின் தலைக்கு அருகிலிருந்து மைக்கை மேசையின் நடுவே நகர்த்தியபோது பிழை விகிதம் இருமடங்குக்கு மேல் உயர்கிறது.

சொல் பிழை விகிதம் (WER) என்றால் என்ன? எப்படிக் கணக்கிடுவது?

மனிதர் சரிபார்த்த ரெஃபரன்ஸ் உரையுடன் ஒப்பிடும்போது படியெடுப்பில் உள்ள சொல் பிழைகளின் விகிதம் WER. மூன்று வகைப் பிழைகளை எண்ணி ரெஃபரன்ஸின் சொற்களால் வகுக்கவும்:

WER = (மாற்றப்பட்டவை + விடுபட்டவை + கூடுதலாகச் சேர்க்கப்பட்டவை) ÷ ரெஃபரன்ஸில் உள்ள சொற்கள்

  • மாற்றம்: சரியான சொல்லுக்குப் பதில் தவறான சொல் (ஆங்கிலத்தில் “launch” என்பதற்குப் பதில் “lunch” போன்றது).
  • விடுபாடு: பேசப்பட்ட சொல் படியெடுப்பில் இல்லை.
  • கூடுதல்: யாரும் சொல்லாத சொல் படியெடுப்பில் உள்ளது.

ஆங்கில மூலக் கட்டுரையில் திறந்த மூல jiwer நூலகத்தால் மதிப்பிடப்பட்ட சொந்த எடுத்துக்காட்டு உள்ளது. கீழே அதே வகையான கணக்கை விளக்கும் தமிழ் எடுத்துக்காட்டு; இடைவெளியால் பிரிக்கப்பட்ட சொற்களை எண்ணுங்கள்:

வரி உரை
ரெஃபரன்ஸ் (22 சொற்கள்) நாங்கள் நமது புதிய தயாரிப்பு வெளியீட்டை மார்ச் ஒன்பதாம் தேதிக்கு மாற்றினோம் ஏனெனில் வழங்குநர் இரண்டு காலக்கெடுக்களை தவறவிட்டார் மற்றும் மருத்துவர் படேல் ஒரு புதிய சோதனை திட்டத்தை விரும்புகிறார்
படியெடுப்பு நாங்கள் புதிய தயாரிப்பு விழாவை மார்ச் ஒன்பதாம் தேதிக்கு மாற்றினோம் ஏனெனில் வழங்குநர் இரண்டு காலக்கெடுக்களை தவறவிட்டார் மற்றும் மருத்துவர் பாடில் ஒரு புதிய சோதனை திட்டத்தை விரும்புகிறார் இன்று
பிழைகள் 2 மாற்றங்கள் (விழாவை, பாடில்), 1 விடுபாடு (நமது), 1 கூடுதல் (இன்று)
WER 4 ÷ 22 = 18.2%

WER பற்றி எளிதில் தவறாகப் புரிந்துகொள்ளப்படும் மூன்று விஷயங்கள்:

  1. 100%-ஐத் தாண்டலாம். சேர்க்கப்படும் கூடுதல் சொற்களுக்கு உச்சவரம்பு இல்லை; ஆய்வின் Fleurs முடிவுகளில் வளங்கள் குறைவான சில மொழிகள் 100%-க்கு மேல் உள்ளன.
  2. Normalization மதிப்பெண்ணை மாற்றும். இரு உரைகளும் ஒரேபோல் சீராக்கப்படாவிட்டால் “Dr.” மற்றும் “doctor” பிழையாகக் கணக்கிடப்படும். பெரும்பாலும் வடிவமைப்பு வேறுபாடுகளை நீக்குவதால் சில தரவுத்தொகுப்புகளில் தங்கள் normalizer WER-ஐ 50% வரை குறைத்ததாக OpenAI கூறுகிறது.
  3. சில மொழிகளில் எழுத்துப் பிழை விகிதம் (CER) பயன்படுத்தப்படுகிறது. சீனம், ஜப்பானியம், தாய், லாவோ, பர்மியம் ஆகிய மொழிகளில் சொற்கள் இடைவெளியால் பிரிக்கப்படாததால் ஆய்வுக்கட்டுரை எழுத்துகளை மதிப்பிடுகிறது.

நாங்கள் உட்பட யார் கூறினாலும், பெயரிடப்பட்ட சோதனைத் தொகுப்பும் மதிப்பீட்டு முறையும் இல்லாத துல்லியக் கூற்று ஒரு அளவீடு அல்ல.

ஆங்கிலத்தில் Whisper எவ்வளவு துல்லியமானது?

தெளிவான ஆங்கிலத்தில் Whisper மிகத் துல்லியமாகவும், சிக்கலான ஆங்கிலத்திலும் பயன்படுத்தக்கூடியதாகவும் உள்ளது. ஆய்வுக்கட்டுரையில் LibriSpeech-ல் கிட்டத்தட்ட அதே மதிப்பெண் பெற்ற supervised wav2vec 2.0 மாதிரியைவிட மற்ற 12 ஆங்கிலத் தரவுத்தொகுப்புகளில் 55.2% குறைவான பிழைகளைச் செய்தது.

நீண்ட பதிவுகள்

Whisper ஒலியை 30 வினாடி பகுதிகளாகப் படிப்பதால், நீண்ட கோப்புகள் தனியாகச் சோதிக்கப்பட்டன (பின்னிணைப்பு Table 16, large-v2):

நீண்ட ஒலிச் சோதனைத் தொகுப்பு உள்ளடக்கம் WER
TED-LIUM 3 11 முழு TED உரைகள் 3.5%
Meanwhile அசாதாரண சொற்கள் நிறைந்த 64 இரவுநேரத் தொலைக்காட்சிப் பகுதிகள் 5.1%
Kincaid46 2018 ஒப்பீட்டிலிருந்து பல்வேறு 46 பதிவுகள் 8.8%
Earnings-21 நிறுவன வருவாய் அழைப்புகள் 9.7%
Rev16 16 பாட்காஸ்ட் அத்தியாயங்கள் 11.3%
Earnings-22 பல உச்சரிப்புகளுடன் மேலும் வருவாய் அழைப்புகள் 12.6%
CORAAL African American English-ல் 231 முழு நேர்காணல்கள் 19.6%

Whisper மற்றும் மனிதப் படியெடுப்பாளர்கள்

Kincaid46-ன் 25 பதிவுகளை நான்கு மனிதச் சேவைகள் மற்றும் ஒரு கணினி உதவியுடனான சேவை மூலம் OpenAI படியெடுத்தது. கணினி உதவிச் சேவை Whisper-ஐவிட 1.15 சதவீதப் புள்ளிகள் சிறப்பாகவும் முழு மனிதச் சேவைகள் ஒரு புள்ளியின் சிறு பின்னம் அளவு சிறப்பாகவும் இருந்தன. ஆய்வின் முடிவு: முழுமையில்லை, ஆனால் மனித அளவிலான துல்லியத்துக்கு மிக அருகில் உள்ளது.

மாதிரியின் அளவு முக்கியம்

Whisper பல அளவுகளில் கிடைக்கிறது; செயலிகள் எந்த மாதிரியைப் பயன்படுத்துகின்றன என்பதை எப்போதும் கூறுவதில்லை (பின்னிணைப்பு Table 9):

மாதிரி அளவுருக்கள் LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

ஒலி கடினமாகும்போது இடைவெளி அதிகரிக்கிறது: தெளிவான ஒலிப்புத்தகத்தில் சுமார் 4 புள்ளிகள், விருந்தில் 23 புள்ளிகள். புதிய turbo மாதிரி உகப்பாக்கப்பட்ட large-v3; மிக வேகமான படியெடுப்புக்காக OpenAI-யின் GitHub README கூறும் சிறிய துல்லியக் குறைவை ஏற்கிறது.

பிற மொழிகளில் Whisper எவ்வளவு துல்லியமானது?

ஆங்கிலத்துக்கு வெளியே துல்லியம் பெரும்பாலும் அந்த மொழியில் Whisper பெற்ற பயிற்சி ஒலியின் அளவைச் சார்ந்தது. Log பயிற்சி மணிநேரம் மற்றும் log WER இடையே 0.83 squared correlation இருப்பதாகவும், தரவு ஒவ்வொரு 16 மடங்கு அதிகரிப்பிலும் WER பாதியாகும் என்றும் ஆய்வுக்கட்டுரை மதிப்பிடுகிறது. 96 ஆங்கிலமல்லாத மொழிகளில் பெரும்பாலானவற்றுக்கு 1,000 மணிநேரத்துக்கும் குறைவாக இருந்தது.

தேர்ந்தெடுக்கப்பட்ட Fleurs முடிவுகள் (வாசிக்கப்பட்ட வாக்கியங்கள், large-v2, பின்னிணைப்பு Table 13):

மொழி Fleurs WER குறிப்பு
ஸ்பானிஷ் 3.0% அட்டவணையில் மிகக் குறைவு
ஆங்கிலம் 4.2%
போர்த்துகீசியம் 4.3%
ஜெர்மன் 4.5%
ஜப்பானியம் 5.3% எழுத்துப் பிழை விகிதம்
ரஷ்யம் 5.6%
பிரெஞ்சு 8.3%
கொரியன் 14.3% விதிவிலக்காகக் குறிக்கப்பட்டது
சீனம் 14.7% எழுத்துப் பிழை விகிதம்
அரபு 16.0%
இந்தி 21.5%
ஹீப்ரு 27.1% விதிவிலக்காகக் குறிக்கப்பட்டது
சுவாஹிலி 39.3%
தெலுங்கு 99.0% விதிவிலக்காகக் குறிக்கப்பட்டது

ஹீப்ரு, தெலுங்கு, சீனம், கொரியன் ஆகியவை பயிற்சித் தரவிலிருந்து எதிர்பார்த்ததைவிட மோசமாக இருந்ததாக ஆய்வுக்கட்டுரை குறிக்கிறது; மொழியியல் தூரம், அந்த எழுத்துமுறைகளுக்குப் பொருந்தாத tokenizer அல்லது தரவுத் தரம் காரணமாக இருக்கலாம். Fleurs வாசித்த பேச்சு; உரையாடலில் அதிகப் பிழை விகிதம் எதிர்பார்க்கலாம். Common Voice 15, Fleurs-ல் large-v3 மற்றும் large-v2-க்கான புதிய வரைபடம் README-ல் உள்ளது.

ஸ்பானிஷ் ஒலியை உரையாகப் படியெடுக்க விரும்புவோருக்கு முடிவுகள் ஊக்கமளிக்கின்றன. குறைவான வளங்களுள்ள மொழிகளில் முழுத் திட்டத்தைத் தொடங்கும் முன் சிறு கிளிப்பைச் சோதிக்கவும்.

Whisper துல்லியத்தை எது பாதிக்கிறது?

பதிவு நிலைமைகள் மிக முக்கியமானவை. ஆய்வுக்கட்டுரை மற்றும் மாதிரி அட்டையின் ஆதாரங்கள்:

காரணி ஆதாரம் காட்டுவது செய்ய வேண்டியது
பின்னணி இரைச்சல் 10 dB-க்குக் குறைந்த signal-to-noise விகிதமுள்ள மதுக்கூட இரைச்சலில் ஒப்பிட்ட 14 மாதிரிகளையும் Whisper முந்தியது; ஆனால் இரைச்சல் அதிகரிக்க எல்லா மாதிரிகளும் மோசமடைந்தன மின்விசிறி, இசையிலிருந்து தொலைவில் அமைதியான அறையில் பதிவு செய்யுங்கள்
மைக் தொலைவு அதே AMI கூட்டங்கள்: headset மைக்குகளில் 17.4%, ஒரு மேசை மைக்கில் 39.9% பேசுபவருக்கு அருகில் மைக்கை வையுங்கள்
உரையாடல் மற்றும் ஒரே நேரப் பேச்சு தொலைபேசி அழைப்பு, விருந்துகளில் 13.6% முதல் 24.9%; வாசித்த பேச்சில் 2.5% ஒரே நேரத்தில் ஒருவர்; ஒவ்வொரு பேச்சாளருக்கும் ஒரு மைக்
உச்சரிப்பு மற்றும் வட்டார மொழிகள் உச்சரிப்புகளிலும் வட்டார மொழிகளிலும் துல்லியம் சீரானதல்ல என மாதிரி அட்டை கூறுகிறது; நீண்ட CORAAL நேர்காணல்களில் 19.6% உண்மைப் பதிவுகளைப் போன்ற பேச்சாளர்களுடன் சோதிக்கவும்
அரிய சொற்கள் மற்றும் பரிபாஷைகள் சிறப்புச் சொற்களுள்ள Meanwhile தொகுப்பில் நல்ல முடிவு (5.1%); இருப்பினும் பெயர்கள், தொழில்நுட்பச் சொற்களில் பொதுவாகத் தவறு பட்டியலுடன் பெயர்களையும் சொற்களையும் ஒப்பிடுங்கள்
மொழி வளங்கள் Fleurs WER 3.0% (ஸ்பானிஷ்) முதல் 99.0% (தெலுங்கு) வரை மொழியை நீங்களே தேர்ந்தெடுக்கவும்; வளங்கள் குறைந்த மொழிகளுக்கு அதிக மதிப்பாய்வு நேரம் ஒதுக்கவும்
மாதிரியின் அளவு CHiME-6-ல் tiny 48.0%, large-v2 24.9% கருவி எந்த மாதிரியை இயக்குகிறது எனக் கேளுங்கள்; அல்லது கிடைக்கக்கூடிய பெரிய மாதிரியைப் பயன்படுத்துங்கள்
கோப்பு வடிவம் மற்றும் sample rate Whisper குறியீடு அனைத்து ஒலியையும் 16 kHz mono ஆக resample செய்கிறது தெளிவான 16 kHz கோப்பைவிட 48 kHz WAV கூடுதல் பயன் தராது

MP3-ஐப் பெரிய WAV ஆக மாற்றுவது இழந்த விவரங்களை மீட்டெடுக்காது. மிதமான bitrate-ல் தெளிவான பதிவு அதிக bitrate-ல் இரைச்சலான பதிவைவிடச் சிறந்தது.

Whisper-ன் அறியப்பட்ட பிரச்சினைகள்: கற்பனை உரை, மறுமொழிச் சுழற்சி, நேரக்குறிப்புகள்

இந்தத் தோல்வி வகைகளை OpenAI ஆவணப்படுத்தியுள்ளது; WER-ல் அவற்றின் பங்கு காட்டுவதைவிட இவை முக்கியமாக இருக்கலாம்.

கற்பனையாக உருவாக்கப்பட்ட உரை

யாரும் சொல்லாத சொற்களை Whisper எழுதலாம். அடுத்ததாக வரக்கூடிய சொற்களையும் கணிப்பதால் உள்ளீட்டு ஒலியில் பேசப்படாத உரை கணிப்புகளில் இடம்பெறலாம் என மாதிரி அட்டை கூறுகிறது. ஒலிக்குத் தொடர்பில்லாத முழு கற்பனை வெளியீட்டையும் ஆய்வின் வரம்புகள் பகுதி குறிப்பிடுகிறது.

சுயாதீன Careless Whisper ஆய்வு (Koenecke மற்றும் இணை ஆசிரியர்கள், 2024) ஏப்ரல், மே 2023-ல் 13,140 ஒலிப் பகுதிகளை OpenAI Whisper API மூலம் இயக்கியது. சுமார் 1% படியெடுப்புகளில் (சராசரியாக 1.4%) முழுவதும் உருவாக்கப்பட்ட சொற்றொடர்கள் அல்லது வாக்கியங்கள் இருந்தன; அவற்றில் 38% வன்முறை அல்லது தவறான தொடர்புகள் போன்ற தீங்குள்ள உள்ளடக்கம் கொண்டிருந்தன. அதிக நேரம் இடைவெளி விட்ட பேச்சாளர்களிடம், இங்கு aphasia உடையவர்களிடம், இது அதிகமாக இருந்தது. API அதன் பின் மாறியுள்ளது; எனவே இதை 2023 அளவீடாகக் கருதுங்கள்.

மீண்டும் மீண்டும் வரும் உரை மற்றும் விடுபடும் சொற்கள்

Whisper மீண்டும் வரும் உரையை உருவாக்கும் போக்குடையது; beam search மற்றும் temperature scheduling அதைக் குறைத்தாலும் முழுமையாக நீக்காது என மாதிரி அட்டை கூறுகிறது. ஒரு பகுதியின் முதல் அல்லது கடைசிச் சொற்கள் விடுபடுவதையும் ஆய்வுக்கட்டுரை பட்டியலிடுகிறது. Decoding திருத்தங்கள் நீண்ட ஒலியின் சராசரி WER-ஐ 11.0%-லிருந்து 10.0%-ஆகக் குறைத்தன: முன்னேற்றம், முழுத் தீர்வு அல்ல.

அமைதி, இசை மற்றும் இடைச்சொற்கள்

நீண்ட அமைதி மற்றும் இசையின்போது கற்பனை உரை தோன்றக்கூடும். Whisper-ன் சொந்த “no speech” சமிக்ஞையை மட்டும் நம்ப முடியாது என ஆய்வுக்கட்டுரை கண்டறிந்தது; சாத்தியமான கற்பனை உரை கண்டறியப்பட்டால் நீண்ட அமைதியைத் தவிர்க்கும் விருப்பம் இப்போது திறந்த மூலக் குறியீட்டில் உள்ளது.

நேரக்குறிப்பு விலகல் மற்றும் நீண்ட கோப்புகள்

Whisper நீண்ட ஒலியில் ஒருமுறை 30 வினாடி பகுதியாக நகர்ந்து, அடுத்த பகுதியை அமைக்கத் தானே கணித்த நேரக்குறிப்புகளைப் பயன்படுத்துகிறது. ஆகவே ஒரு பகுதியின் பிழை அடுத்ததற்கும் செல்லலாம் என ஆய்வுக்கட்டுரை குறிப்பிடுகிறது. சொல் அளவிலான நேரக்குறிப்புகள் குறியீட்டில் “experimental” எனக் குறிக்கப்பட்டுள்ளன. சப்டைட்டில்களுக்கு இடைவெளிகளைச் சுற்றிய நேரத்தைச் சரிபார்க்கவும்.

உருவாக்கத்தின்போது Whisper பேச்சாளர் பெயர்களை ஊகித்ததையும் அவை கிட்டத்தட்ட எப்போதும் தவறாக இருந்ததையும் OpenAI கண்டது. வெளியிடப்பட்ட மாதிரிகள் இதைக் குறைக்க fine-tune செய்யப்பட்டன; இருப்பினும் உரையில் உள்ள எந்தப் பெயரையும் சரிபார்க்கவும்.

Whisper படியெடுப்புத் துல்லியத்தை மேம்படுத்த 10 வழிகள்

பெரும்பாலான முன்னேற்றம் படியெடுப்பு பொத்தானை அழுத்தும் முன்பே ஏற்படுகிறது. மிக அதிகத் தாக்கத்திலிருந்து குறைவான தாக்கம் வரை தோராயமாக:

  1. மைக்ரோஃபோனை அருகில் வையுங்கள். AMI கூட்டங்களில் தொலைவு மட்டுமே பிழையை இருமடங்குக்கு மேல் அதிகரித்தது.
  2. இரைச்சலை மூலத்திலேயே குறைக்கவும். ஜன்னல்களை மூடவும், மின்விசிறியை அணைக்கவும், இசையை நிறுத்தவும்.
  3. ஒரே நேரப் பேச்சைத் தவிர்க்கவும். ஒரே நேரத்தில் ஒருவர் பேசுவது எந்த அமைப்பையும்விடச் சிறந்தது.
  4. நீண்ட அமைதி மற்றும் இசை அறிமுகத்தை வெட்டுங்கள், அங்கு கற்பனை உரை அதிகம் தோன்றும். வாக்கிய நடுவில் அல்ல, இடைவெளியில் வெட்டுங்கள்.
  5. மொழியை நீங்களே அமைக்கவும். Fleurs-ன் 82 மொழிகளில் Whisper 80.3% முறை சரியான மொழியை அறிந்தது; குறுகிய அல்லது உச்சரிப்பு வேறுபாடுள்ள கிளிப்பில் தானியங்கி கண்டறிதல் தவறலாம்.
  6. கிடைக்கக்கூடிய மிகப் பெரிய மாதிரியைப் பயன்படுத்துங்கள், குறிப்பாக இரைச்சல் பதிவுகளுக்கு.
  7. நீங்களே host செய்தால் பெயர்களையும் சொற்களையும் prompt-ல் கொடுங்கள். திறந்த மூல Whisper எதிர்பார்க்கும் எழுத்துகளுடன் --initial_prompt ஏற்கிறது.
  8. மூலக் கோப்பைப் பதிவேற்றுங்கள். ஸ்பீக்கரில் இயக்கி மீண்டும் பதிவு செய்தல் அல்லது மீண்டும் மீண்டும் சுருக்குதல் விவரங்களை இழக்கச் செய்யும்.
  9. சொற்களைச் சரிபார்க்கவும். ஒவ்வொரு பெயர், எண், தேதி, சுருக்கத்தையும் தேடி ஒலியுடன் ஒப்பிடுங்கள்.
  10. இரண்டு சுற்றுகளில் மதிப்பாய்வு செய்யுங்கள். முதலில் இயல்பான வேகத்தில் பிழைகளைத் திருத்துங்கள். பின்னர் கற்பனை உரை அறிகுறிகளைத் தேடுங்கள்: மீண்டும் வரும் வரிகள், அமைதியின்போது வாக்கியங்கள், “பார்த்ததற்கு நன்றி” போன்ற முடிவுச் சொற்கள். சட்டம், மருத்துவம் அல்லது வெளியீட்டுக்கான பணிகளில் மனிதர் அனைத்தையும் சரிபார்க்க வேண்டும்.

உங்கள் ஒலியில் Whisper துல்லியத்தை அளவிடுவது எப்படி?

உங்கள் பணிக்கான சிறந்த மதிப்பீடு உங்கள் சொந்தப் பதிவுகளில் 30 நிமிடச் சோதனை. இவை நீங்கள் இயக்க வேண்டிய படிகள்; whispertranscribe.ai சோதனை அல்ல.

  1. 2 நிமிடங்கள் கொண்ட மூன்று கிளிப்புகளைத் தேர்ந்தெடுங்கள்: உங்கள் உண்மைப் பணியைப் போன்ற எளிதான, வழக்கமான, கடினமான தலா ஒன்று.
  2. ரெஃபரன்ஸ் படியெடுப்பைக் கையால் எழுதுங்கள், சொல் வாரியாக. “உம்” போன்றவற்றை வைத்திருப்பதா, எண்களை இலக்கத்திலா சொல்லிலா எழுதுவதா என முதலில் விதிகளை அமைக்கவும்.
  3. சோதிக்கும் கருவியால் ஒவ்வொரு கிளிப்பையும் படியெடுத்து சாதாரண உரையாகச் சேமிக்கவும்.
  4. இரு உரைகளையும் ஒரேபோல் normalize செய்யவும். OpenAI normalizer openai-whisper உடன் கிடைக்கிறது.
  5. jiwer மூலம் WER கணக்கிடுங்கள்:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. முக்கியப் பிழைகளைத் தனியாக எண்ணுங்கள். ஐந்து தவறான இடைச்சொற்களுக்கும் ஐந்து தவறான வாடிக்கையாளர் பெயர்களுக்கும் ஒரே WER வந்தாலும் பிரச்சினை ஒன்றல்ல.
  2. கருவிகள் அல்லது அமைப்புகளை ஒப்பிட முடிவுகளைப் பதிவுசெய்யுங்கள்:
கிளிப் நிலைமைகள் ரெஃபரன்ஸ் சொற்கள் S D I WER முக்கியப் பிழைகள்
கிளிப் A அமைதியான அறை, ஒரு பேச்சாளர் 310
கிளிப் B வீடியோ அழைப்பு, இரண்டு பேச்சாளர்கள் 285
கிளிப் C கஃபே, உச்சரிப்பு வேறுபாடுள்ள பேச்சாளர் 296

சொல் எண்ணிக்கைகள் எடுத்துக்காட்டுகள். படி 4 பற்றிய எச்சரிக்கை: ஆங்கில மூலக் கட்டுரையின் ஆசிரியர்கள் தாங்கள் உருவாக்கிய வாக்கியத்தில் OpenAI ஆங்கில normalizer-ஐ இயக்கியபோது “Dr.”-ஐ “doctor” உடனும் “two”-ஐ “2” உடனும் பொருத்தியது; ஆனால் “9th” மற்றும் “ninth” இடையிலான வேறுபாட்டைப் பிழையாகவே மதிப்பிட்டது. மதிப்பெண்ணை நம்பும் முன் குறிக்கப்பட்ட வேறுபாடுகளைப் படியுங்கள்.

whispertranscribe.ai எவ்வளவு துல்லியமானது?

whispertranscribe.ai என்பது Whisper ஆதரிக்கும் உலாவி AI படியெடுப்புக் கருவி; 130+ மொழிகள் மற்றும் அதிகபட்சம் 5GB, 10 மணிநேர பதிவேற்றங்களை ஆதரிக்கிறது. தெளிவான ஒலியில் துல்லியம் அதிகபட்சம் 99% வரை; Whisper பற்றிய மேலுள்ள benchmark காட்டுவது போல பின்னணி இரைச்சல், வலுவான உச்சரிப்பு, ஒரே நேரப் பேச்சு குறைக்கும். ஆய்வுக்கட்டுரையின் எண்களை எட்டுவதாகவோ மிஞ்சுவதாகவோ நாங்கள் கூறவில்லை; சொந்த benchmark-ஐயும் வெளியிடவில்லை. எனவே மேலுள்ள படிகளால் உங்கள் கிளிப்புகளைச் சோதிக்கவும்.

கணக்கின்றி இலவசமாகத் தொடங்கலாம். ஆண்டுக் கட்டணத் திட்டங்கள் $9.99/மாதம் முதல்; விலையைப் பார்க்கவும்.

அடிக்கடி கேட்கப்படும் கேள்விகள்

Whisper 99% துல்லியமானதா?

பொதுவாக இல்லை. தெளிவாகப் படிக்கப்பட்ட ஒலிப்புத்தகங்களின் LibriSpeech test-clean-ல் Whisper வெளியிட்ட சிறந்த முடிவு 2.5% சொல் பிழை விகிதம்; அதாவது சுமார் 97.5% சொற்கள் சரி. தொலைபேசி அழைப்புகள், கூட்டங்கள், இரைச்சல் அறைகளில் OpenAI-யின் சொந்த எண்கள் சுமார் 13% முதல் 40% WER வரை உள்ளன. எந்த ஒலியில் அளவிடப்பட்டது எனக் குறிப்பிட்டால் மட்டுமே “99%” கூற்றுக்குப் பொருள் உண்டு. whispertranscribe.ai உட்பட Whisper-ஐ அடிப்படையாகக் கொண்ட கருவிகளைத் தலைப்புச் சதவீதத்தால் அல்ல, உங்கள் பதிவுகளால் மதிப்பிடுங்கள்.

எந்த Whisper மாதிரி மிகத் துல்லியமானது?

பெரிய மாதிரிகள் மிகத் துல்லியமானவை. OpenAI ஆய்வில் பெரும்பாலான சோதனைத் தொகுப்புகளில் large-v2 குறைந்த பிழைகளைக் கொண்டிருந்தது; large-v3 மாதிரி அட்டை பல மொழிகளில் large-v2-ஐவிட 10% முதல் 20% குறைவான பிழைகள் என்கிறது. Turbo என்பது உகப்பாக்கப்பட்ட large-v3; அதிக வேகத்துக்கு ஈடாக மிகச் சிறிய துல்லியக் குறைவு இருப்பதாக OpenAI கூறுகிறது. மிகச் சிறிய tiny கடின ஒலியில் குறைவான துல்லியம்: இரைச்சலான விருந்தில் 48.0% WER; large-v2-க்கு 24.9%.

சொல்லப்படாத சொற்களை Whisper ஏன் எழுதுகிறது?

ஒலியைப் படியெடுப்பதுடன் சாத்தியமான உரையைக் கணிக்கவும் Whisper பயிற்சியளிக்கப்பட்டுள்ளதால் கற்பனை உரையை உருவாக்கலாம்; ஒலியில் இல்லாத உரை வரக்கூடும் என OpenAI மாதிரி அட்டை எச்சரிக்கிறது. நீண்ட அமைதி, இசை அல்லது இரைச்சலில் அதிகமாக நிகழ்கிறது. 2023 சுயாதீன ஆய்வில் சுமார் 1% படியெடுப்புகளில் கற்பனைச் சொற்றொடர்கள் கண்டறியப்பட்டன; இடைவெளிகள் சாத்தியத்தை அதிகரித்தன. அமைதியை வெட்டுதல், மொழியை அமைத்தல், அமைதியான பகுதிகளைச் சரிபார்த்தல் ஆகியவை ஆபத்தைக் குறைக்கும்.

உச்சரிப்பு வேறுபாடுகளில் Whisper எவ்வளவு துல்லியமானது?

பல பழைய அமைப்புகளைவிட Whisper உச்சரிப்புகளைச் சிறப்பாகக் கையாள்கிறது; ஆனால் சமமாக அல்ல. ஒரே மொழியின் உச்சரிப்புகள், வட்டார மொழிகளில் துல்லியம் மாறுபடும் என OpenAI மாதிரி அட்டை கூறுகிறது. ஆய்வில் African American English நீண்ட நேர்காணல்கள் (CORAAL) 19.6% WER பெற்றன; முழு TED உரைகள் 3.5%, இருப்பினும் பதிவு நிலைமைகளும் வேறுபட்டன. உண்மைப் பதிவுகளைப் போன்ற பேச்சாளர்களின் கிளிப்பைச் சோதித்து, வலுவான உச்சரிப்பு வேறுபாட்டுக்கு அதிக மதிப்பாய்வு நேரம் ஒதுக்குவது நம்பகமான அணுகுமுறை.

மனிதப் படியெடுப்பாளரைப் போல Whisper துல்லியமானதா?

ஆங்கிலத்தில் அருகில் வருகிறது; ஆனால் சிறந்ததை எட்டவில்லை. 25 பதிவுகளில் ஐந்து தொழில்முறைச் சேவைகளுடன் OpenAI ஒப்பிட்டது. கணினி உதவிச் சேவையின் மொத்த WER Whisper-ஐவிட 1.15 புள்ளிகள் குறைவு; முழு மனிதச் சேவைகள் நான்கும் ஒரு புள்ளியின் சிறு பின்னம் அளவு சிறந்தன. பெயர்கள், ஒரே நேரப் பேச்சு, தெளிவற்ற பேச்சை மனிதர்கள் இன்னும் சிறப்பாகக் கையாளும் போக்குடையவர்கள். மேற்கோள், தாக்கல் அல்லது வெளியீட்டுக்கான எதற்கும் மனிதர் பதிவுடன் படியெடுப்பை ஒப்பிட வேண்டும்.

ஆங்கிலம் தவிர பிற மொழிகளில் Whisper எவ்வளவு துல்லியம்?

மொழிக்கு மொழி பெரிதும் மாறும். Fleurs benchmark-ல் large-v2 ஸ்பானிஷில் 3.0%, ஜெர்மனில் 4.5%, பிரெஞ்சில் 8.3% WER பெற்றது; ஹீப்ருவில் 27.1%, தெலுங்கில் 99.0%. சீனமும் ஜப்பானியமும் எழுத்துப் பிழை விகிதத்தால் அளவிடப்பட்டன: 14.7%, 5.3%. ஒவ்வொரு மொழிக்கும் கிடைத்த பயிற்சி ஒலி அளவுடன் துல்லியத்துக்குத் தொடர்பு இருப்பதாக ஆய்வு கண்டது. வளங்கள் குறைந்த மொழிகளில் முதலில் சிறு கிளிப்பைச் சோதித்து, திருத்தங்களுக்கு அதிக நேரம் ஒதுக்குங்கள்.

உங்கள் சொந்தப் பதிவில் துல்லியத்தைச் சோதியுங்கள்

Benchmarks மற்றவர்களின் ஒலியை விவரிக்கின்றன. 130+ மொழிகளில் ஏதேனும் ஒன்றில் whispertranscribe.ai-ல் கிளிப்பைப் பதிவேற்றி, இந்த வழிகாட்டிப் படிகளால் மதிப்பிடுங்கள். கணக்கின்றி இலவசமாகத் தொடங்குங்கள் அல்லது திட்டங்களை ஒப்பிடுங்கள்.

தொடர்புடைய கட்டுரைகள்: Whisper AI என்றால் என்ன? · சிறந்த இலவசப் படியெடுப்பு மென்பொருள் · சிறந்த TurboScribe மாற்றுகள் · YouTube வீடியோவைப் படியெடுப்பது எப்படி · SRT கோப்பு என்றால் என்ன? · Hard மற்றும் soft சப்டைட்டில்கள்

தகவல் ஆதாரங்கள்

  • Radford மற்றும் இணை ஆசிரியர்கள், Robust Speech Recognition via Large-Scale Weak Supervision (Whisper ஆய்வுக்கட்டுரை, OpenAI, 2022): Table 2, 9, 13, 16 மற்றும் பிரிவுகள் 3 முதல் 6 வரை
  • OpenAI, GitHub-ல் openai/whisper: README மாதிரி அட்டவணை, turbo குறிப்பு, மொழிவாரியான WER வரைபடம்
  • OpenAI மற்றும் Hugging Face, whisper-large-v3 மாதிரி அட்டை: large-v3 மாற்றங்கள், மதிப்பிடப்பட்ட பயன்பாடு, வரம்புகள்
  • Koenecke மற்றும் இணை ஆசிரியர்கள், Careless Whisper: Speech-to-Text Hallucination Harms (2024)
  • jiwer: WER மற்றும் CER-க்கான திறந்த மூல நூலகம்
  • Hugging Face, Open ASR Leaderboard: திறந்த பேச்சு மாதிரிகளின் சுயாதீனமான, தொடர்ந்து புதுப்பிக்கப்படும் ஒப்பீடு

உங்கள் பதிவுகளை உரையாக மாற்ற விரும்புகிறீர்களா?

whispertranscribe.ai மூலம் ஒலி மற்றும் காணொளியை உரையாக மாற்றுங்கள்.

உரையாக மாற்றத் தொடங்குங்கள் ↗