whispertranscribe.ai సంపాదక బృందం · చివరి నవీకరణ: నవంబర్ 2026 · 13 నిమిషాల పఠనం · విభాగం: ట్రాన్స్క్రిప్షన్ ఖచ్చితత్వం
Whisper ఎంత ఖచ్చితమైనది? స్పష్టంగా చదివిన ఇంగ్లీష్ ఆడియోలో Whisper large-v2 పద దోషాల రేటు (WER) 2.5% అని OpenAI పేపర్ చెబుతోంది; అంటే 100 పదాల్లో సుమారు 97 నుంచి 98 సరైనవి. క్లిష్టమైన ఆడియోలో ఫలితం అధ్వానంగా ఉంటుంది: ఫోన్ కాల్స్లో 13.6%, శబ్దాల మధ్య విందులో 24.9%, దూరంగా ఉన్న ఒక మైక్తో రికార్డ్ చేసిన మీటింగ్లో 39.9%.
Whisper OpenAI ఓపెన్ సోర్స్ స్పీచ్ రికగ్నిషన్ మోడల్; మాదితో సహా అనేక ట్రాన్స్క్రిప్షన్ యాప్లకు ఆధారం. ఈ మార్గదర్శకం ఖచ్చితత్వాన్ని మాత్రమే వివరిస్తుంది: WER ఏమి కొలుస్తుంది, ఆడియో రకం, భాష వారీ benchmarkలు ఏమి చెబుతున్నాయి, Whisper ఎక్కడ తప్పుతుంది, మీరెలా పరీక్షించవచ్చు. మోడల్ నేపథ్యానికి Whisper AI అంటే ఏమిటి చూడండి.
చాలా గణాంకాలు Whisper పేపర్ (Radford మరియు సహ రచయితలు, 2022) నుంచి తీసుకున్నవి; పరీక్షా సెట్లపై fine-tuning లేకుండా ప్రతి మోడల్ను “zero-shot” పరీక్షించారు. కొత్త large-v3 మోడల్ కార్డ్ అనేక భాషల్లో large-v2 కంటే 10% నుంచి 20% తక్కువ దోషాలు నివేదిస్తుంది; కానీ ప్రతి డేటాసెట్కు పూర్తి పట్టిక లేదు. ఈ వ్యాసాన్ని whispertranscribe.ai ప్రచురిస్తోంది. దీని కోసం మేము benchmark నిర్వహించలేదు; ఇక్కడ ఏ సంఖ్యా మా సొంత పరీక్ష ఫలితం కాదు.
Whisper ఖచ్చితత్వం ఒక చూపులో
ఒక్క పరీక్షా సెట్ పూర్తి సమాధానం ఇవ్వదు; ఎందుకంటే ఆడియో స్వభావమే సంఖ్యను అత్యధికంగా మారుస్తుంది. OpenAI టెక్స్ట్ normalizer తర్వాత స్కోర్ చేసిన beam search, temperature fallbackతో large-v2 ఫలితాలు (అనుబంధం Table 9) పట్టికలో ఉన్నాయి.
| ఆడియో రకం | పేపర్లో పరీక్షా సెట్ | Whisper large-v2 WER | సరైన పదాల సుమారు వాటా |
|---|---|---|---|
| ఆడియోబుక్, స్పష్టంగా చదివినది | LibriSpeech test-clean | 2.5% | 100లో సుమారు 97.5 |
| చదివిన వార్తా టెక్స్ట్ | WSJ | 2.6% | 100లో సుమారు 97.4 |
| TED ప్రసంగాలు | TED-LIUM 3 | 3.7% | 100లో సుమారు 96 |
| ఆడియోబుక్, మరింత క్లిష్టమైన స్పీకర్లు | LibriSpeech test-other | 4.9% | 100లో సుమారు 95 |
| ఇంటి మైక్లపై వాలంటీర్లు | Common Voice 5.1 | 8.2% | 100లో సుమారు 92 |
| ఫోన్ సంభాషణలు | Switchboard | 13.6% | 100లో సుమారు 86 |
| పొడవైన సామాజిక భాషాశాస్త్ర ఇంటర్వ్యూలు | CORAAL | 14.2% | 100లో సుమారు 86 |
| కుటుంబం, స్నేహితుల ఫోన్ కాల్స్ | CallHome | 16.4% | 100లో సుమారు 84 |
| మీటింగ్లు, ప్రతి వ్యక్తికి హెడ్సెట్ మైక్ | AMI IHM | 17.4% | 100లో సుమారు 83 |
| విందులు, దూరపు మైక్లు | CHiME-6 | 24.9% | 100లో సుమారు 75 |
| మీటింగ్లు, టేబుల్పై ఒక దూరపు మైక్ | AMI SDM1 | 39.9% | 100లో సుమారు 60 |
“సరైన పదాల వాటా” 100 నుంచి WER తీసివేసిన సుమారు అంచనా మాత్రమే; WER అదనంగా చేర్చిన పదాలను కూడా లెక్కిస్తుంది.
తరచుగా 2.7% అని కూడా కనిపిస్తుంది: అది అదే మోడల్కు సరళమైన greedy decoding ఫలితం (పేపర్ Table 2). AMIలో రెండు వరుసలు ఒకే మీటింగ్లను రెండు విధాలుగా రికార్డ్ చేసినవి. ప్రతి స్పీకర్ తల దగ్గరి మైక్ను టేబుల్ మధ్యకు మార్చితే దోషాల రేటు రెట్టింపుకంటే ఎక్కువ అవుతుంది.
Word error rate (WER) అంటే ఏమిటి? ఎలా లెక్కించాలి?
మనిషి పరిశీలించిన రిఫరెన్స్తో పోలిస్తే ట్రాన్స్క్రిప్ట్లో తప్పుగా ఉన్న పదాల నిష్పత్తి word error rate. మూడు రకాల దోషాలను లెక్కించి రిఫరెన్స్లోని పదాల సంఖ్యతో భాగించండి:
WER = (మార్చినవి + వదిలినవి + అదనంగా చేర్చినవి) ÷ రిఫరెన్స్ పదాల సంఖ్య
- మార్పు: సరైన పదం బదులు తప్పు పదం (ఇంగ్లీష్లో “launch” బదులు “lunch” వంటిది).
- వదిలివేత: మాట్లాడిన పదం ట్రాన్స్క్రిప్ట్లో లేకపోవడం.
- అదనపు చేర్పు: ఎవరూ అనని పదం ట్రాన్స్క్రిప్ట్లో ఉండటం.
ఇంగ్లీష్ మూల వ్యాసంలో ఓపెన్ సోర్స్ jiwer లైబ్రరీతో లెక్కించిన స్వీయ ఉదాహరణ ఉంది. కింద అదే విధానాన్ని చూపే తెలుగు ఉదాహరణ; స్పేస్లతో విడిపోయిన పదాలను లెక్కించండి:
| లైన్ | టెక్స్ట్ |
|---|---|
| రిఫరెన్స్ (22 పదాలు) | మేము మా కొత్త ఉత్పత్తి విడుదలను మార్చి తొమ్మిదో తేదీకి మార్చాము ఎందుకంటే సరఫరాదారు రెండు గడువులను తప్పించారు మరియు డాక్టర్ పటేల్ ఒక కొత్త పరీక్ష ప్రణాళిక కోరుతున్నారు |
| ట్రాన్స్క్రిప్ట్ | మేము కొత్త ఉత్పత్తి వేడుకను మార్చి తొమ్మిదో తేదీకి మార్చాము ఎందుకంటే సరఫరాదారు రెండు గడువులను తప్పించారు మరియు డాక్టర్ పాటిల్ ఒక కొత్త పరీక్ష ప్రణాళిక కోరుతున్నారు నేడు |
| దోషాలు | 2 మార్పులు (వేడుకను, పాటిల్), 1 వదిలివేత (మా), 1 అదనపు చేర్పు (నేడు) |
| WER | 4 ÷ 22 = 18.2% |
WER విషయంలో సులభంగా తప్పుగా అర్థమయ్యే మూడు అంశాలు:
- 100% దాటవచ్చు. అదనంగా చేర్చిన పదాలకు గరిష్ట పరిమితి లేదు; పేపర్ Fleurs ఫలితాల్లో వనరులు తక్కువగా ఉన్న కొన్ని భాషలు 100% దాటాయి.
- Normalization స్కోర్ను మారుస్తుంది. రెండు టెక్స్ట్లను ఒకే విధంగా శుభ్రం చేయకపోతే “Dr.”, “doctor” దోషంగా లెక్కవుతుంది. ప్రధానంగా ఫార్మాటింగ్ తేడాలను తొలగించడం ద్వారా కొన్ని డేటాసెట్లలో తమ normalizer WERను 50% వరకు తగ్గించిందని OpenAI చెబుతోంది.
- కొన్ని భాషల్లో character error rate (CER) వాడతారు. చైనీస్, జపనీస్, థాయ్, లావో, బర్మీస్ భాషల్లో పదాలను స్పేస్లతో విడదీయరు కాబట్టి పేపర్ అక్షరాలను లెక్కిస్తుంది.
మేమైనా, మరెవరైనా చెప్పినా పేరుతో ఉన్న పరీక్షా సెట్, స్కోరింగ్ పద్ధతి లేని ఖచ్చితత్వ వాదన కొలత కాదు.
ఇంగ్లీష్లో Whisper ఎంత ఖచ్చితమైనది?
స్పష్టమైన ఇంగ్లీష్లో Whisper చాలా ఖచ్చితంగా ఉంటుంది; క్లిష్టమైన ఇంగ్లీష్లోనూ ఉపయోగించగలం. పేపర్లో LibriSpeechలో దాదాపు సమాన స్కోర్ పొందిన supervised wav2vec 2.0 మోడల్ కంటే ఇతర 12 ఇంగ్లీష్ డేటాసెట్లలో 55.2% తక్కువ దోషాలు చేసింది.
పొడవైన రికార్డింగ్లు
Whisper ఆడియోను 30 సెకన్ల విండోలుగా చదువుతుంది కాబట్టి పేపర్లో పొడవైన ఫైళ్లను వేరుగా పరీక్షించారు (అనుబంధం Table 16, large-v2):
| దీర్ఘ ఆడియో పరీక్షా సెట్ | ఇందులో ఉన్నవి | WER |
|---|---|---|
| TED-LIUM 3 | 11 పూర్తి TED ప్రసంగాలు | 3.5% |
| Meanwhile | అసాధారణ పదాలు ఎక్కువగా ఉన్న 64 అర్ధరాత్రి టీవీ భాగాలు | 5.1% |
| Kincaid46 | 2018 పోలిక నుంచి 46 విభిన్న రికార్డింగ్లు | 8.8% |
| Earnings-21 | కంపెనీల ఆదాయ కాల్స్ | 9.7% |
| Rev16 | 16 పాడ్కాస్ట్ ఎపిసోడ్లు | 11.3% |
| Earnings-22 | మరిన్ని ఆదాయ కాల్స్, అనేక యాసలు | 12.6% |
| CORAAL | African American Englishలో 231 పూర్తి ఇంటర్వ్యూలు | 19.6% |
Whisper vs మానవ ట్రాన్స్క్రైబర్లు
OpenAI Kincaid46లోని 25 రికార్డింగ్లను నాలుగు మానవ సేవలు, ఒక కంప్యూటర్ సహాయక సేవతో ట్రాన్స్క్రైబ్ చేయించింది. కంప్యూటర్ సహాయక సేవ Whisper కంటే 1.15 శాతం పాయింట్లు మెరుగ్గా, పూర్తిగా మానవ సేవలు కొద్ది పాయింట్ భిన్నం మెరుగ్గా స్కోర్ చేశాయి. పేపర్ నిర్ణయం: పరిపూర్ణం కాదు, కానీ మానవ స్థాయి ఖచ్చితత్వానికి చాలా దగ్గరగా ఉంది.
మోడల్ పరిమాణం ముఖ్యం
Whisper అనేక పరిమాణాల్లో లభిస్తుంది; యాప్లు ఏది అమలు చేస్తున్నాయో ఎప్పుడూ చెప్పవు (అనుబంధం Table 9):
| మోడల్ | పారామీటర్లు | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
ఆడియో క్లిష్టమయ్యేకొద్దీ వ్యత్యాసం పెరుగుతుంది: స్పష్టమైన ఆడియోబుక్లలో సుమారు 4 పాయింట్లు, విందులో 23 పాయింట్లు. కొత్త turbo మోడల్ ఆప్టిమైజ్ చేసిన large-v3; చాలా వేగవంతమైన ట్రాన్స్క్రిప్షన్ కోసం OpenAI GitHub READMEలో చెప్పిన స్వల్ప ఖచ్చితత్వ తగ్గుదలను అంగీకరిస్తుంది.
ఇతర భాషల్లో Whisper ఎంత ఖచ్చితమైనది?
ఇంగ్లీష్కు బయట ఖచ్చితత్వం ప్రధానంగా ఆ భాషలో Whisperకు లభించిన శిక్షణ ఆడియో పరిమాణంపై ఆధారపడి ఉంటుంది. log శిక్షణ గంటలు, log WER మధ్య 0.83 squared correlation ఉందని, డేటా ప్రతి 16 రెట్లు పెరిగితే WER సగమవుతుందని పేపర్ అంచనా వేసింది. 96 ఇంగ్లీష్ కాని భాషల్లో చాలా వాటికి 1,000 గంటల కంటే తక్కువ ఉంది.
ఎంపిక చేసిన Fleurs ఫలితాలు (చదివిన వాక్యాలు, large-v2, అనుబంధం Table 13):
| భాష | Fleurs WER | గమనిక |
|---|---|---|
| స్పానిష్ | 3.0% | పట్టికలో అతి తక్కువ |
| ఇంగ్లీష్ | 4.2% | |
| పోర్చుగీస్ | 4.3% | |
| జర్మన్ | 4.5% | |
| జపనీస్ | 5.3% | అక్షర దోషాల రేటు |
| రష్యన్ | 5.6% | |
| ఫ్రెంచ్ | 8.3% | |
| కొరియన్ | 14.3% | అసాధారణ ఫలితంగా గుర్తింపు |
| చైనీస్ | 14.7% | అక్షర దోషాల రేటు |
| అరబిక్ | 16.0% | |
| హిందీ | 21.5% | |
| హీబ్రూ | 27.1% | అసాధారణ ఫలితంగా గుర్తింపు |
| స్వాహిలి | 39.3% | |
| తెలుగు | 99.0% | అసాధారణ ఫలితంగా గుర్తింపు |
హీబ్రూ, తెలుగు, చైనీస్, కొరియన్ ఫలితాలు వాటి శిక్షణ డేటా అంచనా కంటే అధ్వానంగా ఉన్నాయని పేపర్ పేర్కొంటోంది. భాషా దూరం, ఆ లిపులకు సరిగా సరిపోని tokenizer లేదా డేటా నాణ్యత కారణాలు కావచ్చు. Fleurs చదివిన మాటలు; సంభాషణల్లో ఎక్కువ దోషాలు ఆశించండి. Common Voice 15, Fleursలో large-v3, large-v2కు కొత్త చార్ట్ READMEలో ఉంది.
స్పానిష్ ఆడియోను టెక్స్ట్గా ట్రాన్స్క్రైబ్ చేయాలనుకునేవారికి ఫలితాలు ప్రోత్సాహకరంగా ఉన్నాయి. వనరులు తక్కువ ఉన్న భాషలలో మొత్తం ప్రాజెక్టు ప్రారంభించే ముందు చిన్న క్లిప్ పరీక్షించండి.
Whisper ఖచ్చితత్వాన్ని ఏవి ప్రభావితం చేస్తాయి?
రికార్డింగ్ పరిస్థితులు అత్యంత ముఖ్యమైనవి. పేపర్, మోడల్ కార్డ్ ఆధారాలు:
| అంశం | ఆధారాలు చూపేది | ఏం చేయాలి |
|---|---|---|
| నేపథ్య శబ్దం | 10 dB కంటే తక్కువ signal-to-noise నిష్పత్తిలో పబ్ శబ్దంలో పోల్చిన 14 మోడల్లన్నిటికంటే Whisper మెరుగ్గా ఉన్నా, శబ్దం పెరిగేకొద్దీ ప్రతి మోడల్ అధ్వానమైంది | ఫ్యాన్లు, సంగీతానికి దూరంగా నిశ్శబ్ద గదిలో రికార్డ్ చేయండి |
| మైక్ దూరం | అవే AMI మీటింగ్లు: హెడ్సెట్ మైక్లలో 17.4%, ఒక టేబుల్ మైక్లో 39.9% | మాట్లాడుతున్న వ్యక్తికి దగ్గరగా మైక్ ఉంచండి |
| సంభాషణ, ఒకేసారి మాటలు | ఫోన్ కాల్స్, విందుల్లో 13.6% నుంచి 24.9%; చదివిన మాటల్లో 2.5% | ఒకేసారి ఒకరు; ప్రతి స్పీకర్కు ఒక మైక్ |
| యాసలు, మాండలికాలు | యాసలు, మాండలికాల మధ్య ఖచ్చితత్వం అసమానమని మోడల్ కార్డ్ చెబుతోంది; పొడవైన CORAAL ఇంటర్వ్యూలలో 19.6% | మీ నిజమైన రికార్డింగ్లలోని వారిలా మాట్లాడేవారితో పరీక్షించండి |
| అరుదైన పదాలు, ప్రత్యేక పదజాలం | ప్రత్యేక పదాలు అధికంగా ఉన్న Meanwhile సెట్లో మంచి ఫలితం (5.1%); అయినా పేర్లు, సాంకేతిక పదాల్లో తప్పులు సాధారణం | జాబితాతో పేర్లు, పదాలను పోల్చండి |
| భాషా వనరులు | Fleurs WER 3.0% (స్పానిష్) నుంచి 99.0% (తెలుగు) వరకు | భాషను మీరే ఎంచుకోండి; తక్కువ వనరులున్న భాషలకు ఎక్కువ సమీక్ష సమయం కేటాయించండి |
| మోడల్ పరిమాణం | CHiME-6లో tiny 48.0%, large-v2 24.9% | సాధనం ఏ మోడల్ వాడుతుందో అడగండి లేదా మీకు వీలైన పెద్ద మోడల్ వాడండి |
| ఫైల్ ఫార్మాట్, sample rate | Whisper కోడ్ అన్ని ఆడియోలను 16 kHz monoకు resample చేస్తుంది | స్పష్టమైన 16 kHz ఫైల్ కంటే 48 kHz WAV అదనపు ప్రయోజనం ఇవ్వదు |
MP3ని పెద్ద WAVగా మార్చడం కోల్పోయిన వివరాలను తిరిగి ఇవ్వదు. మితమైన bitrateలో స్పష్టమైన రికార్డింగ్, అధిక bitrateలో శబ్దాలున్న రికార్డింగ్ కంటే మెరుగైనది.
Whisper తెలిసిన సమస్యలు: హాల్యూసినేషన్లు, పునరావృతం, టైమ్స్టాంప్లు
ఈ ప్రతి వైఫల్య విధానాన్ని OpenAI డాక్యుమెంట్ చేసింది; WERలో కనిపించే వాటాకంటే ఇవి ముఖ్యమైనవి కావచ్చు.
కల్పిత టెక్స్ట్
ఎవరూ అనని పదాలను Whisper రాయవచ్చు. ఆడియో ఇన్పుట్లో నిజంగా మాట్లాడని టెక్స్ట్ అంచనాల్లో ఉండవచ్చని మోడల్ కార్డ్ చెబుతోంది; మోడల్ తదుపరి సంభావ్య పదాలను కూడా అంచనా వేయడం కారణం కావచ్చు. ఆడియోతో సంబంధంలేని పూర్తి హాల్యూసినేషన్ను పేపర్ పరిమితుల విభాగం ప్రస్తావిస్తుంది.
స్వతంత్ర Careless Whisper అధ్యయనం (Koenecke మరియు సహ రచయితలు, 2024) ఏప్రిల్, మే 2023లో OpenAI Whisper API ద్వారా 13,140 ఆడియో భాగాలను అమలు చేసింది. సుమారు 1% ట్రాన్స్క్రిప్షన్లలో (సగటున 1.4%) పూర్తిగా కల్పించిన పదబంధాలు లేదా వాక్యాలు ఉన్నాయి; వాటిలో 38% హింస లేదా తప్పుడు అనుబంధాలు వంటి హానికర కంటెంట్ కలిగివున్నాయి. ఎక్కువ విరామాలు తీసుకున్న స్పీకర్లలో, ఇక్కడ aphasia ఉన్నవారిలో, ఎక్కువగా జరిగింది. API ఆ తర్వాత మారింది; దీన్ని 2023 కొలతగా చూడండి.
పునరావృత లూప్లు, వదిలేసిన పదాలు
Whisper పునరావృత టెక్స్ట్ రూపొందించే ప్రవణత కలిగి ఉందని, beam search, temperature scheduling దాన్ని తగ్గించినా పూర్తిగా తొలగించవని మోడల్ కార్డ్ చెబుతోంది. భాగంలోని మొదటి లేదా చివరి పదాలను వదిలేయడాన్ని కూడా పేపర్ పేర్కొంటుంది. Decoding పరిష్కారాలు దీర్ఘ ఆడియో సగటు WERను 11.0% నుంచి 10.0%కి తగ్గించాయి: మెరుగుదల, పూర్తి పరిష్కారం కాదు.
నిశ్శబ్దం, సంగీతం, పూరక పదాలు
పొడవైన నిశ్శబ్దం, సంగీతంలో కల్పిత టెక్స్ట్ కనిపించవచ్చు. Whisper సొంత “no speech” సిగ్నల్ను ఒక్కటే నమ్మలేమని పేపర్ కనుగొంది; సంభావ్య హాల్యూసినేషన్ గుర్తించినప్పుడు పొడవైన నిశ్శబ్దాన్ని దాటవేసే ఎంపిక ఇప్పుడు ఓపెన్ సోర్స్ కోడ్లో ఉంది.
టైమ్స్టాంప్లు జారడం, పొడవైన ఫైళ్లు
Whisper పొడవైన ఆడియోలో ఒకేసారి 30 సెకన్ల విండోలో ప్రయాణిస్తూ, తదుపరి విండోను నిర్ణయించడానికి తన సొంత అంచనా టైమ్స్టాంప్లను వాడుతుంది. అందువల్ల ఒక విండోలో తప్పు తదుపరిదానికి చేరవచ్చని పేపర్ పేర్కొంది. పద స్థాయి టైమ్స్టాంప్లు కోడ్లో “experimental”గా గుర్తించబడ్డాయి. సబ్టైటిల్స్ కోసం విరామాల దగ్గర సమయాన్ని తనిఖీ చేయండి.
అభివృద్ధి సమయంలో Whisper స్పీకర్ పేర్లను ఊహించేదని, అవి దాదాపు ఎప్పుడూ తప్పుగా ఉండేవని OpenAI చూసింది. విడుదలైన మోడల్లను దీనిని తగ్గించేందుకు fine-tune చేశారు; అయినా టెక్స్ట్లోని ప్రతి పేరును తనిఖీ చేయండి.
Whisper ట్రాన్స్క్రిప్షన్ ఖచ్చితత్వాన్ని మెరుగుపరిచే 10 మార్గాలు
చాలా మెరుగుదలలు ట్రాన్స్క్రైబ్ నొక్కకముందే వస్తాయి. ఎక్కువ ప్రభావం నుంచి తక్కువ ప్రభావం వరకు సుమారు క్రమం:
- మైక్రోఫోన్ దగ్గరగా ఉంచండి. AMI మీటింగ్లలో దూరం ఒక్కటే దోషాల రేటును రెట్టింపుకంటే ఎక్కువ చేసింది.
- శబ్దాన్ని మూలంలోనే తగ్గించండి. కిటికీలు మూసి, ఫ్యాన్లు ఆఫ్ చేసి, సంగీతం ఆపండి.
- ఒకేసారి మాట్లాడటం నివారించండి. ఒకేసారి ఒకరు మాట్లాడటం ఏ సెట్టింగ్కన్నా మంచిది.
- పొడవైన నిశ్శబ్దం, సంగీత పరిచయాలను కత్తిరించండి, అక్కడ కల్పిత టెక్స్ట్ ఎక్కువగా వస్తుంది. వాక్య మధ్యలో కాకుండా విరామాల వద్ద కట్ చేయండి.
- భాషను మీరే సెట్ చేయండి. 82 Fleurs భాషల్లో Whisper 80.3% సార్లు సరైన భాషను గుర్తించింది; చిన్న లేదా యాస ఉన్న క్లిప్లలో ఆటో-డిటెక్ట్ తప్పవచ్చు.
- అందుబాటులో ఉన్న అతిపెద్ద మోడల్ వాడండి, ముఖ్యంగా శబ్దంతో కూడిన రికార్డింగ్లకు.
- స్వయంగా host చేస్తే పేర్లు, పదాలను promptలో ఇవ్వండి. ఓపెన్ సోర్స్ Whisper ఆశించిన స్పెల్లింగ్లతో
--initial_promptను అంగీకరిస్తుంది. - అసలు ఫైల్ అప్లోడ్ చేయండి. స్పీకర్ల ద్వారా మళ్లీ రికార్డ్ చేయడం లేదా పదేపదే compress చేయడం వివరాలను కోల్పోయేలా చేస్తుంది.
- పదజాల తనిఖీ చేయండి. ప్రతి పేరు, సంఖ్య, తేదీ, సంక్షిప్త పదాన్ని వెతికి ఆడియోతో పోల్చండి.
- రెండు దశల్లో పరిశీలించండి. ముందుగా సాధారణ వేగంలో తప్పులు సరిచేయండి. తర్వాత హాల్యూసినేషన్ సంకేతాలు చూడండి: పునరావృత లైన్లు, నిశ్శబ్దంలో వాక్యాలు, “చూసినందుకు ధన్యవాదాలు” వంటి ముగింపు మాటలు. చట్ట, వైద్య లేదా ప్రచురణ పనులకు మనిషి మొత్తం పరిశీలించాలి.
మీ ఆడియోలో Whisper ఖచ్చితత్వాన్ని ఎలా కొలవాలి?
మీ పనికి ఉత్తమ అంచనా మీ రికార్డింగ్లపై 30 నిమిషాల పరీక్ష. ఈ దశలు మీరు అమలు చేయడానికి; ఇవి whispertranscribe.ai పరీక్ష కాదు.
- 2 నిమిషాల మూడు క్లిప్లు ఎంచుకోండి, మీ నిజమైన పనిలా ఉండే సులభమైనది, సాధారణమైనది, కష్టమైనది ఒక్కొక్కటి.
- రిఫరెన్స్ ట్రాన్స్క్రిప్ట్ను చేతితో రాయండి, పదం పదంగా. ముందుగా నియమాలు సెట్ చేయండి: “ఉమ్” ఉంచాలా, తీసేయాలా; సంఖ్యలను అంకెల్లో రాయాలా, పదాల్లోనా.
- పరీక్షించే సాధనంతో ప్రతి క్లిప్ ట్రాన్స్క్రైబ్ చేయండి, సాధారణ టెక్స్ట్గా సేవ్ చేయండి.
- రెండు టెక్స్ట్లను ఒకేలా normalize చేయండి. OpenAI normalizer
openai-whisperతో వస్తుంది. - jiwerతో WER లెక్కించండి:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- ముఖ్యమైన దోషాలను వేరుగా లెక్కించండి. ఐదు తప్పు పూరక పదాలు, ఐదు తప్పు క్లయింట్ పేర్లకు ఒకే WER వచ్చినా సమస్య ఒకటి కాదు.
- సాధనాలు లేదా సెట్టింగ్లను పోల్చడానికి ఫలితాలను నమోదు చేయండి:
| క్లిప్ | పరిస్థితులు | రిఫరెన్స్ పదాలు | S | D | I | WER | ముఖ్యమైన దోషాలు |
|---|---|---|---|---|---|---|---|
| క్లిప్ A | నిశ్శబ్ద గది, ఒక స్పీకర్ | 310 | |||||
| క్లిప్ B | వీడియో కాల్, ఇద్దరు స్పీకర్లు | 285 | |||||
| క్లిప్ C | కేఫ్, యాస ఉన్న స్పీకర్ | 296 |
పదాల సంఖ్యలు ఉదాహరణలు మాత్రమే. దశ 4పై హెచ్చరిక: ఇంగ్లీష్ మూల వ్యాస బృందం స్వయంగా రూపొందించిన వాక్యంపై OpenAI ఇంగ్లీష్ normalizer అమలు చేసినప్పుడు “Dr.”ను “doctor”తో, “two”ను “2”తో సరిపోల్చింది; కానీ “9th”, “ninth” మధ్య తేడాను ఇంకా దోషంగా లెక్కించిందని చెబుతోంది. స్కోర్ను నమ్మే ముందు గుర్తించిన తేడాలను చదవండి.
whispertranscribe.ai ఎంత ఖచ్చితమైనది?
whispertranscribe.ai Whisper ఆధారిత బ్రౌజర్ AI ట్రాన్స్క్రిప్షన్ సాధనం; 130+ భాషలు, గరిష్టంగా 5GB, 10 గంటల అప్లోడ్లకు మద్దతిస్తుంది. స్పష్టమైన ఆడియోలో ఖచ్చితత్వం గరిష్టంగా 99%; Whisperపై పైన ఉన్న benchmarkలు చూపినట్లుగా నేపథ్య శబ్దం, బలమైన యాస, ఒకేసారి మాట్లాడటం దాన్ని తగ్గిస్తాయి. పేపర్ గణాంకాలను సమం చేస్తామని లేదా మించుతామని మేము చెప్పడం లేదు; మా సొంత benchmarkను ప్రచురించలేదు. కాబట్టి పై దశలతో మీ క్లిప్లను పరీక్షించండి.
- అనేక భాషల ఎంపికలో Noise / Low-Quality Audio/Video ఎంపికలు. శబ్దం ఉన్న ఫైల్లో సాధారణ, noise ఎంపికలను ప్రయత్నించి పోల్చండి.
- 130+ భాషలు, Multilingual Mix ఎంపిక, ఆడియోను ఇంగ్లీష్లోకి అనువదించడం.
- గరిష్టంగా 5GB, 10 గంటల ఫైళ్లు, స్పీకర్ డిటెక్షన్, టైమ్స్టాంప్లు (అన్ని ఫీచర్లు).
- స్పష్టమైన ఇన్పుట్: మైక్ దగ్గరగా ఉంచి బ్రౌజర్లో రికార్డ్ చేయండి, లేదా ఆడియో మాత్రమే అప్లోడ్ చేయడానికి వీడియోను MP3గా మార్చండి.
- DOCX, PDF, TXT, CSV, SRT, VTT ఎక్స్పోర్ట్లు, సమయ సూచనలున్న క్యాప్షన్లకు సబ్టైటిల్ జనరేటర్.
ఖాతా లేకుండా ఉచితంగా ప్రారంభించవచ్చు. వార్షిక బిల్లింగ్తో చెల్లింపు ప్లాన్లు $9.99/నెల నుంచి; ధరలు చూడండి.
తరచుగా అడిగే ప్రశ్నలు
Whisper 99% ఖచ్చితమైనదా?
సాధారణంగా కాదు. స్పష్టంగా చదివిన ఆడియోబుక్ల LibriSpeech test-cleanలో Whisper ప్రచురిత ఉత్తమ ఫలితం 2.5% word error rate; అంటే సుమారు 97.5% పదాలు సరైనవి. ఫోన్ కాల్స్, మీటింగ్లు, శబ్దమున్న గదుల్లో OpenAI సొంత గణాంకాలు సుమారు 13% నుంచి 40% WER వరకు ఉన్నాయి. “99%” వాదన ఏ ఆడియోపై కొలిచారో చెప్పినప్పుడే అర్థవంతం. whispertranscribe.ai సహా Whisper ఆధారిత సాధనాలను ముఖ్యాంశ శాతంతో కాకుండా మీ రికార్డింగ్లపై అంచనా వేయండి.
ఏ Whisper మోడల్ అత్యంత ఖచ్చితమైనది?
పెద్ద మోడల్లు అత్యంత ఖచ్చితమైనవి. OpenAI పేపర్లో ఎక్కువ పరీక్షా సెట్లలో large-v2 అత్యల్ప దోషాలు కలిగి ఉంది; large-v3 మోడల్ కార్డ్ అనేక భాషల్లో large-v2 కంటే 10% నుంచి 20% తక్కువ దోషాలు నివేదిస్తుంది. Turbo అనేది ఆప్టిమైజ్ చేసిన large-v3; ఎక్కువ వేగానికి బదులుగా కొద్దిగా ఖచ్చితత్వం తగ్గుతుందని OpenAI చెబుతోంది. అతి చిన్న tiny క్లిష్ట ఆడియోలో చాలా తక్కువ ఖచ్చితత్వం: శబ్దాలున్న విందులో 48.0% WER, large-v2కు 24.9%.
చెప్పని పదాలను Whisper ఎందుకు రాస్తుంది?
Whisper శబ్దాన్ని ట్రాన్స్క్రైబ్ చేయడంతో పాటు సంభావ్య టెక్స్ట్ అంచనా వేయడానికి శిక్షణ పొందింది కాబట్టి హాల్యూసినేట్ చేయవచ్చు; ఆడియోలో లేని టెక్స్ట్ రావచ్చని OpenAI మోడల్ కార్డ్ హెచ్చరిస్తుంది. పొడవైన నిశ్శబ్దం, సంగీతం లేదా శబ్దం సమయంలో ఎక్కువగా జరుగుతుంది. 2023 స్వతంత్ర అధ్యయనంలో సుమారు 1% ట్రాన్స్క్రిప్షన్లలో కల్పిత పదబంధాలు కనిపించాయి; విరామాలు అవకాశాన్ని పెంచాయి. నిశ్శబ్దం కత్తిరించడం, భాష సెట్ చేయడం, ట్రాన్స్క్రిప్ట్ నిశ్శబ్ద భాగాలు సమీక్షించడం ప్రమాదాన్ని తగ్గిస్తాయి.
యాసలతో Whisper ఎంత ఖచ్చితమైనది?
Whisper అనేక పాత వ్యవస్థలకంటే యాసలను మెరుగ్గా నిర్వహిస్తుంది; కానీ సమానంగా కాదు. ఒకే భాషలోని యాసలు, మాండలికాల మధ్య ఖచ్చితత్వం మారుతుందని OpenAI మోడల్ కార్డ్ చెబుతోంది. పేపర్లో African American English దీర్ఘ ఇంటర్వ్యూలు (CORAAL) 19.6% WER పొందాయి; పూర్తి TED ప్రసంగాలు 3.5%, అయితే రికార్డింగ్ పరిస్థితులూ భిన్నంగా ఉన్నాయి. మీ నిజమైన రికార్డింగ్లలోని వారిలా మాట్లాడే స్పీకర్లతో క్లిప్ పరీక్షించి, బలమైన యాస ఉన్నప్పుడు ఎక్కువ సమీక్షకు ప్రణాళిక వేయడం నమ్మదగిన విధానం.
Whisper మానవ ట్రాన్స్క్రైబర్ అంత ఖచ్చితమైనదా?
ఇంగ్లీష్లో దగ్గరగా వస్తుంది; కానీ ఉత్తములను అందుకోదు. OpenAI 25 రికార్డింగ్లపై ఐదు ప్రొఫెషనల్ సేవలతో పోల్చింది. కంప్యూటర్ సహాయక సేవ మొత్తం WER Whisper కంటే 1.15 పాయింట్లు తక్కువ; పూర్తిగా మానవ సేవలు నాలుగు కొద్ది పాయింట్ భిన్నం మెరుగ్గా ఉన్నాయి. పేర్లు, ఒకేసారి మాటలు, అస్పష్టమైన మాటలను మనుషులు ఇంకా మెరుగ్గా నిర్వహించే అవకాశం ఉంది. కోట్ చేసే, దాఖలు చేసే లేదా ప్రచురించే విషయాల కోసం మనిషి రికార్డింగ్తో ట్రాన్స్క్రిప్ట్ను పోల్చాలి.
ఇంగ్లీష్ కాకుండా ఇతర భాషల్లో Whisper ఎంత ఖచ్చితమైనది?
భాషను బట్టి బాగా మారుతుంది. Fleurs benchmarkలో large-v2 స్పానిష్లో 3.0%, జర్మన్లో 4.5%, ఫ్రెంచ్లో 8.3% WER సాధించింది; హీబ్రూలో 27.1%, తెలుగులో 99.0%. చైనీస్, జపనీస్ను character error rateతో కొలిచారు: 14.7%, 5.3%. ప్రతి భాషకు ఉన్న శిక్షణ ఆడియో పరిమాణంతో ఖచ్చితత్వానికి సంబంధం ఉందని పేపర్ కనుగొంది. తక్కువ వనరులున్న భాషలకు ముందుగా చిన్న క్లిప్ పరీక్షించి, సవరణలకు ఎక్కువ సమయం కేటాయించండి.
మీ రికార్డింగ్పై ఖచ్చితత్వాన్ని పరీక్షించండి
Benchmarks ఇతరుల ఆడియోను వివరిస్తాయి. 130+ భాషల్లో ఏదైనా ఒకదానిలో whispertranscribe.aiకి క్లిప్ అప్లోడ్ చేసి, ఈ మార్గదర్శకం దశలతో స్కోర్ చేయండి. ఖాతా లేకుండా ఉచితంగా ప్రారంభించండి, లేదా ప్లాన్లను పోల్చండి.
సంబంధిత వ్యాసాలు: Whisper AI అంటే ఏమిటి? · ఉత్తమ ఉచిత ట్రాన్స్క్రిప్షన్ సాఫ్ట్వేర్ · ఉత్తమ TurboScribe ప్రత్యామ్నాయాలు · YouTube వీడియోను ట్రాన్స్క్రైబ్ చేయడం ఎలా · SRT ఫైల్ అంటే ఏమిటి? · హార్డ్ vs సాఫ్ట్ సబ్టైటిల్స్
ఆధారాలు
- Radford మరియు సహ రచయితలు, Robust Speech Recognition via Large-Scale Weak Supervision (Whisper పేపర్, OpenAI, 2022): Table 2, 9, 13, 16, విభాగాలు 3 నుంచి 6
- OpenAI, GitHubలో openai/whisper: README మోడల్ పట్టిక, turbo గమనిక, భాషా WER చార్ట్
- OpenAI, Hugging Face, whisper-large-v3 మోడల్ కార్డ్: large-v3 మార్పులు, అంచనా వేసిన ఉపయోగం, పరిమితులు
- Koenecke మరియు సహ రచయితలు, Careless Whisper: Speech-to-Text Hallucination Harms (2024)
- jiwer: WER, CER కోసం ఓపెన్ సోర్స్ లైబ్రరీ
- Hugging Face, Open ASR Leaderboard: ఓపెన్ స్పీచ్ మోడల్ల స్వతంత్ర, క్రమంగా నవీకరించబడే పోలిక
