نوشته تحریریه whispertranscribe.ai · آخرین بهروزرسانی: نوامبر 2026 · زمان مطالعه: 13 دقیقه · دسته: دقت رونویسی
دقت Whisper چقدر است؟ مقاله OpenAI برای Whisper large-v2 در گفتار انگلیسی واضح و خواندهشده نرخ خطای واژه (WER) برابر 2.5% گزارش کرده است، یعنی حدود 97 تا 98 واژه از هر 100 واژه درست است. در صوت دشوارتر خطا بیشتر است: 13.6% در تماس تلفنی، 24.9% در مهمانی شام پرنویز و 39.9% در جلسهای که با یک میکروفون دور ضبط شده است.
Whisper مدل متنباز تشخیص گفتار OpenAI و موتور بسیاری از برنامههای رونویسی، از جمله ابزار ماست. این راهنما روی دقت تمرکز دارد: WER چه میسنجد، آزمونها بر اساس نوع صدا و زبان چه میگویند، Whisper کجا خطا میکند و چگونه خودتان آزمایش کنید. برای پیشینه مدل، مقاله Whisper AI چیست؟ را بخوانید.
بیشتر اعداد از مقاله Whisper (ردفورد و همکاران، 2022) هستند. در آن هر مدل به روش «بدون نمونه» و بدون تنظیم دقیق روی مجموعههای آزمون ارزیابی شد. کارت مدل large-v3 که جدیدتر است، در بسیاری از زبانها 10% تا 20% خطای کمتر از large-v2 گزارش میکند، اما برای هر مجموعه جدول کامل ندارد. ناشر این مقاله whispertranscribe.ai است. برای آن آزمون مقایسهای انجام ندادیم و هیچیک از اعداد حاصل آزمون خودمان نیست.
دقت Whisper در یک نگاه
یک مجموعه آزمون بهتنهایی جواب نمیدهد، چون ویژگیهای صدا بیشترین اثر را روی نتیجه دارند. جدول، نتایج OpenAI را برای large-v2 با جستوجوی پرتویی و بازگشت به دمای نمونهگیری بالاتر نشان میدهد (جدول 9 پیوست). امتیاز بعد از نرمالسازی متن به دست آمده است.
| نوع صدا | مجموعه آزمون مقاله | WER مدل Whisper large-v2 | برآورد سهم واژههای درست |
|---|---|---|---|
| کتاب صوتی، گوینده واضح | LibriSpeech test-clean | 2.5% | حدود 97.5 از 100 |
| متن خبری خواندهشده | WSJ | 2.6% | حدود 97.4 از 100 |
| سخنرانی TED | TED-LIUM 3 | 3.7% | حدود 96 از 100 |
| کتاب صوتی، گوینده دشوارتر | LibriSpeech test-other | 4.9% | حدود 95 از 100 |
| داوطلبان با میکروفون خانگی | Common Voice 5.1 | 8.2% | حدود 92 از 100 |
| مکالمه تلفنی | Switchboard | 13.6% | حدود 86 از 100 |
| مصاحبه بلند جامعهشناسی زبان | CORAAL | 14.2% | حدود 86 از 100 |
| تماس تلفنی خانواده و دوستان | CallHome | 16.4% | حدود 84 از 100 |
| جلسات با میکروفون هدست برای هر نفر | AMI IHM | 17.4% | حدود 83 از 100 |
| مهمانی شام با میکروفون دوربرد | CHiME-6 | 24.9% | حدود 75 از 100 |
| جلسه با یک میکروفون دور روی میز | AMI SDM1 | 39.9% | حدود 60 از 100 |
«سهم واژههای درست» از کم کردن WER از 100 به دست میآید و فقط تقریب است، چون WER واژههای اضافه را هم میشمارد.
ممکن است به عدد 2.7% هم بربخورید. آن عدد برای همان مدل است، با روش سادهتر رمزگشایی حریصانه (جدول 2 مقاله). ردیفهای AMI مربوط به جلسات یکسان با دو روش ضبطاند. جابهجایی میکروفون از هدست هر گوینده به وسط میز، نرخ خطا را بیش از دو برابر میکند.
نرخ خطای واژه (WER) چیست و چگونه محاسبه میشود؟
نرخ خطای واژه تعداد خطاهای متن را نسبت به متن مرجع بازبینیشده توسط انسان میسنجد. سه نوع خطا را بشمارید و مجموع را بر شمار واژههای مرجع تقسیم کنید:
WER = (جایگزینیها + حذفها + درجها) ÷ تعداد واژههای مرجع
- جایگزینی: واژه غلط به جای واژه درست (مثلاً «عرصه» بهجای «عرضه»).
- حذف: واژهای گفته شده، اما در متن نیامده است.
- درج: واژهای در متن است که کسی نگفته است.
در نمونه ساختگی زیر، نرخ خطا را میتوان با کتابخانه متنباز jiwer محاسبه کرد:
| سطر | متن |
|---|---|
| مرجع (22 واژه) | ما عرضه محصول را به نهم مارس موکول کردیم چون عرضهکننده دو موعد را از دست داد و دکتر پاتل برنامه میخواهد |
| رونویسی | ما عرصه محصول را به نهم مارس موکول کردیم چون عرضهکننده دو موعد از دست داد و دکتر باطل برنامه میخواهد امروز |
| خطاها | 2 جایگزینی (عرصه، باطل)، 1 حذف (را)، 1 درج (امروز) |
| WER | 4 ÷ 22 = 18.2% |
سه نکته درباره WER که باعث اشتباه میشوند:
- ممکن است بالای 100% برود. درج واژه سقف ندارد و چند زبان کممنبع در نتایج Fleurs مقاله بالای 100% هستند.
- نرمالسازی نتیجه را تغییر میدهد. «Dr.» در برابر «doctor» خطا شمرده میشود، مگر اینکه هر دو متن به یک روش پاکسازی شوند. OpenAI میگوید نرمالساز آن WER را در بعضی مجموعهها تا 50% کم کرده است، عمدتاً با حذف تفاوت ظاهری متن.
- برای بعضی زبانها نرخ خطای نویسه (CER) به کار میرود. برای چینی، ژاپنی، تایلندی، لائویی و برمهای که واژهها را با فاصله جدا نمیکنند، مقاله نویسهها را میسنجد.
ادعای دقت بدون نام مجموعه آزمون و روش امتیازدهی، اندازهگیری محسوب نمیشود، از جانب هرکس که باشد، از جمله ما.
دقت Whisper در انگلیسی چقدر است؟
Whisper روی انگلیسی واضح دقت بالایی دارد و در انگلیسی نامنظم هم قابل استفاده است. در مقاله، روی 12 مجموعه دیگر انگلیسی، 55.2% خطای کمتری از مدل نظارتشده wav2vec 2.0 داشت که نتیجه LibriSpeech آن تقریباً یکسان بود.
ضبطهای طولانی
Whisper صدا را در پنجرههای 30 ثانیهای میخواند، پس مقاله فایلهای طولانی را جدا آزموده است (جدول 16 پیوست، large-v2):
| مجموعه آزمون ضبط طولانی | محتوا | WER |
|---|---|---|
| TED-LIUM 3 | 11 سخنرانی کامل TED | 3.5% |
| Meanwhile | 64 بخش برنامه آخرشب با واژههای نامعمول فراوان | 5.1% |
| Kincaid46 | 46 ضبط گوناگون از مقایسه 2018 | 8.8% |
| Earnings-21 | تماسهای اعلام نتایج مالی شرکتها | 9.7% |
| Rev16 | 16 قسمت پادکست | 11.3% |
| Earnings-22 | تماسهای اعلام نتایج مالی بیشتر، با لهجههای گوناگون | 12.6% |
| CORAAL | 231 مصاحبه کامل به انگلیسی آفریقاییآمریکایی | 19.6% |
مقایسه Whisper با رونویسان انسانی
OpenAI رونویسی 25 ضبط Kincaid46 را به چهار سرویس انسانی و یک سرویس با کمک رایانه سپرد. سرویس دارای کمک رایانه 1.15 واحد درصد بهتر از Whisper بود و سرویسهای کاملاً انسانی فقط کسری از یک واحد درصد بهتر بودند. جمعبندی مقاله: «بینقص نیست، اما بسیار نزدیک به دقت انسان است.»
اندازه مدل مهم است
Whisper اندازههای مختلف دارد و برنامهها همیشه نمیگویند کدام را اجرا میکنند (جدول 9 پیوست):
| مدل | تعداد پارامتر | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39 میلیون | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74 میلیون | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244 میلیون | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769 میلیون | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550 میلیون | 2.5% | 8.2% | 13.6% | 24.9% |
با دشوارتر شدن صدا، اختلاف بیشتر میشود: حدود 4 واحد درصد در کتاب صوتی واضح و 23 واحد در مهمانی شام. مدل جدیدتر turbo نسخه بهینهشده large-v3 است و برای سرعت بالاتر رونویسی، به تعبیر README شرکت OpenAI در GitHub، «افت جزئی دقت» دارد.
دقت Whisper در زبانهای دیگر چقدر است؟
در زبانهای غیرانگلیسی دقت عمدتاً به میزان داده آموزشی صوتی در همان زبان بستگی دارد. مقاله ضریب همبستگی به توان دو را میان لگاریتم ساعات آموزش و لگاریتم WER برابر 0.83 محاسبه کرده و تخمین زده که با هر 16 برابر شدن داده، WER نصف میشود. بیشتر 96 زبان غیرانگلیسی کمتر از 1,000 ساعت داده داشتند.
منتخبی از نتایج Fleurs (جملههای خواندهشده، large-v2، جدول 13 پیوست):
| زبان | WER در Fleurs | یادداشت |
|---|---|---|
| اسپانیایی | 3.0% | پایینترین نرخ در جدول |
| انگلیسی | 4.2% | |
| پرتغالی | 4.3% | |
| آلمانی | 4.5% | |
| ژاپنی | 5.3% | نرخ خطای نویسه |
| روسی | 5.6% | |
| فرانسوی | 8.3% | |
| کرهای | 14.3% | نتیجه دور از الگو علامتگذاری شده |
| چینی | 14.7% | نرخ خطای نویسه |
| عربی | 16.0% | |
| هندی | 21.5% | |
| عبری | 27.1% | نتیجه دور از الگو علامتگذاری شده |
| سواحیلی | 39.3% | |
| تلوگو | 99.0% | نتیجه دور از الگو علامتگذاری شده |
مقاله گزارش میکند عملکرد عبری، تلوگو، چینی و کرهای از پیشبینی بر اساس داده آموزشی ضعیفتر است، احتمالاً بهعلت فاصله زبانی، سازگار نبودن توکنساز با خط آنها یا کیفیت داده. Fleurs گفتار خواندهشده است، پس در مکالمه انتظار خطای بالاتری داشته باشید. در README نمودار جدیدتری برای large-v3 و large-v2 روی Common Voice 15 و Fleurs هست.
نتایج اسپانیایی برای کسی که صوت اسپانیایی را به متن تبدیل میکند امیدوارکننده است. در زبانهای کممنبع ابتدا یک کلیپ کوتاه را آزمایش کنید و سپس کل پروژه را پردازش کنید.
چه چیزهایی بر دقت Whisper اثر میگذارند؟
شرایط ضبط بیشترین اثر را دارند. شواهد مقاله و کارت مدل:
| عامل | شواهد چه میگویند؟ | چه کار کنید؟ |
|---|---|---|
| نویز پسزمینه | در نویز میخانه با نسبت سیگنال به نویزِ کمتر از 10 دسیبل، Whisper از همه 14 مدل مقایسهشده بهتر بود، اما با افزایش نویز عملکرد همه بدتر شد | در اتاق آرام، دور از پنکه و موسیقی ضبط کنید |
| فاصله میکروفون | همان جلسات AMI در میکروفون هدست 17.4% و در یک میکروفون رومیزی 39.9% خطا داشتند | میکروفون را نزدیک گوینده نگه دارید |
| گفتوگو و صحبت همزمان | تماسها و مهمانی شام از 13.6% تا 24.9% خطا دارند، در برابر 2.5% برای گفتار خواندهشده | هر بار یک نفر صحبت کند. برای هر نفر یک میکروفون بگذارید |
| لهجهها و گویشها | کارت مدل از دقت نابرابر بین لهجهها و گویشها میگوید. مصاحبههای بلند CORAAL نرخ خطای 19.6% داشتند | با گویندگانی شبیه ضبطهای واقعی خود آزمایش کنید |
| واژه نادر و اصطلاح فنی | در مجموعه پر از اصطلاح Meanwhile خوب است (5.1%)، ولی نام و اصطلاح هنوز منشأ خطا هستند | نامها و اصطلاحات را با فهرست تطبیق دهید |
| منابع آموزشی زبان | WER در Fleurs از 3.0% (اسپانیایی) تا 99.0% (تلوگو) است | خودتان زبان را انتخاب کنید و برای زبان کممنبع وقت بیشتری برای بازبینی بگذارید |
| اندازه مدل | tiny در CHiME-6 نرخ خطای 48.0% و large-v2 نرخ 24.9% دارد | بپرسید ابزار چه مدلی دارد یا بزرگترین مدل قابل اجرا را به کار ببرید |
| قالب فایل و نرخ نمونهبرداری | کد Whisper تمام صدا را به مونوی 16 کیلوهرتز بازنمونهگیری میکند | WAV با 48 کیلوهرتز مزیتی بر فایل واضح 16 کیلوهرتز ندارد |
تبدیل MP3 به WAV بزرگ، جزئیات ازدسترفته را برنمیگرداند. ضبط واضح با نرخ بیت متوسط از ضبط پرنویز با نرخ بیت بالا نتیجه بهتری میدهد.
مشکلات شناختهشده Whisper: توهم، تکرار و نشانگر زمانی
OpenAI هر یک از این خطاها را مستند کرده است. اهمیتشان از سهمشان در WER بیشتر است.
متن ساختهشده یا توهم
Whisper ممکن است واژههایی بنویسد که کسی نگفته است. طبق کارت مدل، پیشبینیها «ممکن است متنهایی داشته باشند که در صدای ورودی گفته نشدهاند»، احتمالاً چون مدل واژههای بعدیِ محتمل را هم پیشبینی میکند. بخش محدودیتهای مقاله حتی از «توهم کامل» میگوید، یعنی خروجی بیارتباط با صدا.
در پژوهش مستقل Careless Whisper (کونکه و همکاران، 2024)، 13,140 قطعه صوت در آوریل و مه 2023 با Whisper API شرکت OpenAI پردازش شدند. حدود 1% متنها (بهطور میانگین 1.4%) عبارت یا جمله کامل ساختهشده داشتند و 38% از آنها محتوای زیانآور مانند خشونت یا نسبت نادرست داشتند. این خطا در گویندگان دارای مکث بلندتر، در اینجا افراد مبتلا به زبانپریشی، بیشتر بود. API از آن زمان تغییر کرده است، پس این را اندازهگیری سال 2023 بدانید.
تکرار و واژههای جاافتاده
کارت مدل میگوید Whisper «مستعد تولید متن تکراری» است و جستوجوی پرتویی و تنظیم دمای نمونهگیری آن را کاهش میدهند، «اما نه بهطور کامل». مقاله همچنین افتادن واژه اول یا آخر یک قطعه را ذکر میکند. اصلاح رمزگشایی میانگین WER متن بلند را از 11.0% به 10.0% رساند و بخشی از خطا را کم کرد.
سکوت، موسیقی و مکثهای گفتاری
متن ساختهشده معمولاً در سکوت طولانی یا موسیقی ظاهر میشود. مقاله دید که سیگنال «بدون گفتار» خود Whisper بهتنهایی قابل اتکا نیست. کد متنباز اکنون گزینهای دارد که هنگام تشخیص توهم احتمالی از سکوت طولانی عبور میکند.
جابهجایی نشانگرهای زمانی در فایل بلند
Whisper در فایل بلند هر بار یک پنجره 30 ثانیهای جلو میرود و زمان پیشبینیشده خود را برای جای پنجره بعدی به کار میبرد. مقاله میگوید خطا در یک پنجره میتواند به پنجره بعدی منتقل شود. نشانگرهای زمان در سطح واژه در کد «آزمایشی» هستند. برای زیرنویس زمانبندی اطراف مکثها را نمونهگیری و بررسی کنید.
OpenAI هنگام توسعه همچنین دید Whisper نام گویندگان را حدس میزد و این نامها «تقریباً همیشه غلط» بودند. مدلهای منتشرشده برای کاهش این مشکل تنظیم دقیق شدند، ولی نامهای آمده در متن را بررسی کنید.
10 راه برای بهتر کردن دقت رونویسی Whisper
بیشتر بهبودها پیش از زدن دکمه رونویسی به دست میآیند. ترتیب زیر تقریباً از بیشترین اثر به کمترین است:
- میکروفون را نزدیک بگذارید. فقط فاصله میکروفون در جلسات AMI نرخ خطا را بیش از دو برابر کرد.
- نویز را از منبع کم کنید. پنجره را ببندید، پنکه را خاموش کنید و موسیقی را متوقف کنید.
- از صحبت همزمان پرهیز کنید. اینکه هر بار یک نفر صحبت کند از هر تنظیمی مؤثرتر است.
- سکوت طولانی و مقدمه موسیقی را کوتاه کنید، چون متن ساختهشده اغلب آنجا ظاهر میشود. در مکث برش بزنید، نه میان جمله.
- خودتان زبان را تنظیم کنید. Whisper زبان را در 82 زبان Fleurs در 80.3% موارد درست تشخیص داد، پس تشخیص خودکار ممکن است در کلیپ کوتاه یا لهجهدار خطا کند.
- از بزرگترین مدل در دسترس استفاده کنید، بهویژه برای ضبط پرنویز.
- در اجرای محلی، نامها و اصطلاحات را در ورودی راهنما بدهید. Whisper متنباز گزینه
--initial_promptرا برای املای مورد انتظار میپذیرد. - فایل اصلی را بارگذاری کنید. ضبط دوباره از بلندگو یا چند بار فشردهسازی، جزئیات را از بین میبرد.
- واژههای مهم را بررسی کنید. همه نامها، عددها، تاریخها و سرواژهها را جستوجو و با صدا تطبیق دهید.
- در دو مرحله بازبینی کنید. اول با سرعت عادی خطاها را اصلاح کنید. بعد دنبال نشانههای توهم بگردید: سطر تکراری، جمله در سکوت یا پایانبندی مثل «ممنون که تماشا کردید». برای کار حقوقی، پزشکی یا قابل انتشار، یک نفر همه متن را بازبینی کند.
چگونه دقت Whisper را روی صدای خود اندازه بگیرید؟
بهترین برآورد برای کارتان، آزمایش 30 دقیقهای روی ضبطهای خودتان است. مراحل برای آزمایش خود شماست. whispertranscribe.ai آن را بهعنوان آزمون خود انجام نداده است.
- سه کلیپ 2 دقیقهای انتخاب کنید که به کار واقعی شما شبیه باشند: یکی ساده، یکی معمولی و یکی دشوار.
- متن مرجع را دستی، کلمهبهکلمه بنویسید. اول قاعده بگذارید: «اِم» بماند یا حذف شود و عددها رقمی یا حروفی باشند.
- هر کلیپ را با ابزار مدنظر رونویسی کنید و متن ساده ذخیره کنید.
- هر دو متن را به یک روش نرمال کنید. نرمالساز OpenAI همراه
openai-whisperعرضه میشود. - WER را محاسبه کنید با jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- خطاهای جدی را جدا بشمارید. پنج کلمه پرکننده غلط و پنج نام مشتری غلط WER یکسان دارند، اما اهمیت یکسانی ندارند.
- نتیجه را ثبت کنید تا بتوانید ابزارها یا تنظیمات را مقایسه کنید:
| کلیپ | شرایط | تعداد واژه مرجع | S | D | I | WER | خطاهای جدی |
|---|---|---|---|---|---|---|---|
| کلیپ A | اتاق آرام، یک گوینده | 310 | |||||
| کلیپ B | تماس ویدیویی، دو گوینده | 285 | |||||
| کلیپ C | کافه، گوینده با لهجه | 296 |
تعداد واژهها نمونه است. نکتهای درباره مرحله 4: وقتی نرمالساز انگلیسی OpenAI را روی جمله ساختگی اجرا کردیم، «Dr.» را با «doctor» و «two» را با «2» یکسان دانست، ولی «9th» در برابر «ninth» همچنان خطا بود. پیش از تکیه به امتیاز، تفاوتهای علامتخورده را بخوانید.
دقت whispertranscribe.ai چقدر است؟
whispertranscribe.ai ابزار رونویسی وب با هوش مصنوعی بر پایه Whisper است. از 130+ زبان و بارگذاری تا 5 گیگابایت و 10 ساعت پشتیبانی میکند. دقت روی صوت واضح تا 99% میرسد. نویز پسزمینه، لهجه پررنگ و گفتار همزمان دقت را کم میکنند، همانطور که آزمونهای بالا برای خود Whisper نشان میدهند. ادعا نمیکنیم به اعداد مقاله میرسیم یا از آنها بهتر عمل میکنیم. آزمون مقایسهای خودمان را منتشر نکردهایم، پس کلیپهای خودتان را با مراحل بالا امتحان کنید.
- حالت نویز یا صوت و ویدیوی کمکیفیت در انتخابگر برای بسیاری از زبانها. برای فایل پرنویز، حالت عادی و نویز را امتحان و مقایسه کنید.
- 130+ زبان، حالت Multilingual Mix و ترجمه صدا به انگلیسی.
- فایل تا 5 گیگابایت و 10 ساعت، شناسایی گوینده و نشانگر زمانی (همه امکانات).
- ورودی واضح: بعد از گرفتن رضایت لازم و در جلسه یا کلاس آنلاین اجازه برگزارکننده، در مرورگر ضبط کنید و میکروفون را نزدیک بگذارید. یا ویدیو را به MP3 تبدیل کنید تا فقط صدا بارگذاری شود.
- خروجی به DOCX، PDF، TXT، CSV، SRT و VTT، بهعلاوه سازنده زیرنویس برای زیرنویس زماندار.
میتوانید رایگان و بدون حساب شروع کنید. طرحهای پولی از ماهانه $9.99 با پرداخت سالانه شروع میشوند. قیمتها را ببینید.
پرسشهای متداول
آیا دقت Whisper برابر با 99% است؟
در حالت کلی خیر. بهترین نتیجه منتشرشده Whisper نرخ خطای واژه 2.5% در LibriSpeech test-clean، مجموعه کتاب صوتی با خوانش واضح، است. یعنی تقریباً 97.5% واژهها درستاند. برای تماس تلفنی، جلسه و محیط پرنویز، نتایج OpenAI حدود 13% تا 40% WER هستند. ادعای «99%» فقط وقتی معنا دارد که صدای آزمون مشخص باشد. ابزارهای مبتنی بر Whisper، از جمله whispertranscribe.ai، را با ضبط خودتان ارزیابی کنید.
کدام مدل Whisper دقیقتر است؟
مدلهای large دقیقتریناند. در مقاله OpenAI، large-v2 روی بیشتر مجموعهها کمترین نرخ خطا را داشت. کارت large-v3 در زبانهای زیادی 10% تا 20% خطای کمتر از large-v2 گزارش میکند. turbo نسخه بهینهشده large-v3 است و طبق OpenAI در ازای سرعت بالاتر، افت دقت کمی دارد. مدل tiny روی صدای دشوار بسیار ضعیفتر است: 48.0% WER در مهمانی شام شلوغ، در برابر 24.9% برای large-v2.
چرا Whisper واژههایی را مینویسد که کسی نگفته است؟
Whisper ممکن است دچار توهم شود، چون علاوه بر رونویسی صدا، برای پیشبینی متن محتمل هم آموزش دیده و کارت مدل در مورد خروجیِ خارج از صوت هشدار میدهد. این بیشتر در سکوت طولانی، موسیقی یا نویز رخ میدهد. پژوهش مستقل 2023 در حدود 1% متنها عبارتهای ساختگی یافت و مکثها احتمال را بیشتر میکردند. کوتاه کردن سکوت، تنظیم زبان و بازبینی جاهای ساکت، ریسک را کم میکنند.
Whisper با لهجهها چقدر دقیق است؟
Whisper از بسیاری سامانههای قدیمی لهجهها را بهتر تشخیص میدهد، اما عملکردش یکسان نیست. کارت مدل OpenAI میگوید دقت بین لهجهها و گویشهای یک زبان فرق میکند. در مقاله، مصاحبه بلند انگلیسی آفریقاییآمریکایی (CORAAL) نرخ خطای 19.6% داشت و سخنرانی کامل TED نرخ 3.5%، هرچند شرایط ضبط هم متفاوت بود. راه مطمئن آزمایش کلیپ با گویندگان شبیه ضبطهای واقعی و در نظر گرفتن زمان بازبینی بیشتر برای لهجه پررنگ است.
آیا Whisper بهاندازه رونویس انسانی دقیق است؟
برای انگلیسی به دقت انسان نزدیک میشود، ولی به بهترین نتیجه نمیرسد. OpenAI آن را با پنج سرویس حرفهای روی 25 ضبط مقایسه کرد. سرویس با کمک رایانه نرخ خطای کل 1.15 واحد درصد کمتر داشت و چهار سرویس کاملاً انسانی کسری از یک واحد درصد بهتر بودند. انسان معمولاً نام، گفتار همزمان و صدای مبهم را بهتر تشخیص میدهد. برای مطلبی که نقل، ثبت یا منتشر میشود، یک نفر متن را با ضبط تطبیق دهد.
دقت Whisper برای زبانهای غیرانگلیسی چقدر است؟
بسته به زبان بسیار فرق دارد. در Fleurs، large-v2 برای اسپانیایی 3.0%، آلمانی 4.5% و فرانسوی 8.3% WER داشت، اما در عبری 27.1% و تلوگو 99.0%. چینی و ژاپنی با نرخ خطای نویسه سنجیده شدهاند: 14.7% و 5.3%. مقاله نشان داد دقت با میزان صوت آموزشی هر زبان ارتباط دارد. برای زبان کممنبع ابتدا کلیپ کوتاه را امتحان کنید و برای اصلاح وقت بیشتری بگذارید.
دقت را روی ضبط خودتان آزمایش کنید
آزمونهای منتشرشده درباره صدای دیگراناند. کلیپی را به یکی از 130+ زبان در whispertranscribe.ai بارگذاری کنید و با مراحل این راهنما بسنجید. رایگان و بدون حساب شروع کنید یا طرحها را مقایسه کنید.
مقالههای مرتبط: Whisper AI چیست؟ · بهترین نرمافزارهای رایگان رونویسی · بهترین جایگزینهای TurboScribe · چگونه ویدیوی یوتیوب را رونویسی کنیم · فایل SRT چیست؟ · زیرنویس چسبیده و زیرنویس جداشدنی
منابع
- ردفورد و همکاران، تشخیص مقاوم گفتار با نظارت ضعیف در مقیاس بزرگ (مقاله Whisper، OpenAI، 2022): جدولهای 2، 9، 13 و 16 و بخشهای 3 تا 6
- OpenAI، openai/whisper در GitHub: جدول مدلها در README، توضیح turbo و نمودار WER به تفکیک زبان
- OpenAI و Hugging Face، کارت مدل whisper-large-v3: تغییرهای large-v3، موارد استفاده ارزیابیشده و محدودیتها
- کونکه و همکاران، Careless Whisper: آسیبهای توهم در تبدیل گفتار به متن (2024)
- jiwer: کتابخانه متنباز برای WER و CER
- Hugging Face، Open ASR Leaderboard: مقایسه مستقل و مرتب بهروزشونده مدلهای باز گفتار
