بقلم فريق تحرير whispertranscribe.ai · آخر تحديث: نوفمبر 2026 · مدة القراءة: 13 دقيقة · الفئة: دقة التفريغ النصي
ما مدى دقة Whisper؟ في اللغة الإنجليزية المقروءة بوضوح، تسجل ورقة OpenAI معدل خطأ كلمات (WER) قدره 2.5% لنموذج Whisper large-v2، أي ما يقارب 97 إلى 98 كلمة صحيحة من كل 100 على نحو تقريبي. ترتفع الأخطاء مع الصوت الأصعب: 13.6% للمكالمات الهاتفية، و24.9% في حفل عشاء صاخب، و39.9% في اجتماع سُجّل بميكروفون واحد بعيد.
Whisper نموذج التعرف على الكلام مفتوح المصدر من OpenAI والمحرك المستخدم في تطبيقات تفريغ كثيرة، ومنها تطبيقنا. يتناول هذا الدليل الدقة فقط: ما يقيسه WER، وما تقوله الاختبارات حسب نوع الصوت واللغة، وأين يخطئ Whisper، وكيف تختبره بنفسك. لخلفية عن النموذج، راجع شرحنا عن Whisper AI.
تأتي معظم الأرقام من ورقة Whisper للباحث Radford وزملائه عام 2022، التي اختبرت كل نموذج دون ضبط إضافي على مجموعات الاختبار. وتذكر بطاقة نموذج large-v3 الأحدث أخطاء أقل بنسبة 10% إلى 20% من large-v2 عبر لغات كثيرة، دون جدول كامل لكل مجموعة بيانات. ينشر whispertranscribe.ai هذا المقال. لم نجرِ اختبارًا معياريًا له، ولا تمثل أي من هذه الأرقام نتيجة اختبار أجريناه بأنفسنا.
لمحة سريعة عن دقة Whisper
لا تجيب مجموعة اختبار واحدة عن السؤال، لأن طبيعة الصوت تؤثر في الرقم أكثر من أي عامل آخر. يعرض الجدول نتائج OpenAI لنموذج large-v2 مع بحث الحزمة والرجوع إلى درجات حرارة مختلفة عند الحاجة، وفق الجدول 9 في الملحق، بعد تطبيق أداة OpenAI لتوحيد النص.
| نوع الصوت | مجموعة الاختبار في الورقة | WER لنموذج Whisper large-v2 | النسبة التقريبية للكلمات الصحيحة |
|---|---|---|---|
| كتاب صوتي، قارئ واضح | LibriSpeech test-clean | 2.5% | نحو 97.5 من كل 100 |
| نص إخباري مقروء | WSJ | 2.6% | نحو 97.4 من كل 100 |
| محاضرات TED | TED-LIUM 3 | 3.7% | نحو 96 من كل 100 |
| كتاب صوتي، متحدثون أصعب | LibriSpeech test-other | 4.9% | نحو 95 من كل 100 |
| متطوعون باستخدام ميكروفونات منزلية | Common Voice 5.1 | 8.2% | نحو 92 من كل 100 |
| محادثات هاتفية | Switchboard | 13.6% | نحو 86 من كل 100 |
| مقابلات طويلة في علم اللغة الاجتماعي | CORAAL | 14.2% | نحو 86 من كل 100 |
| مكالمات بين الأسرة والأصدقاء | CallHome | 16.4% | نحو 84 من كل 100 |
| اجتماعات بميكروفون سماعة لكل شخص | AMI IHM | 17.4% | نحو 83 من كل 100 |
| حفلات عشاء بميكروفونات بعيدة | CHiME-6 | 24.9% | نحو 75 من كل 100 |
| اجتماعات بميكروفون طاولة واحد بعيد | AMI SDM1 | 39.9% | نحو 60 من كل 100 |
«النسبة التقريبية للكلمات الصحيحة» هنا هي 100 ناقص WER، وهي طريقة مختصرة وليست نسبة تطابق دقيقة، لأن WER يحسب الكلمات المضافة أيضًا.
قد ترى رقم 2.7% بدلًا من ذلك كثيرًا: إنه النموذج نفسه مع فك ترميز جشع أبسط، وفق الجدول 2 في الورقة. ولاحظ أن صفَّي AMI يمثلان الاجتماعات نفسها المسجلة بطريقتين. نقل الميكروفون من رأس كل متحدث إلى منتصف الطاولة يضاعف معدل الخطأ أكثر من مرتين.
ما معدل خطأ الكلمات WER وكيف يُحسب؟
يقيس معدل خطأ الكلمات الأخطاء في النص مقارنةً بمرجع راجعه إنسان. احسب ثلاثة أنواع من الأخطاء واقسم مجموعها على عدد كلمات المرجع:
WER = (الاستبدالات + الكلمات المحذوفة + الكلمات المضافة) ÷ عدد كلمات المرجع
- الاستبدال: كلمة خاطئة بدل الصحيحة، مثل «إصلاح» بدل «إطلاق».
- الحذف: كلمة منطوقة غابت عن النص.
- الإضافة: كلمة وردت في النص ولم ينطق بها أحد.
فيما يلي مثال وضعناه، ويمكن حسابه باستخدام مكتبة jiwer مفتوحة المصدر:
| السطر | النص |
|---|---|
| المرجع (22 كلمة) | نقلنا إطلاق المنتج إلى التاسع من مارس لأن المورد أخفق في موعدين وأرادت الدكتورة مريم خطة اختبار جديدة الأسبوع القادم قبل الاجتماع |
| النص المفرّغ | نقلنا إصلاح إلى التاسع من مارس لأن المورد أخفق في موعدين وأرادت الدكتورة سليم خطة اختبار جديدة الأسبوع القادم قبل الاجتماع غدا |
| الأخطاء | استبدالان («إصلاح» و«سليم»)، وحذف واحد («المنتج»)، وإضافة واحدة («غدا») |
| WER | 4 ÷ 22 = 18.2% |
هناك ثلاث نقاط قد تفاجئك بشأن WER:
- قد يتجاوز 100%. لا يوجد حد أعلى للإضافات، وقد سجلت لغات قليلة الموارد في نتائج Fleurs بالورقة معدلات تفوق 100%.
- توحيد النص يغير النتيجة. يُحسب «Dr.» مقابل «doctor» خطأً ما لم يُوحَّد النصان بالطريقة نفسها. تقول OpenAI إن أداة التوحيد خفضت WER حتى 50% في بعض المجموعات، غالبًا بإزالة اختلافات التنسيق.
- تستخدم بعض اللغات معدل خطأ الأحرف CER. في الصينية واليابانية والتايلاندية واللاوية والبورمية، حيث لا تفصل المسافات بين الكلمات بالطريقة نفسها، تحسب الورقة أخطاء الأحرف بدل الكلمات.
الادعاء بالدقة دون تسمية مجموعة الاختبار وطريقة القياس ليس قياسًا، أيًا كانت الجهة التي تذكره، بما في ذلك نحن.
ما مدى دقة Whisper في الإنجليزية؟
يحقق Whisper دقة عالية جدًا في الإنجليزية الواضحة، ويبقى قابلًا للاستخدام في الإنجليزية الأقل وضوحًا. في الورقة، ارتكب أخطاء أقل بنسبة 55.2% عبر 12 مجموعة بيانات إنجليزية أخرى مقارنةً بنموذج wav2vec 2.0 خاضع للإشراف حقق نتيجة متقاربة جدًا على LibriSpeech.
التسجيلات الطويلة
يقرأ Whisper الصوت في نوافذ مدة كل منها 30 ثانية، لذا اختبرت الورقة الملفات الطويلة على حدة، باستخدام large-v2 في الجدول 16 من الملحق:
| مجموعة الاختبار الطويلة | محتواها | WER |
|---|---|---|
| TED-LIUM 3 | 11 محاضرة TED كاملة | 3.5% |
| Meanwhile | 64 فقرة تلفزيونية ليلية مليئة بالكلمات غير المعتادة | 5.1% |
| Kincaid46 | 46 تسجيلًا متنوعًا من مقارنة عام 2018 | 8.8% |
| Earnings-21 | مكالمات إعلان نتائج الشركات | 9.7% |
| Rev16 | 16 حلقة بودكاست | 11.3% |
| Earnings-22 | مزيد من مكالمات النتائج بلكنات متعددة | 12.6% |
| CORAAL | 231 مقابلة كاملة بالإنجليزية الأمريكية الإفريقية | 19.6% |
Whisper مقابل المفرّغين البشر
طلبت OpenAI تفريغ 25 تسجيلًا من Kincaid46 عبر أربع خدمات بشرية وخدمة واحدة بمساعدة الحاسوب. حققت الخدمة المدعومة بالحاسوب نتيجة أفضل من Whisper بمقدار 1.15 نقطة مئوية، وكانت الخدمات البشرية بالكامل أفضل بجزء من نقطة فقط. وخلصت الورقة إلى أن الدقة ليست مثالية لكنها قريبة جدًا من المستوى البشري.
حجم النموذج مهم
يتوفر Whisper بأحجام عدة، ولا تصرّح التطبيقات دائمًا بالنموذج الذي تشغله، وفق الجدول 9 في الملحق:
| النموذج | المعلمات | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
تتسع الفجوة كلما صعب الصوت: نحو 4 نقاط في الكتب الصوتية الواضحة و23 نقطة في حفل العشاء. يقبل نموذج turbo الأحدث، وهو نسخة محسّنة من large-v3، ما يسميه ملف README على GitHub تراجعًا طفيفًا في الدقة مقابل تفريغ أسرع بكثير.
ما مدى دقة Whisper في اللغات الأخرى؟
خارج الإنجليزية، تعتمد الدقة بدرجة كبيرة على مقدار صوت التدريب المتاح للغة. وجدت الورقة معامل ارتباط تربيعيًا قدره 0.83 بين لوغاريتم ساعات التدريب ولوغاريتم WER، وتقدّر أن WER ينخفض إلى النصف مع كل زيادة للبيانات بمقدار 16 ضعفًا. كان لدى معظم اللغات الـ 96 غير الإنجليزية أقل من 1,000 ساعة.
نتائج مختارة من Fleurs، لجمل مقروءة باستخدام large-v2، من الجدول 13 في الملحق:
| اللغة | WER في Fleurs | ملاحظة |
|---|---|---|
| الإسبانية | 3.0% | الأقل في الجدول |
| الإنجليزية | 4.2% | |
| البرتغالية | 4.3% | |
| الألمانية | 4.5% | |
| اليابانية | 5.3% | معدل خطأ الأحرف |
| الروسية | 5.6% | |
| الفرنسية | 8.3% | |
| الكورية | 14.3% | صُنفت نتيجة شاذة |
| الصينية | 14.7% | معدل خطأ الأحرف |
| العربية | 16.0% | |
| الهندية | 21.5% | |
| العبرية | 27.1% | صُنفت نتيجة شاذة |
| السواحيلية | 39.3% | |
| التيلوغوية | 99.0% | صُنفت نتيجة شاذة |
تشير الورقة إلى أن العبرية والتيلوغوية والصينية والكورية أدت أداءً أسوأ مما تتوقعه بيانات تدريبها، ربما بسبب المسافة اللغوية أو أداة تقسيم نصوص لا تناسب أنظمة الكتابة تلك أو جودة البيانات. يتكون Fleurs من كلام مقروء، لذا توقع معدلات خطأ أعلى في المحادثة. يحتوي ملف README على رسم أحدث لنتائج large-v3 وlarge-v2 في Common Voice 15 وFleurs.
تبعث النتائج الإسبانية على التفاؤل إذا كنت تريد تفريغ الصوت الإسباني إلى نص. أما اللغات الأقل موارد، فاختبر فيها مقطعًا قصيرًا قبل البدء بمشروع كامل.
ما العوامل التي تؤثر في دقة Whisper؟
تؤثر ظروف التسجيل أكثر من أي شيء آخر. فيما يلي أدلة من الورقة وبطاقة النموذج:
| العامل | ما تظهره الأدلة | ما العمل؟ |
|---|---|---|
| ضوضاء الخلفية | عند ضوضاء حانة ونسبة إشارة إلى ضوضاء أقل من 10 dB، تفوق Whisper على نماذج المقارنة الـ 14، لكن أداء كل النماذج تراجع مع زيادة الضوضاء | سجّل في غرفة هادئة بعيدًا عن المراوح والموسيقى |
| بُعد الميكروفون | في اجتماعات AMI نفسها: 17.4% بميكروفونات سماعات الرأس و39.9% بميكروفون طاولة واحد | قرّب الميكروفون ممن يتحدث |
| المحادثة وتداخل الكلام | سجلت المكالمات وحفلات العشاء بين 13.6% و24.9% مقابل 2.5% للكلام المقروء | ليتحدث شخص واحد في كل مرة؛ وخصص ميكروفونًا لكل متحدث |
| اللكنات واللهجات | تذكر بطاقة النموذج تفاوت الدقة بين اللكنات واللهجات؛ وسجلت مقابلات CORAAL الطويلة 19.6% | اختبر متحدثين تشبه أصواتهم تسجيلاتك الحقيقية |
| الكلمات النادرة والمصطلحات المتخصصة | الأداء جيد على مجموعة Meanwhile الغنية بالمصطلحات غير المعتادة، بنسبة 5.1%، لكن الأسماء والمصطلحات التقنية تظل عرضة للأخطاء | راجع الأسماء والمصطلحات مقابل قائمة |
| موارد اللغة | يتراوح WER في Fleurs بين 3.0% للإسبانية و99.0% للتيلوغوية | حدد اللغة بنفسك وخطط لمراجعة أكثر للغات الأقل موارد |
| حجم النموذج | يسجل tiny نسبة 48.0% على CHiME-6، مقابل 24.9% لـ large-v2 | اسأل عن النموذج المستخدم في الأداة أو استخدم أكبر نموذج متاح |
| صيغة الملف ومعدل العينة | تعيد شيفرة Whisper أخذ عينات كل الصوت بمعدل 16 كيلوهرتز أحادي | لا يضيف WAV بمعدل 48 كيلوهرتز شيئًا مقارنة بملف واضح بمعدل 16 كيلوهرتز |
لا يعيد تحويل MP3 إلى WAV كبير التفاصيل المفقودة. يتفوق تسجيل واضح بمعدل بت معتدل على تسجيل صاخب بمعدل بت مرتفع.
مشكلات Whisper المعروفة: الهلوسة والتكرار والطوابع الزمنية
توثّق OpenAI كل أنواع الإخفاق التالية، وقد تكون أهم مما توحي به حصتها من WER.
النص المختلق
قد يكتب Whisper كلمات لم ينطق بها أحد. تقول بطاقة النموذج إن التوقعات قد تتضمن نصوصًا لم تُنطق فعليًا في الإدخال الصوتي، ويرجح أن ذلك مرتبط بأن النموذج يتنبأ أيضًا بالكلمات التالية المحتملة. ويذكر قسم القيود في الورقة حتى «الهلوسة الكاملة»، أي إخراج نص لا علاقة له بالصوت.
في دراسة مستقلة بعنوان Careless Whisper للباحثة Koenecke وزملائها عام 2024، مرر الباحثون 13,140 مقطعًا صوتيًا عبر واجهة Whisper من OpenAI في أبريل ومايو 2023. احتوى نحو 1% من النصوص، بمتوسط 1.4%، على عبارات أو جمل مختلقة بالكامل، وتضمن 38% من تلك الحالات محتوى ضارًا مثل العنف أو الربط الكاذب. وكان ذلك أكثر حدوثًا لدى المتحدثين ذوي فترات التوقف الأطول، وهم في هذه الدراسة أشخاص مصابون بالحبسة. تغيرت الواجهة منذ ذلك الحين، لذا تعامل معها بوصفها نتيجة قياس لعام 2023.
تكرار الحلقات وسقوط الكلمات
تقول بطاقة النموذج إن Whisper معرّض لإنتاج نصوص متكررة، وإن بحث الحزمة وجدولة درجات الحرارة يقللان ذلك دون حله بالكامل. وتذكر الورقة أيضًا احتمال تخطي الكلمات الأولى أو الأخيرة من المقطع. خفضت إصلاحات فك الترميز متوسط WER للتسجيلات الطويلة من 11.0% إلى 10.0%: تحسن، لكنه ليس حلًا نهائيًا.
الصمت والموسيقى والكلمات الحشوية
يميل النص المختلق إلى الظهور أثناء فترات الصمت الطويلة والموسيقى. وجدت الورقة أن إشارة Whisper الخاصة بـ «عدم وجود كلام» لا يمكن الاعتماد عليها وحدها، وتتضمن الشيفرة مفتوحة المصدر الآن خيارًا لتخطي فترات الصمت الطويلة عند اكتشاف احتمال الهلوسة.
انزياح التوقيت والملفات الطويلة
يتقدم Whisper عبر الصوت الطويل نافذةً تلو الأخرى، مدة كل منها 30 ثانية، مستخدمًا الطوابع الزمنية التي توقعها لتحديد موضع النافذة التالية. لذلك تشير الورقة إلى أن خطأ نافذة قد ينتقل إلى التي تليها. وتُصنّف الطوابع الزمنية على مستوى الكلمات بأنها «تجريبية» في الشيفرة. عند إعداد الترجمات، افحص التوقيت حول فترات التوقف.
أثناء التطوير، لاحظت OpenAI أيضًا أن Whisper يخمّن أسماء متحدثين وكانت تلك التخمينات خاطئة دائمًا تقريبًا. ضُبطت النماذج المنشورة للحد من ذلك، لكن راجع أي اسم في النص.
10 طرق لتحسين دقة تفريغ Whisper
تتحقق معظم التحسينات قبل بدء التفريغ. رُتبت الخطوات تقريبًا من الأثر الأكبر إلى الأصغر:
- قرّب الميكروفون. أدى البعد وحده إلى أكثر من مضاعفة معدل الخطأ في اجتماعات AMI.
- قلّل الضوضاء من مصدرها. أغلق النوافذ وأوقف المراوح والموسيقى.
- تجنب تداخل الكلام. تحدث شخص واحد في كل مرة أفضل من أي إعداد.
- اقطع فترات الصمت الطويلة والمقدمات الموسيقية التي يظهر فيها النص المختلق كثيرًا. اقطع عند التوقفات لا في منتصف الجملة.
- حدد اللغة بنفسك. تعرّف Whisper على اللغة بصورة صحيحة في 80.3% من الحالات عبر 82 لغة في Fleurs، لذا قد يخطئ الاكتشاف التلقائي مع المقاطع القصيرة أو اللكنات.
- استخدم أكبر نموذج متاح، خصوصًا للتسجيلات الصاخبة.
- زوّد النموذج بالأسماء والمصطلحات إذا شغّلته بنفسك. يقبل Whisper مفتوح المصدر خيار
--initial_promptمع التهجئات المتوقعة. - ارفع الملف الأصلي. تؤدي إعادة التسجيل عبر مكبرات الصوت أو الضغط المتكرر إلى فقد التفاصيل.
- افحص المصطلحات. ابحث عن كل اسم ورقم وتاريخ واختصار وتحقق منه بمقارنة الصوت.
- راجع على مرحلتين. صحح الأخطاء أولًا بالسرعة العادية. ثم ابحث عن علامات الهلوسة: أسطر مكررة أو جمل أثناء الصمت أو عبارات ختامية مثل «شكرًا للمشاهدة». في الأعمال القانونية أو الطبية أو المعدّة للنشر، اطلب من شخص مراجعة النص كاملًا.
كيفية قياس دقة Whisper على تسجيلاتك
أفضل تقدير لعملك هو اختبار نحو 30 دقيقة من تسجيلاتك. والخطوات التالية لتنفذها بنفسك، وليست اختبارًا أجراه whispertranscribe.ai. تبدأ العينة السريعة أدناه بثلاثة مقاطع مدة كل منها دقيقتان، أي 6 دقائق إجمالًا؛ وللوصول إلى 30 دقيقة زد عدد المقاطع الممثلة لعملك.
- اختر ثلاثة مقاطع مدة كل منها دقيقتان تشبه عملك الفعلي: واحد سهل وآخر نموذجي وثالث صعب.
- اكتب نصًا مرجعيًا يدويًا كلمة بكلمة. حدد القواعد أولًا، مثل إبقاء كلمات التردد أو حذفها وكتابة الأرقام بالأرقام أو الحروف.
- فرّغ كل مقطع بالأداة التي تختبرها واحفظ نصًا عاديًا.
- وحّد النصين بالطريقة نفسها. تأتي أداة OpenAI لتوحيد النص مع
openai-whisper. - احسب WER باستخدام jiwer. السكربت التالي مخصص للإنجليزية لأنه يستخدم EnglishTextNormalizer؛ للعربية واللغات الأخرى، استخدم طريقة توحيد مناسبة للغة وطبقها بالتساوي على النصين:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- احسب الأخطاء الحرجة على حدة. تعطي خمس كلمات حشوية خاطئة وخمسة أسماء عملاء خاطئة معدل WER نفسه، لكنهما ليستا المشكلة نفسها.
- سجّل النتائج حتى تتمكن من مقارنة الأدوات أو الإعدادات:
| المقطع | الظروف | كلمات المرجع | S | D | I | WER | الأخطاء الحرجة |
|---|---|---|---|---|---|---|---|
| المقطع A | غرفة هادئة ومتحدث واحد | 310 | |||||
| المقطع B | مكالمة فيديو ومتحدثان | 285 | |||||
| المقطع C | مقهى ومتحدث بلكنة | 296 |
أعداد الكلمات أمثلة توضيحية. تنبيه بشأن الخطوة 4: عندما شغّلنا أداة OpenAI لتوحيد الإنجليزية على جملة من إعدادنا، طابقت «Dr.» مع «doctor» و«two» مع «2»، لكنها ظلت تحسب «9th» مقابل «ninth» خطأً. اقرأ الاختلافات المشار إليها قبل الاعتماد على النتيجة.
ما مدى دقة whispertranscribe.ai؟
whispertranscribe.ai أداة تفريغ بالذكاء الاصطناعي تعمل عبر الويب ومدعومة بـ Whisper، وتدعم أكثر من 130 لغة ورفع ملفات تصل إلى 5GB و10 ساعات. تصل الدقة إلى 99% للصوت الواضح؛ وتقل بسبب ضوضاء الخلفية واللكنات القوية وتداخل المتحدثين، كما تظهر الاختبارات أعلاه لـ Whisper نفسه. لا ندعي مطابقة أرقام الورقة أو التفوق عليها، ولم ننشر اختبارنا المعياري الخاص، لذا اختبر مقاطعك باتباع الخطوات السابقة.
- خيارات Noise / Low-Quality Audio/Video للضوضاء والصوت أو الفيديو منخفض الجودة في قائمة اختيار كثير من اللغات. جرّب الخيار القياسي وخيار الضوضاء على ملف صاخب وقارن.
- أكثر من 130 لغة، وخيار Multilingual Mix وترجمة الصوت إلى الإنجليزية.
- ملفات حتى 5GB و10 ساعات، مع اكتشاف المتحدثين والطوابع الزمنية (كل الميزات).
- إدخال واضح: سجّل في المتصفح مع تقريب الميكروفون، أو حوّل الفيديو إلى MP3 لرفع الصوت وحده.
- التصدير إلى DOCX وPDF وTXT وCSV وSRT وVTT، بالإضافة إلى أداة إنشاء الترجمة للتعليقات الموقّتة.
يمكنك البدء مجانًا دون حساب. تبدأ الخطط المدفوعة من 9.99 دولارًا شهريًا عند الفوترة السنوية؛ راجع الأسعار. وتشير سياسة الخصوصية إلى أن خدمة تفريغ ملفات الوسائط مخصصة للاستخدام الشخصي غير التجاري.
الأسئلة الشائعة
هل تصل دقة Whisper إلى 99%؟
ليس بوجه عام. أفضل نتيجة منشورة لـ Whisper هي معدل خطأ كلمات قدره 2.5% في LibriSpeech test-clean، وهي مجموعة كتب صوتية مقروءة بوضوح، بما يعادل تقريبًا 97.5% من الكلمات الصحيحة وفق الحساب المختصر أعلاه. في المكالمات والاجتماعات والغرف الصاخبة، تتراوح أرقام OpenAI نفسها بين نحو 13% و40% WER. لا يكون الادعاء بنسبة «99%» ذا معنى إلا إذا ذكر الصوت الذي قيس عليه. وينبغي تقييم الأدوات المبنية على Whisper، ومنها whispertranscribe.ai، باستخدام تسجيلاتك لا نسبة دعائية عامة.
أي نموذج Whisper هو الأكثر دقة؟
النماذج الكبيرة هي الأكثر دقة. في ورقة OpenAI، سجل large-v2 أقل معدلات الخطأ في معظم مجموعات الاختبار، وتذكر بطاقة large-v3 أخطاء أقل بنسبة 10% إلى 20% من large-v2 عبر لغات كثيرة. أما turbo فهو نسخة محسنة من large-v3 تقول OpenAI إنها تفقد قدرًا ضئيلًا من الدقة مقابل سرعة أعلى بكثير. النموذج الأصغر tiny أقل دقة بكثير في الصوت الصعب: 48.0% WER في حفل عشاء صاخب مقابل 24.9% لـ large-v2.
لماذا يكتب Whisper كلمات لم تُقل؟
قد يهلوس Whisper لأنه مدرَّب على توقع النص المحتمل إلى جانب تفريغ الصوت، وتحذر بطاقة OpenAI من أنه قد ينتج نصًا غير موجود في التسجيل. يحدث ذلك غالبًا أثناء الصمت الطويل أو الموسيقى أو الضوضاء. وجدت دراسة مستقلة على بيانات عام 2023 عبارات مختلقة في نحو 1% من النصوص، وكانت التوقفات تزيد احتمالها. يقلل الخطر اقتطاع الصمت وتحديد اللغة ومراجعة المقاطع الهادئة في النص.
ما مدى دقة Whisper مع اللكنات؟
يتعامل Whisper مع اللكنات أفضل من أنظمة أقدم كثيرة، لكن ليس بالتساوي. تقول بطاقة OpenAI إن الدقة تختلف بين لكنات اللغة الواحدة ولهجاتها. في الورقة، سجلت المقابلات الطويلة بالإنجليزية الأمريكية الإفريقية في CORAAL معدل 19.6% WER، مقابل 3.5% لمحاضرات TED الكاملة، مع اختلاف ظروف التسجيل أيضًا. الطريقة الموثوقة هي اختبار مقطع لمتحدثين يشبهون تسجيلاتك الفعلية، والتخطيط لمراجعة أكثر عندما تكون اللكنات قوية.
هل Whisper بدقة المفرّغ البشري؟
في الإنجليزية، يقترب Whisper من الأفضل لكنه لا يطابقه. قارنته OpenAI بخمس خدمات احترافية على 25 تسجيلًا. حققت خدمة بمساعدة الحاسوب معدل WER إجماليًا أقل من Whisper بمقدار 1.15 نقطة مئوية، وكانت أربع خدمات بشرية بالكامل أفضل بجزء من نقطة. لا يزال البشر يميلون إلى التعامل مع الأسماء وتداخل الكلام والصوت غير الواضح على نحو أفضل. لأي نص سيُقتبس أو يُقدَّم رسميًا أو يُنشر، ينبغي أن يراجعه شخص مقابل التسجيل.
ما مدى دقة Whisper في اللغات غير الإنجليزية؟
تختلف الدقة كثيرًا حسب اللغة. في اختبار Fleurs، سجل large-v2 معدل 3.0% WER للإسبانية و4.5% للألمانية و8.3% للفرنسية، مقابل 27.1% للعبرية و99.0% للتيلوغوية. تُقاس الصينية واليابانية بمعدل خطأ الأحرف: 14.7% و5.3% على الترتيب. وجدت الورقة أن الدقة ترتبط بمقدار صوت التدريب المتاح لكل لغة. في اللغات الأقل موارد، اختبر مقطعًا قصيرًا أولًا وخصص وقتًا أكبر للتصحيح.
اختبر الدقة على تسجيلك
تصف الاختبارات المعيارية تسجيلات أشخاص آخرين. ارفع مقطعًا إلى whispertranscribe.ai بأي من أكثر من 130 لغة، واحسب نتيجته باستخدام خطوات هذا الدليل. ابدأ مجانًا دون حساب أو قارن الخطط.
مقالات ذات صلة: ما Whisper AI؟ · أفضل برامج التفريغ المجانية · أفضل بدائل TurboScribe · كيفية تفريغ فيديو YouTube · ما ملف SRT؟ · الترجمة المدمجة مقابل المنفصلة
المراجع
- Radford وزملاؤه، التعرف المتين على الكلام عبر الإشراف الضعيف واسع النطاق، ورقة Whisper من OpenAI لعام 2022: الجداول 2 و9 و13 و16 والأقسام من 3 إلى 6
- OpenAI، مستودع openai/whisper على GitHub: جدول النماذج في README وملاحظة turbo ورسم WER حسب اللغة
- OpenAI وHugging Face، بطاقة نموذج whisper-large-v3: تغييرات large-v3 والاستخدامات التي خضعت للتقييم والقيود
- Koenecke وزملاؤها، Careless Whisper: أضرار الهلوسة في تحويل الكلام إلى نص (2024)
- jiwer: مكتبة مفتوحة المصدر لحساب WER وCER
- Hugging Face، لوحة صدارة التعرف المفتوح على الكلام: مقارنة مستقلة تُحدَّث بانتظام لنماذج الكلام المفتوحة
