מאת מערכת whispertranscribe.ai · עודכן לאחרונה: נובמבר 2026 · זמן קריאה: 13 דקות · קטגוריה: דיוק בתמלול
עד כמה Whisper מדויק? באנגלית מוקראת וברורה, מאמר OpenAI מדווח על שיעור שגיאת מילים (WER) של 2.5% ל-Whisper large-v2, כלומר כ-97 עד 98 מילים מתוך 100 נכונות. בשמע קשה יותר התוצאות גרועות יותר: 13.6% בשיחות טלפון, 24.9% בארוחת ערב רועשת ו-39.9% בפגישה שהוקלטה ממיקרופון מרוחק אחד.
Whisper הוא מודל זיהוי דיבור בקוד פתוח של OpenAI והמנוע מאחורי אפליקציות תמלול רבות, כולל שלנו. מדריך זה עוסק בדיוק בלבד: מה WER מודד, מה אומרים מדדי המחקר לפי סוג שמע ושפה, היכן Whisper נכשל ואיך לבדוק בעצמכם. לרקע על המודל ראו מהו Whisper AI.
רוב הנתונים באים ממאמר Whisper (Radford ועמיתיו, 2022), שבדק כל מודל בגישת zero-shot, ללא כוונון על מערכי הבדיקה. כרטיס המודל large-v3 החדש יותר מדווח על 10% עד 20% פחות שגיאות מ-large-v2 בשפות רבות, אך ללא טבלה מלאה לפי מערך נתונים. whispertranscribe.ai מפרסם מאמר זה. לא ערכנו עבורו מבחן השוואתי ואף מספר כאן אינו תוצאת בדיקה שלנו.
דיוק Whisper במבט מהיר
אף מערך בדיקה יחיד אינו עונה על השאלה, משום שהשמע משפיע על הנתון יותר מכל דבר אחר. הטבלה מציגה תוצאות OpenAI ל-large-v2 עם beam search ו-temperature fallback (טבלה 9 בנספח), לאחר נרמול הטקסט של OpenAI.
| סוג שמע | מערך הבדיקה במאמר | WER של Whisper large-v2 | שיעור מקורב של מילים נכונות |
|---|---|---|---|
| ספר שמע, קריין ברור | LibriSpeech test-clean | 2.5% | כ-97.5 מתוך 100 |
| טקסט חדשות מוקרא | WSJ | 2.6% | כ-97.4 מתוך 100 |
| הרצאות TED | TED-LIUM 3 | 3.7% | כ-96 מתוך 100 |
| ספר שמע, דוברים קשים יותר | LibriSpeech test-other | 4.9% | כ-95 מתוך 100 |
| מתנדבים עם מיקרופונים ביתיים | Common Voice 5.1 | 8.2% | כ-92 מתוך 100 |
| שיחות טלפון | Switchboard | 13.6% | כ-86 מתוך 100 |
| ריאיונות סוציו-לשוניים ארוכים | CORAAL | 14.2% | כ-86 מתוך 100 |
| שיחות טלפון בין משפחה וחברים | CallHome | 16.4% | כ-84 מתוך 100 |
| פגישות, לכל אדם מיקרופון אוזנייה | AMI IHM | 17.4% | כ-83 מתוך 100 |
| ארוחות ערב, מיקרופונים מרוחקים | CHiME-6 | 24.9% | כ-75 מתוך 100 |
| פגישות, מיקרופון שולחני מרוחק אחד | AMI SDM1 | 39.9% | כ-60 מתוך 100 |
"שיעור המילים הנכונות" הוא 100 פחות WER, קירוב בלבד משום ש-WER סופר גם מילים שנוספו.
לעיתים קרובות מצוטט 2.7%: זהו אותו מודל עם פענוח greedy פשוט יותר (טבלה 2 במאמר). שימו לב ששורות AMI מתארות אותן פגישות שהוקלטו בשתי דרכים. העברת המיקרופון מראש כל דובר למרכז השולחן יותר ממכפילה את שיעור השגיאות.
מהו שיעור שגיאת מילים (WER) וכיצד מחשבים אותו?
שיעור שגיאת מילים הוא חלק המילים שהתמליל טועה בהן לעומת תמליל ייחוס שנבדק בידי אדם. סופרים שלושה סוגי שגיאות ומחלקים במספר המילים בייחוס:
WER = (החלפות + השמטות + הוספות) ÷ מספר המילים בייחוס
- החלפה: מילה שגויה במקום הנכונה ("lunch", ארוחת צהריים, במקום "launch", השקה).
- השמטה: מילה שנאמרה וחסרה בתמליל.
- הוספה: מילה בתמליל שאיש לא אמר.
הנה דוגמה שיצרנו, שנמדדה בספריית הקוד הפתוח jiwer. פירוש משפט הייחוס: "העברנו את השקת המוצר לתשעה במרץ כי הספק החמיץ שני מועדים ודוקטור פאטל רוצה תוכנית בדיקה חדשה". בתמליל הוחלפו "השקה" ו"פאטל", הושמטה מילה ונוספה "היום":
| שורה | טקסט |
|---|---|
| ייחוס (22 מילים) | we moved the product launch to march ninth because the vendor missed two deadlines and doctor patel wants a new test plan |
| תמליל | we moved the product lunch to march ninth because vendor missed two deadlines and doctor battle wants a new test plan today |
| שגיאות | 2 החלפות (lunch, battle), השמטה אחת (the), הוספה אחת (today) |
| WER | 4 ÷ 22 = 18.2% |
שלושה דברים לגבי WER מבלבלים אנשים:
- הוא יכול לעלות על 100%. אין תקרה למספר ההוספות, וכמה שפות דלות משאבים בתוצאות Fleurs במאמר עוברות 100%.
- נרמול משנה את הציון. "Dr." לעומת "doctor" נחשבים שגיאה אלא אם שני הטקסטים מנוקים באותה דרך. OpenAI אומרת שהמנרמל שלה הפחית WER עד 50% בחלק ממערכי הנתונים, בעיקר על ידי הסרת הבדלי עיצוב.
- חלק מהשפות משתמשות בשיעור שגיאות תווים (CER). בסינית, יפנית, תאית, לאית ובורמזית, שבהן מילים אינן מופרדות ברווחים, המאמר מודד תווים במקום מילים.
טענת דיוק ללא שם מערך בדיקה ושיטת מדידה אינה מדידה, ללא קשר למי שטוען אותה, כולל אנחנו.
עד כמה Whisper מדויק באנגלית?
Whisper מדויק מאוד באנגלית ברורה ונשאר שימושי באנגלית קשה יותר. במאמר הוא שגה 55.2% פחות על פני 12 מערכי נתונים אחרים באנגלית לעומת מודל wav2vec 2.0 מאומן בפיקוח בעל ציון LibriSpeech כמעט זהה.
הקלטות ארוכות
Whisper קורא שמע בחלונות של 30 שניות, ולכן המאמר בדק קבצים ארוכים בנפרד (טבלה 16 בנספח, large-v2):
| מערך בדיקה ארוך | מה הוא מכיל | WER |
|---|---|---|
| TED-LIUM 3 | 11 הרצאות TED מלאות | 3.5% |
| Meanwhile | 64 קטעי טלוויזיה בשעות הלילה, עם מילים חריגות רבות | 5.1% |
| Kincaid46 | 46 הקלטות מגוונות מהשוואה ב-2018 | 8.8% |
| Earnings-21 | שיחות תוצאות כספיות של חברות | 9.7% |
| Rev16 | 16 פרקי פודקאסט | 11.3% |
| Earnings-22 | שיחות תוצאות נוספות, מבטאים רבים | 12.6% |
| CORAAL | 231 ריאיונות מלאים באנגלית אפרו-אמריקאית | 19.6% |
Whisper לעומת מתמללים אנושיים
OpenAI ביקשה מארבעה שירותי תמלול אנושיים ומשירות אחד בסיוע מחשב לתמלל 25 הקלטות Kincaid46. השירות בסיוע מחשב השיג תוצאה טובה מ-Whisper ב-1.15 נקודות אחוז, והשירותים האנושיים בלבד היו טובים יותר רק בשבריר נקודה. מסקנת המאמר: לא מושלם, אך קרוב מאוד לדיוק ברמה אנושית.
גודל המודל חשוב
Whisper מגיע בכמה גדלים ואפליקציות אינן תמיד מציינות באיזה גודל הן משתמשות (טבלה 9 בנספח):
| מודל | פרמטרים | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
הפער גדל ככל שהשמע קשה יותר: כ-4 נקודות בספרי שמע נקיים, 23 נקודות בארוחת הערב. מודל turbo החדש יותר, large-v3 מותאם, מקבל מה שקובץ README ב-GitHub של OpenAI מכנה פגיעה מינימלית בדיוק תמורת תמלול מהיר בהרבה.
עד כמה Whisper מדויק בשפות אחרות?
מחוץ לאנגלית הדיוק תלוי בעיקר בכמות שמע האימון שהייתה ל-Whisper באותה שפה. המאמר מצא מתאם בריבוע של 0.83 בין לוג שעות האימון ללוג WER, ומעריך ש-WER נחצה בכל גידול פי 16 בנתונים. לרוב 96 השפות שאינן אנגלית היו פחות מ-1,000 שעות.
תוצאות Fleurs נבחרות (משפטים מוקראים, large-v2, טבלה 13 בנספח):
| שפה | WER ב-Fleurs | הערה |
|---|---|---|
| ספרדית | 3.0% | הנמוך בטבלה |
| אנגלית | 4.2% | |
| פורטוגזית | 4.3% | |
| גרמנית | 4.5% | |
| יפנית | 5.3% | שיעור שגיאות תווים |
| רוסית | 5.6% | |
| צרפתית | 8.3% | |
| קוריאנית | 14.3% | סומנה כחריגה |
| סינית | 14.7% | שיעור שגיאות תווים |
| ערבית | 16.0% | |
| הינדי | 21.5% | |
| עברית | 27.1% | סומנה כחריגה |
| סווהילית | 39.3% | |
| טלוגו | 99.0% | סומנה כחריגה |
המאמר מסמן עברית, טלוגו, סינית וקוריאנית כבעלות ביצועים נמוכים מהחזוי לפי נתוני האימון, אולי בגלל מרחק לשוני, טוקנייזר שאינו מתאים היטב לכתבים אלה או איכות הנתונים. Fleurs מכיל דיבור מוקרא, לכן צפו ליותר שגיאות בשיחה. ב-README יש תרשים חדש יותר ל-large-v3 ו-large-v2 על Common Voice 15 ו-Fleurs.
תוצאות הספרדית מעודדות אם אתם מתמללים שמע בספרדית לטקסט. בשפות דלות משאבים יותר, בדקו קטע קצר לפני התחייבות לפרויקט שלם.
מה משפיע על דיוק Whisper?
תנאי ההקלטה חשובים יותר מכל דבר אחר. ראיות מהמאמר ומכרטיס המודל:
| גורם | מה הראיות מראות | מה לעשות |
|---|---|---|
| רעש רקע | ברעש פאב מתחת ליחס אות לרעש של 10 dB, Whisper גבר על כל 14 המודלים להשוואה, אך כל המודלים הידרדרו כשהרעש גבר | הקליטו בחדר שקט, הרחק ממאווררים ומוזיקה |
| מרחק המיקרופון | אותן פגישות AMI: 17.4% במיקרופוני אוזנייה, 39.9% במיקרופון שולחני אחד | הציבו מיקרופון קרוב לדובר |
| שיחה ודיבור חופף | שיחות טלפון וארוחות ערב מקבלות 13.6% עד 24.9%, לעומת 2.5% בדיבור מוקרא | אדם אחד בכל פעם; מיקרופון לכל דובר |
| מבטאים וניבים | כרטיס המודל מדווח על דיוק לא אחיד; ריאיונות CORAAL ארוכים קיבלו 19.6% | בדקו דוברים שנשמעים כמו בהקלטות האמיתיות |
| מילים נדירות ומונחים מקצועיים | תוצאה טובה ב-Meanwhile העשיר במונחים (5.1%), אך שמות ומונחים טכניים עדיין שגיאות נפוצות | בדקו שמות ומונחים מול רשימה |
| משאבי שפה | WER ב-Fleurs נע בין 3.0% (ספרדית) ל-99.0% (טלוגו) | בחרו שפה בעצמכם; תכננו יותר הגהה לשפות דלות משאבים |
| גודל המודל | tiny מקבל 48.0% ב-CHiME-6, large-v2 מקבל 24.9% | שאלו באיזה מודל הכלי משתמש או השתמשו בגדול האפשרי |
| פורמט קובץ וקצב דגימה | קוד Whisper דוגם מחדש כל שמע ל-16 kHz מונו | WAV ב-48 kHz אינו מוסיף על קובץ נקי ב-16 kHz |
המרת MP3 ל-WAV גדול אינה משחזרת פרטים שאבדו. הקלטה נקייה בקצב סיביות מתון עדיפה על הקלטה רועשת בקצב גבוה.
בעיות מוכרות ב-Whisper: הזיות, לולאות וחותמות זמן
OpenAI מתעדת כל אחד מסוגי הכשל האלה, שחשיבותם גדולה מחלקם במדד WER.
טקסט מומצא
Whisper יכול לכתוב מילים שאיש לא אמר. כרטיס המודל אומר שהתחזיות עשויות לכלול טקסט שלא נאמר בפועל, כנראה משום שהמודל חוזה גם את המילים הבאות הסבירות. סעיף המגבלות במאמר אף מזכיר "הזיה מלאה", פלט שאינו קשור לשמע.
מחקר עצמאי, Careless Whisper (Koenecke ועמיתיו, 2024), העביר 13,140 מקטעי שמע דרך Whisper API של OpenAI באפריל ובמאי 2023. כ-1% מהתמלילים (1.4% בממוצע) הכילו ביטויים או משפטים מומצאים שלמים, ו-38% מהם כללו תוכן מזיק כגון אלימות או שיוכים שגויים. דוברים עם הפסקות ארוכות יותר, במחקר זה אנשים עם אפזיה, עוררו יותר הזיות. ה-API השתנה מאז, לכן התייחסו לכך כמדידה מ-2023.
לולאות חזרה ומילים שהושמטו
כרטיס המודל אומר ש-Whisper נוטה ליצור טקסט חוזר, וש-beam search ותזמון טמפרטורה מפחיתים זאת אך לא לחלוטין. המאמר מציין גם דילוג על מילים בתחילת או בסוף מקטע. תיקוני הפענוח הפחיתו WER ממוצע בהקלטות ארוכות מ-11.0% ל-10.0%: שיפור, לא פתרון מלא.
שקט, מוזיקה ומילות מילוי
טקסט מומצא נוטה להופיע בשקט ארוך ובמוזיקה. המאמר מצא שאות "אין דיבור" של Whisper אינו אמין לבדו, והקוד הפתוח כולל כיום אפשרות לדלג על שתיקות ארוכות כשמזוהה הזיה סבירה.
סטיית חותמות זמן וקבצים ארוכים
Whisper מתקדם בשמע ארוך חלון של 30 שניות בכל פעם, ומשתמש בחותמות הזמן שהוא חוזה למיקום החלון הבא; לכן המאמר מציין שטעות בחלון אחד יכולה לעבור לבא אחריו. חותמות זמן ברמת מילה מסומנות כ"ניסיוניות" בקוד. בכתוביות, בדקו מדגמית את התזמון סביב הפסקות.
במהלך הפיתוח OpenAI גם ראתה את Whisper מנחש שמות דוברים שכמעט תמיד היו שגויים. המודלים שפורסמו כווננו לצמצום התופעה, אך בדקו כל שם בטקסט.
10 דרכים לשפר את דיוק התמלול של Whisper
רוב השיפור קורה לפני לחיצה על תמלול. בסדר מקורב מהשפעה גדולה לקטנה:
- הציבו את המיקרופון קרוב. המרחק לבדו יותר מהכפיל את שיעור השגיאות בפגישות AMI.
- הפחיתו רעש במקור. סגרו חלונות, כבו מאווררים והפסיקו מוזיקה.
- הימנעו מדיבור חופף. אדם אחד בכל פעם עדיף מכל הגדרה.
- חתכו שתיקות ארוכות ופתיחי מוזיקה, שבהם טקסט מומצא מופיע לרוב. חתכו בהפסקות ולא באמצע משפט.
- הגדירו שפה בעצמכם. Whisper זיהה נכון את השפה ב-80.3% מהמקרים על פני 82 שפות Fleurs, לכן זיהוי אוטומטי עלול לטעות בקטעים קצרים או בעלי מבטא.
- השתמשו במודל הגדול ביותר הזמין, במיוחד בהקלטות רועשות.
- ספקו שמות ומונחים בהנחיה אם אתם מארחים בעצמכם. Whisper בקוד פתוח מקבל
--initial_promptעם האיותים הצפויים. - העלו את הקובץ המקורי. הקלטה מחדש דרך רמקולים או דחיסה חוזרת מאבדות פרטים.
- בדקו מונחים. חפשו כל שם, מספר, תאריך וראשי תיבות ואמתו מול השמע.
- הגהו בשני מעברים. תחילה תקנו שגיאות במהירות רגילה. אחר כך חפשו סימני הזיה: שורות חוזרות, משפטים בשקט וסיומות כגון "תודה שצפיתם". לעבודה משפטית, רפואית או לפרסום, בקשו מאדם לבדוק הכול.
איך למדוד את דיוק Whisper בשמע שלכם
האומדן הטוב ביותר לעבודתכם הוא בדיקה בת 30 דקות בהקלטות שלכם. אלה שלבים שאתם מבצעים; זו אינה בדיקה של whispertranscribe.ai.
- בחרו שלושה קטעים בני 2 דקות הדומים לעבודה האמיתית: קל, טיפוסי וקשה.
- כתבו תמליל ייחוס ידנית, מילה במילה. קבעו כללים מראש: לשמור או להשמיט "אה", לכתוב מספרים בספרות או במילים.
- תמללו כל קטע בכלי שאתם בודקים ושמרו טקסט פשוט.
- נרמלו את שני הטקסטים באותה דרך. המנרמל של OpenAI מצורף ל-
openai-whisper. - חשבו WER עם jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- ספרו בנפרד שגיאות קריטיות. חמש מילות מילוי שגויות וחמישה שמות לקוחות שגויים נותנים אותו WER אך אינם אותה בעיה.
- רשמו תוצאות כדי להשוות כלים או הגדרות:
| קטע | תנאים | מילות ייחוס | S | D | I | WER | שגיאות קריטיות |
|---|---|---|---|---|---|---|---|
| קטע A | חדר שקט, דובר אחד | 310 | |||||
| קטע B | שיחת וידאו, שני דוברים | 285 | |||||
| קטע C | בית קפה, דובר עם מבטא | 296 |
מספרי המילים הם לדוגמה. הסתייגות לשלב 4: בדוגמת המקור המנרמל האנגלי של OpenAI התאים "Dr." ל-"doctor" ו-"two" ל-"2", אך עדיין ספר "9th" מול "ninth" כשגיאה. Whisper CLI אינו מותקן בסביבת הבדיקה שלנו, ולכן לא הרצנו מחדש דוגמה זו. קראו הבדלים מסומנים לפני הסתמכות על הציון.
עד כמה whispertranscribe.ai מדויק?
whispertranscribe.ai הוא כלי תמלול AI ברשת המבוסס על Whisper, תומך ביותר מ-130 שפות ובהעלאות עד 5GB ו-10 שעות. הדיוק מגיע עד 99% בשמע ברור; רעש רקע, מבטאים כבדים ודיבור חופף מפחיתים אותו, כפי שמראים המדדים לעיל לגבי Whisper עצמו. איננו טוענים שאנו משתווים או עולים על נתוני המאמר ולא פרסמנו מבחן משלנו, לכן בדקו את הקטעים שלכם בשלבים שלעיל.
- אפשרויות Noise / Low-Quality Audio/Video בבחירת השפה לשפות רבות. בקובץ רועש נסו אפשרות רגילה ואפשרות רעש והשוו.
- יותר מ-130 שפות, אפשרות Multilingual Mix ותרגום שמע לאנגלית.
- קבצים עד 5GB ו-10 שעות, זיהוי דוברים וחותמות זמן (כל התכונות).
- קלט נקי: הקליטו בדפדפן עם מיקרופון קרוב, או המירו וידאו ל-MP3 כדי להעלות שמע בלבד.
- ייצוא ל-DOCX, PDF, TXT, CSV, SRT ו-VTT, וכן מחולל כתוביות לכתוביות מתוזמנות.
אפשר להתחיל בחינם ללא חשבון. מסלולים בתשלום מתחילים ב-$9.99 לחודש בחיוב שנתי; ראו מחירים.
שאלות נפוצות
האם Whisper מדויק ב-99%?
לא באופן כללי. התוצאה הטובה ביותר שפורסמה ל-Whisper היא WER של 2.5% ב-LibriSpeech test-clean, מערך ספרי שמע מוקראים בבירור, כלומר כ-97.5% מילים נכונות. בשיחות טלפון, פגישות וחדרים רועשים נתוני OpenAI נעים מכ-13% עד 40% WER. לטענה "99%" יש משמעות רק אם מצוין השמע שעליו נמדדה. כלים המבוססים על Whisper, כולל whispertranscribe.ai, יש להעריך על ההקלטות שלכם ולא לפי אחוז בכותרת.
איזה מודל Whisper המדויק ביותר?
מודלי large הם המדויקים ביותר. במאמר OpenAI היה ל-large-v2 שיעור השגיאות הנמוך ביותר ברוב מערכי הבדיקה, וכרטיס large-v3 מדווח על 10% עד 20% פחות שגיאות מ-large-v2 בשפות רבות. turbo הוא large-v3 מותאם שלפי OpenAI מאבד מעט דיוק תמורת מהירות גבוהה בהרבה. המודל הקטן tiny מדויק פחות משמעותית בשמע קשה: WER של 48.0% בארוחת ערב רועשת לעומת 24.9% ל-large-v2.
למה Whisper כותב מילים שלא נאמרו?
Whisper עשוי להזות משום שהוא אומן לחזות טקסט סביר לצד תמלול צלילים, וכרטיס המודל של OpenAI מזהיר שהוא עשוי להפיק טקסט שאינו בשמע. הדבר קורה לעיתים קרובות בשתיקות ארוכות, מוזיקה או רעש. מחקר עצמאי מ-2023 מצא ביטויים מומצאים בכ-1% מהתמלילים והפסקות הגדילו את הסבירות. חיתוך שקט, הגדרת שפה ובדיקת קטעים שקטים מצמצמים את הסיכון.
עד כמה Whisper מדויק עם מבטאים?
Whisper מתמודד עם מבטאים טוב יותר ממערכות ישנות רבות, אך לא באופן אחיד. כרטיס המודל של OpenAI אומר שהדיוק משתנה בין מבטאים וניבים של אותה שפה. במאמר, ריאיונות ארוכים באנגלית אפרו-אמריקאית (CORAAL) קיבלו 19.6% WER לעומת 3.5% להרצאות TED מלאות, אם כי גם תנאי ההקלטה שונים. הדרך האמינה היא לבדוק קטע עם דוברים הדומים להקלטות האמיתיות ולתכנן יותר הגהה למבטאים כבדים.
האם Whisper מדויק כמו מתמלל אנושי?
באנגלית Whisper מתקרב אך אינו משתווה לטובים ביותר. OpenAI השוותה אותו לחמישה שירותים מקצועיים על 25 הקלטות. לשירות בסיוע מחשב היה WER מצטבר נמוך ב-1.15 נקודות מזה של Whisper, וארבעה שירותים אנושיים לחלוטין היו טובים יותר בשבריר נקודה. בני אדם עדיין נוטים להתמודד טוב יותר עם שמות, דיבור חופף ודיבור לא ברור. בכל תוכן שיצוטט, יוגש או יפורסם, אדם צריך לבדוק את התמליל מול ההקלטה.
עד כמה Whisper מדויק בשפות שאינן אנגלית?
הדבר משתנה מאוד לפי שפה. במדד Fleurs קיבל large-v2 WER של 3.0% בספרדית, 4.5% בגרמנית ו-8.3% בצרפתית, אך 27.1% בעברית ו-99.0% בטלוגו. סינית ויפנית נמדדות בשיעור שגיאות תווים: 14.7% ו-5.3%. המאמר מצא שהדיוק קשור לכמות שמע האימון של כל שפה. בשפות דלות משאבים בדקו תחילה קטע קצר והקדישו יותר זמן לתיקונים.
בדקו דיוק בהקלטה שלכם
מדדי השוואה מתארים שמע של אחרים. העלו קטע ל-whispertranscribe.ai באחת מיותר מ-130 שפות ומדדו אותו לפי השלבים במדריך. התחילו בחינם ללא חשבון, או השוו מסלולים.
מאמרים קשורים: מהו Whisper AI? · תוכנות התמלול החינמיות הטובות ביותר · חלופות TurboScribe הטובות ביותר · איך לתמלל סרטון YouTube · מהו קובץ SRT? · כתוביות צרובות לעומת כתוביות נפרדות
מקורות
- Radford ועמיתיו, Robust Speech Recognition via Large-Scale Weak Supervision (מאמר Whisper, OpenAI, 2022): טבלאות 2, 9, 13 ו-16 וסעיפים 3 עד 6
- OpenAI, openai/whisper ב-GitHub: טבלת מודלים ב-README, הערת turbo ותרשים WER לפי שפה
- OpenAI ו-Hugging Face, כרטיס מודל whisper-large-v3: שינויי large-v3, שימוש שהוערך ומגבלות
- Koenecke ועמיתיו, Careless Whisper: Speech-to-Text Hallucination Harms (2024)
- jiwer: ספריית קוד פתוח ל-WER ול-CER
- Hugging Face, Open ASR Leaderboard: השוואה עצמאית המתעדכנת בקביעות של מודלי דיבור פתוחים
