作者:whispertranscribe.ai 編輯團隊 · 最後更新:2026 年 11 月 · 閱讀約 13 分鐘 · 分類:轉錄準確率
Whisper 有多準?在清晰朗讀的英語上,OpenAI 論文給出的 Whisper large-v2 詞錯誤率(WER)是 2.5%,也就是 100 個詞裡大約對 97 到 98 個。音訊越難,成績越差:電話錄音 13.6%,嘈雜的家庭聚餐 24.9%,用一支遠處麥克風錄的會議 39.9%。
Whisper 是 OpenAI 開放原始碼的語音辨識模型,很多轉錄 App 都用它當引擎,我們也一樣。這篇只講準確率:WER 衡量的是什麼,按音訊類型和語言看基準測試結果如何,Whisper 在哪些地方會出錯,以及怎麼自己測。想瞭解模型本身,可以看我們講什麼是 Whisper AI 的文章。
文中大部分數字來自 Whisper 論文(Radford 等,2022)。論文裡每個模型都是「zero-shot」(零樣本)測試的,沒有在測試集上做微調。更新的 large-v3 模型卡稱,在很多語言上,它比 large-v2 少 10% 到 20% 的錯誤,但沒有給出逐個資料集的完整表格。本文由 whispertranscribe.ai 發布。我們沒有為本文做基準測試,文中沒有任何數字是我們自己的測試結果。
Whisper 準確率一覽
沒有哪一個測試集能單獨回答這個問題,因為對數字影響最大的就是音訊本身。下表是 OpenAI 用 beam search 加 temperature fallback 跑出的 large-v2 結果(附錄 Table 9),經過 OpenAI 的文字規範化器處理後計分。
| 音訊類型 | 論文中的測試集 | Whisper large-v2 WER | 大致正確詞比例 |
|---|---|---|---|
| 有聲書,朗讀清晰 | LibriSpeech test-clean | 2.5% | 每 100 個詞約對 97.5 個 |
| 朗讀新聞文字 | WSJ | 2.6% | 每 100 個詞約對 97.4 個 |
| TED 演講 | TED-LIUM 3 | 3.7% | 每 100 個詞約對 96 個 |
| 有聲書,較難的朗讀者 | LibriSpeech test-other | 4.9% | 每 100 個詞約對 95 個 |
| 志願者用家用麥克風錄製 | Common Voice 5.1 | 8.2% | 每 100 個詞約對 92 個 |
| 電話交談 | Switchboard | 13.6% | 每 100 個詞約對 86 個 |
| 長篇社會語言學訪談 | CORAAL | 14.2% | 每 100 個詞約對 86 個 |
| 家人朋友之間的電話 | CallHome | 16.4% | 每 100 個詞約對 84 個 |
| 會議,每人戴頭戴式麥克風 | AMI IHM | 17.4% | 每 100 個詞約對 83 個 |
| 家庭聚餐,遠場麥克風 | CHiME-6 | 24.9% | 每 100 個詞約對 75 個 |
| 會議,一支放在遠處桌上的麥克風 | AMI SDM1 | 39.9% | 每 100 個詞約對 60 個 |
「正確詞比例」是用 100 減去 WER 得到的,只是個粗略算法,因為 WER 還會把多出來的詞算進去。
你常會看到別人引用 2.7%:那是同一個模型用更簡單的貪心解碼得到的(論文 Table 2)。另外注意,AMI 那兩行是同一批會議、用兩種方式錄的。把麥克風從每個人頭上挪到桌子中間,錯誤率就翻了一倍還多。
什麼是詞錯誤率(WER),怎麼算?
詞錯誤率,是逐字稿和經人工核對的參考稿相比,出錯的詞所佔的比例。數三類錯誤,再除以參考稿的詞數:
WER =(替換 + 刪除 + 插入)÷ 參考稿詞數
- 替換(Substitution): 把對的詞寫成了錯的詞(「lunch」寫成了「launch」的位置)。
- 刪除(Deletion): 說了但逐字稿裡漏掉的詞。
- 插入(Insertion): 逐字稿裡有、但沒人說過的詞。
下面是一個我們自己編的例子,用開放原始碼的 jiwer 庫計分(例句保留英文,因為 WER 按英文單詞計算):
| 行 | 文字 |
|---|---|
| 參考稿(22 個詞) | we moved the product launch to march ninth because the vendor missed two deadlines and doctor patel wants a new test plan |
| 逐字稿 | we moved the product lunch to march ninth because vendor missed two deadlines and doctor battle wants a new test plan today |
| 錯誤 | 2 處替換(lunch、battle),1 處刪除(the),1 處插入(today) |
| WER | 4 ÷ 22 = 18.2% |
譯註:參考稿意思是「因為供應商錯過了兩個截止日期,我們把產品發布推到了 3 月 9 日,Patel 醫生想要一份新的測試計劃」。
WER 有三點容易讓人看錯:
- 它可以超過 100%。 插入錯誤沒有上限,論文 Fleurs 結果裡有幾種低資源語言就超過了 100%。
- 規範化會改變分數。 「Dr.」和「doctor」,除非兩份文字用同樣的方式清理過,否則就算一個錯誤。OpenAI 說,它的規範化器在某些資料集上把 WER 降低了最多 50%,主要是去掉了格式上的差異。
- 有些語言用字錯誤率(CER)。 中文、日語、泰語、老撾語和緬甸語不用空格分詞,論文改為按字計分。
一個準確率說法,如果沒說清用的是哪個測試集、怎麼計分,就不算測量結果,不管是誰說的,包括我們自己。
Whisper 的英語準確率怎麼樣?
Whisper 在清晰的英語上非常准,在雜亂的英語上也還能用。論文裡,在另外 12 個英語資料集上,它比一個 LibriSpeech 分數幾乎相同的有監督 wav2vec 2.0 模型少了 55.2% 的錯誤。
長錄音
Whisper 按 30 秒一個窗口來讀音訊,所以論文單獨測了長檔案(附錄 Table 16,large-v2):
| 長音訊測試集 | 內容 | WER |
|---|---|---|
| TED-LIUM 3 | 11 場完整 TED 演講 | 3.5% |
| Meanwhile | 64 段深夜電視節目片段,生僻詞多 | 5.1% |
| Kincaid46 | 46 段混合錄音,出自 2018 年的一次比較 | 8.8% |
| Earnings-21 | 公司財報電話會 | 9.7% |
| Rev16 | 16 期 Podcast | 11.3% |
| Earnings-22 | 更多財報電話會,口音多樣 | 12.6% |
| CORAAL | 231 場完整的非裔美國人英語訪談 | 19.6% |
Whisper 和人工轉錄員比
OpenAI 找了四家人工轉錄服務和一家計算機輔助轉錄服務,轉錄 25 段 Kincaid46 錄音。計算機輔助服務比 Whisper 好 1.15 個百分點,純人工服務只好零點幾個百分點。論文的結論是:「not perfect but very close to human-level accuracy」(不完美,但非常接近人類水平)。
模型大小有影響
Whisper 有好幾個大小,App 不一定會說自己用的是哪個(附錄 Table 9):
| 模型 | 參數量 | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
音訊越難,差距越大:清晰有聲書上差約 4 個百分點,家庭聚餐上差 23 個百分點。更新的 turbo 模型是最佳化過的 large-v3,用 OpenAI 的 GitHub README 的話說,它以「minimal degradation in accuracy」(準確率只略有下降)換來了快得多的轉錄速度。
Whisper 在其他語言上准不准?
英語以外,準確率主要看 Whisper 在這種語言上有多少訓練音訊。論文發現,訓練長度的對數和 WER 的對數之間,相關係數的平方是 0.83,並估計資料每增加 16 倍,WER 就減半。96 種非英語語言裡,大多數的訓練音訊不到 1,000 小時。
部分 Fleurs 結果(朗讀句子,large-v2,附錄 Table 13):
| 語言 | Fleurs WER | 備注 |
|---|---|---|
| 西班牙語 | 3.0% | 表中最低 |
| 英語 | 4.2% | |
| 葡萄牙語 | 4.3% | |
| 德語 | 4.5% | |
| 日語 | 5.3% | 字錯誤率 |
| 俄語 | 5.6% | |
| 法語 | 8.3% | |
| 韓語 | 14.3% | 被標為異常值 |
| 中文 | 14.7% | 字錯誤率 |
| 阿拉伯語 | 16.0% | |
| 印地語 | 21.5% | |
| 希伯來語 | 27.1% | 被標為異常值 |
| 斯瓦希裡語 | 39.3% | |
| 泰盧固語 | 99.0% | 被標為異常值 |
論文指出,希伯來語、泰盧固語、中文和韓語的表現比按訓練資料預測的要差,可能是因為語言差異大、分詞器不太適配這些文字,或者資料品質問題。Fleurs 是朗讀語音,所以在對話上錯誤率會更高。README 裡有一張更新的圖,給出 large-v3 和 large-v2 在 Common Voice 15 和 Fleurs 上的結果。
如果你要把西班牙語音訊轉成文字,西班牙語的結果挺讓人放心。對低資源語言,整個項目開始之前先拿一小段試試。
哪些因素影響 Whisper 的準確率?
錄音條件比什麼都重要。來自論文和模型卡的證據:
| 因素 | 證據顯示 | 怎麼做 |
|---|---|---|
| 背景噪音 | 在信噪比低於 10 dB 的酒吧噪音下,Whisper 勝過全部 14 個比較模型,但噪音越大,每個模型都越差 | 在安靜的房間錄,遠離風扇和音樂 |
| 麥克風距離 | 同一批 AMI 會議:頭戴式麥克風 17.4%,一支桌面麥克風 39.9% | 讓麥克風靠近說話的人 |
| 對話和多人搶話 | 電話和家庭聚餐在 13.6% 到 24.9% 之間,朗讀語音是 2.5% | 一次一個人說;每人一支麥克風 |
| 口音和方言 | 模型卡說不同口音和方言的準確率不均衡;CORAAL 長訪談是 19.6% | 找和你真實錄音裡口音相近的人來測試 |
| 生僻詞和行話 | 在行話很多的 Meanwhile 測試集上表現不錯(5.1%),但人名和專業術語仍是常見錯誤 | 對照清單核對人名和術語 |
| 語言資源 | Fleurs WER 從 3.0%(西班牙語)到 99.0%(泰盧固語) | 自己選定語言;低資源語言多留審稿時間 |
| 模型大小 | tiny 在 CHiME-6 上是 48.0%,large-v2 是 24.9% | 問清工具用的是哪個模型,或盡量用最大的 |
| 檔案格式和取樣率 | Whisper 的程式碼會把所有音訊重取樣成 16 kHz 單聲道 | 48 kHz 的 WAV 不會比乾淨的 16 kHz 檔案更有優勢 |
把 MP3 轉成大體積的 WAV,丟掉的細節也回不來。位元率不高但乾淨的錄音,勝過位元率很高但嘈雜的錄音。
Whisper 的已知問題:幻覺、循環和時間戳記
下面這些出錯方式 OpenAI 都有記錄,它們的實際影響比在 WER 裡佔的比例更大。
幻覺文字
Whisper 可能寫出沒人說過的話。模型卡說,預測結果「may include texts that are not actually spoken in the audio input」(可能包含音訊裡實際沒說的文字),原因可能是模型也會預測下一個最可能出現的詞。論文的局限部分甚至提到了「complete hallucination」(完全幻覺),也就是和音訊毫無關係的輸出。
一項獨立研究 Careless Whisper(Koenecke 等,2024)在 2023 年 4 月和 5 月,把 13,140 段音訊送進 OpenAI 的 Whisper API。約 1% 的轉錄結果(平均 1.4%)含有整句或整段編造的內容,其中 38% 包含暴力或錯誤關聯等有害內容。停頓較長的說話者(這裡是失語症患者)更容易觸發。此後 API 已有變化,所以這應視為 2023 年的測量結果。
重復循環和漏詞
模型卡說 Whisper「prone to generating repetitive texts」(容易生成重復文字),beam search 和 temperature scheduling 能減少這種情況,「but not perfectly」(但不能完全解決)。論文還提到它會漏掉一段的開頭或結尾幾個詞。論文的解碼改進把長音訊平均 WER 從 11.0% 降到 10.0%:有改善,但沒解決。
靜音、音樂和填充詞
編造的文字往往出現在長時間靜音和音樂裡。論文發現,單靠 Whisper 自己的「no speech」(無語音)信號並不可靠;現在開放原始碼程式碼裡有一個選項,在偵測到可能的幻覺時跳過長靜音。
時間戳記漂移和長檔案
Whisper 處理長音訊時一次走一個 30 秒窗口,用自己預測的時間戳記來定位下一個窗口,所以論文指出,一個窗口裡的錯誤可能帶到下一個窗口。詞級時間戳記在程式碼裡標為「experimental」(實驗性)。做字幕時,要抽查停頓前後的時間軸。
開發過程中,OpenAI 還發現 Whisper 會猜說話者的名字,而且「almost always incorrect」(幾乎總是錯的)。發布的模型經過微調來抑制這一點,但文字裡出現的任何名字都要核對。
提升 Whisper 轉錄準確率的 10 個辦法
大部分提升來自點「轉錄」之前。大致按效果從大到小排列:
- 麥克風放近。 在 AMI 會議裡,光是距離就讓錯誤率翻了一倍還多。
- 從源頭減少噪音。 關窗,關風扇,暫停音樂。
- 避免多人搶話。 一次一個人說,比任何設定都管用。
- 剪掉長靜音和音樂片頭,編造的文字最常出現在這些地方。在停頓處剪,別從句子中間剪。
- 自己設定語言。 在 82 種 Fleurs 語言上,Whisper 辨識語言的正確率是 80.3%,所以短片段或口音重的片段,自動偵測可能會出錯。
- 用能用的最大模型,嘈雜錄音尤其如此。
- 自己部署的話,用人名和術語做提示。 開放原始碼 Whisper 支援
--initial_prompt,可以填入你預期的拼寫。 - 上傳原始檔案。 通過音箱重新錄一遍,或者反復重新壓縮,都會丟細節。
- 做一遍術語檢查。 搜出每個人名、數字、日期和縮寫,對照錄音核實。
- 分兩遍審。 第一遍按正常速度改錯。第二遍找幻覺跡象:重復的行、出現在靜音段上的句子、「Thanks for watching」(感謝觀看)這類結束語。法律、醫療或要公開發布的內容,要讓人從頭到尾審一遍。
怎麼用自己的音訊測 Whisper 的準確率
對你的工作來說,最好的估計是用自己的錄音做一次 30 分鐘的測試。下面的步驟是給你自己跑的,不是 whispertranscribe.ai 的測試。
- 挑三段 2 分鐘的片段,和你的真實工作類似:一段容易的,一段一般的,一段難的。
- 手工寫一份逐字參考稿。 先定規則:保不保留「um」,數字寫成阿拉伯數字還是單詞。
- 用你要測的工具轉錄每段片段,保存為純文字。
- 用同樣的方式規範化兩份文字。 OpenAI 的規範化器隨
openai-whisper一起提供。 - 用 jiwer 計算 WER:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
譯註:腳本讀入參考稿(reference.txt)和待測逐字稿(transcript.txt),用 OpenAI 的英文規範化器統一格式,再輸出 WER 以及替換(S)、刪除(D)、插入(I)的數量。
- 關鍵錯誤單獨計數。 錯 5 個語氣詞和錯 5 個客戶名字,WER 一樣,但問題完全不同。
- 記錄結果,方便比較不同工具或設定:
| 片段 | 錄音條件 | 參考稿詞數 | S | D | I | WER | 關鍵錯誤 |
|---|---|---|---|---|---|---|---|
| 片段 A | 安靜房間,一個人說話 | 310 | |||||
| 片段 B | 影片通話,兩個人說話 | 285 | |||||
| 片段 C | 咖啡館,說話者有口音 | 296 |
詞數只是佔位數字。第 4 步要提醒一句:我們用 OpenAI 的英文規範化器跑一個自己編的句子時,它能把「Dr.」對上「doctor」、把「two」對上「2」,但「9th」和「ninth」仍然算一個錯誤。相信分數之前,先看一下被標出的差異。
whispertranscribe.ai 有多準?
whispertranscribe.ai 是一款網頁版 AI 轉錄工具,基於 Whisper,支援 130 多種語言,單個檔案最大 5GB、10 小時。清晰音訊的準確率最高可達 99%;背景噪音、口音重和多人搶話都會讓它下降,上面 Whisper 本身的基準結果也說明瞭這一點。我們不聲稱達到或超過論文裡的數字,也沒有公佈自己的基準測試,所以請按上面的步驟用你自己的片段測。
- 很多語言的語言選擇器裡都有 Noise / Low-Quality Audio/Video(噪音 / 低品質音訊與影片)選項。嘈雜的檔案,可以標準選項和噪音選項都試一下,比一比。
- 130 多種語言,Multilingual Mix(多語言混合)選項,以及把音訊翻譯成英文。
- 檔案最大 5GB、10 小時,支援說話者辨識和時間戳記(全部功能)。
- 輸入要乾淨: 麥克風放近,在瀏覽器裡錄音,或者把影片轉成 MP3,只上傳音訊。
- 匯出為 DOCX、PDF、TXT、CSV、SRT 和 VTT,另有字幕產生器做帶時間軸的字幕。
你可以免費開始,無需註冊帳號。付費方案 from $9.99/month billed annually 起;查看價格。
常見問題
Whisper 的準確率是 99% 嗎?
一般來說不是。Whisper 公佈的最好成績是 LibriSpeech test-clean 上 2.5% 的詞錯誤率,這是一組朗讀清晰的有聲書,約等於 97.5% 的詞正確。在電話、會議和嘈雜房間裡,OpenAI 自己的數字是約 13% 到 40% 的 WER。「99%」這種說法,只有說明瞭是在什麼音訊上測的才有意義。基於 Whisper 的工具,包括 whispertranscribe.ai,都應該用你自己的錄音來評判,而不是看一個醒目的百分比。
哪個 Whisper 模型最准?
large 系列模型最准。在 OpenAI 的論文裡,large-v2 在大多數測試集上錯誤率最低;large-v3 模型卡稱,在很多語言上它比 large-v2 少 10% 到 20% 的錯誤。turbo 模型是最佳化過的 large-v3,OpenAI 說它只損失一點準確率,換來快得多的速度。最小的 tiny 模型在難音訊上差得多:嘈雜家庭聚餐上 WER 是 48.0%,large-v2 是 24.9%。
Whisper 為什麼會寫出沒人說過的話?
Whisper 會出現幻覺,因為它在訓練中不只學會轉錄聲音,也學會預測可能出現的文字;OpenAI 的模型卡提醒,它可能輸出音訊裡沒有的文字。這種情況最常出現在長靜音、音樂或噪音裡。2023 年的一項獨立研究發現,約 1% 的轉錄結果含有幻覺內容,停頓會讓它更容易出現。剪掉靜音、設定語言、重點檢查逐字稿裡安靜的片段,都能降低風險。
Whisper 對口音的準確率怎麼樣?
Whisper 處理口音比很多老系統好,但並不均衡。OpenAI 的模型卡說,同一種語言的不同口音和方言,準確率會有差異。論文裡,非裔美國人英語(CORAAL)的長訪談 WER 是 19.6%,完整 TED 演講是 3.5%,不過兩者的錄音條件也不同。可靠的做法是,找和你真實錄音口音相近的人錄一段來測,口音重時多留審稿時間。
Whisper 和人工轉錄員一樣准嗎?
在英語上,Whisper 很接近,但比不上最好的。OpenAI 在 25 段錄音上把它和五家專業服務做了比較。一家計算機輔助服務的總體 WER 比 Whisper 低 1.15 個百分點,四家純人工服務好零點幾個百分點。人名、多人搶話和聽不清的話,人仍然處理得更好。凡是要引用、存檔或公開發布的內容,都應該有人對照錄音審一遍逐字稿。
Whisper 在英語以外的語言上有多準?
不同語言差別很大。在 Fleurs 基準上,large-v2 的 WER 是西班牙語 3.0%、德語 4.5%、法語 8.3%,但希伯來語 27.1%、泰盧固語 99.0%。中文和日語按字錯誤率計分:分別是 14.7% 和 5.3%。論文發現,準確率和每種語言的訓練音訊多少直接相關。低資源語言,先拿一小段試,並多留改錯的時間。
用你自己的錄音測準確率
基準測試描述的是別人的音訊。把一段 130 多種語言 中任意語言的片段上傳到 whispertranscribe.ai,按本文的步驟打分。免費開始,無需註冊帳號,或者比較各方案。
相關文章: 什麼是 Whisper AI? · 最好用的免費轉錄軟體 · TurboScribe 的最佳替代品 · 怎麼轉錄 YouTube 影片 · 什麼是 SRT 檔案? · 硬字幕和軟字幕
參考資料
- Radford 等,Robust Speech Recognition via Large-Scale Weak Supervision(Whisper 論文,OpenAI,2022):Table 2、9、13、16 及第 3 到 6 節
- OpenAI,GitHub 上的 openai/whisper:README 裡的模型表、turbo 說明和分語言 WER 圖
- OpenAI 和 Hugging Face,whisper-large-v3 模型卡:large-v3 的變化、評估用途和局限
- Koenecke 等,Careless Whisper: Speech-to-Text Hallucination Harms(2024)
- jiwer:計算 WER 和 CER 的開放原始碼庫
- Hugging Face,Open ASR 排行榜:獨立、定期更新的開放原始碼語音模型比較
