Whisper AI 準確率有多高?字詞錯誤率、限制與改善技巧(2026 年)

作者:whispertranscribe.ai 編輯團隊 · 最後更新:2026 年 11 月 · 閱讀約 13 分鐘 · 分類:轉錄準確率

Whisper 有多準?在清晰朗讀的英語上,OpenAI 論文給出的 Whisper large-v2 詞錯誤率(WER)是 2.5%,也就是 100 個詞裡大約對 97 到 98 個。音訊越難,成績越差:電話錄音 13.6%,嘈雜的家庭聚餐 24.9%,用一支遠處麥克風錄的會議 39.9%。

Whisper 是 OpenAI 開放原始碼的語音辨識模型,很多轉錄 App 都用它當引擎,我們也一樣。這篇只講準確率:WER 衡量的是什麼,按音訊類型和語言看基準測試結果如何,Whisper 在哪些地方會出錯,以及怎麼自己測。想瞭解模型本身,可以看我們講什麼是 Whisper AI 的文章。

文中大部分數字來自 Whisper 論文(Radford 等,2022)。論文裡每個模型都是「zero-shot」(零樣本)測試的,沒有在測試集上做微調。更新的 large-v3 模型卡稱,在很多語言上,它比 large-v2 少 10% 到 20% 的錯誤,但沒有給出逐個資料集的完整表格。本文由 whispertranscribe.ai 發布。我們沒有為本文做基準測試,文中沒有任何數字是我們自己的測試結果。

Whisper 準確率一覽

沒有哪一個測試集能單獨回答這個問題,因為對數字影響最大的就是音訊本身。下表是 OpenAI 用 beam search 加 temperature fallback 跑出的 large-v2 結果(附錄 Table 9),經過 OpenAI 的文字規範化器處理後計分。

音訊類型 論文中的測試集 Whisper large-v2 WER 大致正確詞比例
有聲書,朗讀清晰 LibriSpeech test-clean 2.5% 每 100 個詞約對 97.5 個
朗讀新聞文字 WSJ 2.6% 每 100 個詞約對 97.4 個
TED 演講 TED-LIUM 3 3.7% 每 100 個詞約對 96 個
有聲書,較難的朗讀者 LibriSpeech test-other 4.9% 每 100 個詞約對 95 個
志願者用家用麥克風錄製 Common Voice 5.1 8.2% 每 100 個詞約對 92 個
電話交談 Switchboard 13.6% 每 100 個詞約對 86 個
長篇社會語言學訪談 CORAAL 14.2% 每 100 個詞約對 86 個
家人朋友之間的電話 CallHome 16.4% 每 100 個詞約對 84 個
會議,每人戴頭戴式麥克風 AMI IHM 17.4% 每 100 個詞約對 83 個
家庭聚餐,遠場麥克風 CHiME-6 24.9% 每 100 個詞約對 75 個
會議,一支放在遠處桌上的麥克風 AMI SDM1 39.9% 每 100 個詞約對 60 個

「正確詞比例」是用 100 減去 WER 得到的,只是個粗略算法,因為 WER 還會把多出來的詞算進去。

你常會看到別人引用 2.7%:那是同一個模型用更簡單的貪心解碼得到的(論文 Table 2)。另外注意,AMI 那兩行是同一批會議、用兩種方式錄的。把麥克風從每個人頭上挪到桌子中間,錯誤率就翻了一倍還多。

什麼是詞錯誤率(WER),怎麼算?

詞錯誤率,是逐字稿和經人工核對的參考稿相比,出錯的詞所佔的比例。數三類錯誤,再除以參考稿的詞數:

WER =(替換 + 刪除 + 插入)÷ 參考稿詞數

  • 替換(Substitution): 把對的詞寫成了錯的詞(「lunch」寫成了「launch」的位置)。
  • 刪除(Deletion): 說了但逐字稿裡漏掉的詞。
  • 插入(Insertion): 逐字稿裡有、但沒人說過的詞。

下面是一個我們自己編的例子,用開放原始碼的 jiwer 庫計分(例句保留英文,因為 WER 按英文單詞計算):

行 文字
參考稿(22 個詞) we moved the product launch to march ninth because the vendor missed two deadlines and doctor patel wants a new test plan
逐字稿 we moved the product lunch to march ninth because vendor missed two deadlines and doctor battle wants a new test plan today
錯誤 2 處替換(lunch、battle),1 處刪除(the),1 處插入(today)
WER 4 ÷ 22 = 18.2%

譯註:參考稿意思是「因為供應商錯過了兩個截止日期,我們把產品發布推到了 3 月 9 日,Patel 醫生想要一份新的測試計劃」。

WER 有三點容易讓人看錯:

  1. 它可以超過 100%。 插入錯誤沒有上限,論文 Fleurs 結果裡有幾種低資源語言就超過了 100%。
  2. 規範化會改變分數。 「Dr.」和「doctor」,除非兩份文字用同樣的方式清理過,否則就算一個錯誤。OpenAI 說,它的規範化器在某些資料集上把 WER 降低了最多 50%,主要是去掉了格式上的差異。
  3. 有些語言用字錯誤率(CER)。 中文、日語、泰語、老撾語和緬甸語不用空格分詞,論文改為按字計分。

一個準確率說法,如果沒說清用的是哪個測試集、怎麼計分,就不算測量結果,不管是誰說的,包括我們自己。

Whisper 的英語準確率怎麼樣?

Whisper 在清晰的英語上非常准,在雜亂的英語上也還能用。論文裡,在另外 12 個英語資料集上,它比一個 LibriSpeech 分數幾乎相同的有監督 wav2vec 2.0 模型少了 55.2% 的錯誤。

長錄音

Whisper 按 30 秒一個窗口來讀音訊,所以論文單獨測了長檔案(附錄 Table 16,large-v2):

長音訊測試集 內容 WER
TED-LIUM 3 11 場完整 TED 演講 3.5%
Meanwhile 64 段深夜電視節目片段,生僻詞多 5.1%
Kincaid46 46 段混合錄音,出自 2018 年的一次比較 8.8%
Earnings-21 公司財報電話會 9.7%
Rev16 16 期 Podcast 11.3%
Earnings-22 更多財報電話會,口音多樣 12.6%
CORAAL 231 場完整的非裔美國人英語訪談 19.6%

Whisper 和人工轉錄員比

OpenAI 找了四家人工轉錄服務和一家計算機輔助轉錄服務,轉錄 25 段 Kincaid46 錄音。計算機輔助服務比 Whisper 好 1.15 個百分點,純人工服務只好零點幾個百分點。論文的結論是:「not perfect but very close to human-level accuracy」(不完美,但非常接近人類水平)。

模型大小有影響

Whisper 有好幾個大小,App 不一定會說自己用的是哪個(附錄 Table 9):

模型 參數量 LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

音訊越難,差距越大:清晰有聲書上差約 4 個百分點,家庭聚餐上差 23 個百分點。更新的 turbo 模型是最佳化過的 large-v3,用 OpenAI 的 GitHub README 的話說,它以「minimal degradation in accuracy」(準確率只略有下降)換來了快得多的轉錄速度。

Whisper 在其他語言上准不准?

英語以外,準確率主要看 Whisper 在這種語言上有多少訓練音訊。論文發現,訓練長度的對數和 WER 的對數之間,相關係數的平方是 0.83,並估計資料每增加 16 倍,WER 就減半。96 種非英語語言裡,大多數的訓練音訊不到 1,000 小時。

部分 Fleurs 結果(朗讀句子,large-v2,附錄 Table 13):

語言 Fleurs WER 備注
西班牙語 3.0% 表中最低
英語 4.2%
葡萄牙語 4.3%
德語 4.5%
日語 5.3% 字錯誤率
俄語 5.6%
法語 8.3%
韓語 14.3% 被標為異常值
中文 14.7% 字錯誤率
阿拉伯語 16.0%
印地語 21.5%
希伯來語 27.1% 被標為異常值
斯瓦希裡語 39.3%
泰盧固語 99.0% 被標為異常值

論文指出,希伯來語、泰盧固語、中文和韓語的表現比按訓練資料預測的要差,可能是因為語言差異大、分詞器不太適配這些文字,或者資料品質問題。Fleurs 是朗讀語音,所以在對話上錯誤率會更高。README 裡有一張更新的圖,給出 large-v3 和 large-v2 在 Common Voice 15 和 Fleurs 上的結果。

如果你要把西班牙語音訊轉成文字,西班牙語的結果挺讓人放心。對低資源語言,整個項目開始之前先拿一小段試試。

哪些因素影響 Whisper 的準確率?

錄音條件比什麼都重要。來自論文和模型卡的證據:

因素 證據顯示 怎麼做
背景噪音 在信噪比低於 10 dB 的酒吧噪音下,Whisper 勝過全部 14 個比較模型,但噪音越大,每個模型都越差 在安靜的房間錄,遠離風扇和音樂
麥克風距離 同一批 AMI 會議:頭戴式麥克風 17.4%,一支桌面麥克風 39.9% 讓麥克風靠近說話的人
對話和多人搶話 電話和家庭聚餐在 13.6% 到 24.9% 之間,朗讀語音是 2.5% 一次一個人說;每人一支麥克風
口音和方言 模型卡說不同口音和方言的準確率不均衡;CORAAL 長訪談是 19.6% 找和你真實錄音裡口音相近的人來測試
生僻詞和行話 在行話很多的 Meanwhile 測試集上表現不錯(5.1%),但人名和專業術語仍是常見錯誤 對照清單核對人名和術語
語言資源 Fleurs WER 從 3.0%(西班牙語)到 99.0%(泰盧固語) 自己選定語言;低資源語言多留審稿時間
模型大小 tiny 在 CHiME-6 上是 48.0%,large-v2 是 24.9% 問清工具用的是哪個模型,或盡量用最大的
檔案格式和取樣率 Whisper 的程式碼會把所有音訊重取樣成 16 kHz 單聲道 48 kHz 的 WAV 不會比乾淨的 16 kHz 檔案更有優勢

把 MP3 轉成大體積的 WAV,丟掉的細節也回不來。位元率不高但乾淨的錄音,勝過位元率很高但嘈雜的錄音。

Whisper 的已知問題:幻覺、循環和時間戳記

下面這些出錯方式 OpenAI 都有記錄,它們的實際影響比在 WER 裡佔的比例更大。

幻覺文字

Whisper 可能寫出沒人說過的話。模型卡說,預測結果「may include texts that are not actually spoken in the audio input」(可能包含音訊裡實際沒說的文字),原因可能是模型也會預測下一個最可能出現的詞。論文的局限部分甚至提到了「complete hallucination」(完全幻覺),也就是和音訊毫無關係的輸出。

一項獨立研究 Careless Whisper(Koenecke 等,2024)在 2023 年 4 月和 5 月,把 13,140 段音訊送進 OpenAI 的 Whisper API。約 1% 的轉錄結果(平均 1.4%)含有整句或整段編造的內容,其中 38% 包含暴力或錯誤關聯等有害內容。停頓較長的說話者(這裡是失語症患者)更容易觸發。此後 API 已有變化,所以這應視為 2023 年的測量結果。

重復循環和漏詞

模型卡說 Whisper「prone to generating repetitive texts」(容易生成重復文字),beam search 和 temperature scheduling 能減少這種情況,「but not perfectly」(但不能完全解決)。論文還提到它會漏掉一段的開頭或結尾幾個詞。論文的解碼改進把長音訊平均 WER 從 11.0% 降到 10.0%:有改善,但沒解決。

靜音、音樂和填充詞

編造的文字往往出現在長時間靜音和音樂裡。論文發現,單靠 Whisper 自己的「no speech」(無語音)信號並不可靠;現在開放原始碼程式碼裡有一個選項,在偵測到可能的幻覺時跳過長靜音。

時間戳記漂移和長檔案

Whisper 處理長音訊時一次走一個 30 秒窗口,用自己預測的時間戳記來定位下一個窗口,所以論文指出,一個窗口裡的錯誤可能帶到下一個窗口。詞級時間戳記在程式碼裡標為「experimental」(實驗性)。做字幕時,要抽查停頓前後的時間軸。

開發過程中,OpenAI 還發現 Whisper 會猜說話者的名字,而且「almost always incorrect」(幾乎總是錯的)。發布的模型經過微調來抑制這一點,但文字裡出現的任何名字都要核對。

提升 Whisper 轉錄準確率的 10 個辦法

大部分提升來自點「轉錄」之前。大致按效果從大到小排列:

  1. 麥克風放近。 在 AMI 會議裡,光是距離就讓錯誤率翻了一倍還多。
  2. 從源頭減少噪音。 關窗,關風扇,暫停音樂。
  3. 避免多人搶話。 一次一個人說,比任何設定都管用。
  4. 剪掉長靜音和音樂片頭,編造的文字最常出現在這些地方。在停頓處剪,別從句子中間剪。
  5. 自己設定語言。 在 82 種 Fleurs 語言上,Whisper 辨識語言的正確率是 80.3%,所以短片段或口音重的片段,自動偵測可能會出錯。
  6. 用能用的最大模型,嘈雜錄音尤其如此。
  7. 自己部署的話,用人名和術語做提示。 開放原始碼 Whisper 支援 --initial_prompt,可以填入你預期的拼寫。
  8. 上傳原始檔案。 通過音箱重新錄一遍,或者反復重新壓縮,都會丟細節。
  9. 做一遍術語檢查。 搜出每個人名、數字、日期和縮寫,對照錄音核實。
  10. 分兩遍審。 第一遍按正常速度改錯。第二遍找幻覺跡象:重復的行、出現在靜音段上的句子、「Thanks for watching」(感謝觀看)這類結束語。法律、醫療或要公開發布的內容,要讓人從頭到尾審一遍。

怎麼用自己的音訊測 Whisper 的準確率

對你的工作來說,最好的估計是用自己的錄音做一次 30 分鐘的測試。下面的步驟是給你自己跑的,不是 whispertranscribe.ai 的測試。

  1. 挑三段 2 分鐘的片段,和你的真實工作類似:一段容易的,一段一般的,一段難的。
  2. 手工寫一份逐字參考稿。 先定規則:保不保留「um」,數字寫成阿拉伯數字還是單詞。
  3. 用你要測的工具轉錄每段片段,保存為純文字。
  4. 用同樣的方式規範化兩份文字。 OpenAI 的規範化器隨 openai-whisper 一起提供。
  5. 用 jiwer 計算 WER:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")

譯註:腳本讀入參考稿(reference.txt)和待測逐字稿(transcript.txt),用 OpenAI 的英文規範化器統一格式,再輸出 WER 以及替換(S)、刪除(D)、插入(I)的數量。

  1. 關鍵錯誤單獨計數。 錯 5 個語氣詞和錯 5 個客戶名字,WER 一樣,但問題完全不同。
  2. 記錄結果,方便比較不同工具或設定:
片段 錄音條件 參考稿詞數 S D I WER 關鍵錯誤
片段 A 安靜房間,一個人說話 310
片段 B 影片通話,兩個人說話 285
片段 C 咖啡館,說話者有口音 296

詞數只是佔位數字。第 4 步要提醒一句:我們用 OpenAI 的英文規範化器跑一個自己編的句子時,它能把「Dr.」對上「doctor」、把「two」對上「2」,但「9th」和「ninth」仍然算一個錯誤。相信分數之前,先看一下被標出的差異。

whispertranscribe.ai 有多準?

whispertranscribe.ai 是一款網頁版 AI 轉錄工具,基於 Whisper,支援 130 多種語言,單個檔案最大 5GB、10 小時。清晰音訊的準確率最高可達 99%;背景噪音、口音重和多人搶話都會讓它下降,上面 Whisper 本身的基準結果也說明瞭這一點。我們不聲稱達到或超過論文裡的數字,也沒有公佈自己的基準測試,所以請按上面的步驟用你自己的片段測。

  • 很多語言的語言選擇器裡都有 Noise / Low-Quality Audio/Video(噪音 / 低品質音訊與影片)選項。嘈雜的檔案,可以標準選項和噪音選項都試一下,比一比。
  • 130 多種語言,Multilingual Mix(多語言混合)選項,以及把音訊翻譯成英文。
  • 檔案最大 5GB、10 小時,支援說話者辨識和時間戳記(全部功能)。
  • 輸入要乾淨: 麥克風放近,在瀏覽器裡錄音,或者把影片轉成 MP3,只上傳音訊。
  • 匯出為 DOCX、PDF、TXT、CSV、SRT 和 VTT,另有字幕產生器做帶時間軸的字幕。

你可以免費開始,無需註冊帳號。付費方案 from $9.99/month billed annually 起;查看價格。

常見問題

Whisper 的準確率是 99% 嗎?

一般來說不是。Whisper 公佈的最好成績是 LibriSpeech test-clean 上 2.5% 的詞錯誤率,這是一組朗讀清晰的有聲書,約等於 97.5% 的詞正確。在電話、會議和嘈雜房間裡,OpenAI 自己的數字是約 13% 到 40% 的 WER。「99%」這種說法,只有說明瞭是在什麼音訊上測的才有意義。基於 Whisper 的工具,包括 whispertranscribe.ai,都應該用你自己的錄音來評判,而不是看一個醒目的百分比。

哪個 Whisper 模型最准?

large 系列模型最准。在 OpenAI 的論文裡,large-v2 在大多數測試集上錯誤率最低;large-v3 模型卡稱,在很多語言上它比 large-v2 少 10% 到 20% 的錯誤。turbo 模型是最佳化過的 large-v3,OpenAI 說它只損失一點準確率,換來快得多的速度。最小的 tiny 模型在難音訊上差得多:嘈雜家庭聚餐上 WER 是 48.0%,large-v2 是 24.9%。

Whisper 為什麼會寫出沒人說過的話?

Whisper 會出現幻覺,因為它在訓練中不只學會轉錄聲音,也學會預測可能出現的文字;OpenAI 的模型卡提醒,它可能輸出音訊裡沒有的文字。這種情況最常出現在長靜音、音樂或噪音裡。2023 年的一項獨立研究發現,約 1% 的轉錄結果含有幻覺內容,停頓會讓它更容易出現。剪掉靜音、設定語言、重點檢查逐字稿裡安靜的片段,都能降低風險。

Whisper 對口音的準確率怎麼樣?

Whisper 處理口音比很多老系統好,但並不均衡。OpenAI 的模型卡說,同一種語言的不同口音和方言,準確率會有差異。論文裡,非裔美國人英語(CORAAL)的長訪談 WER 是 19.6%,完整 TED 演講是 3.5%,不過兩者的錄音條件也不同。可靠的做法是,找和你真實錄音口音相近的人錄一段來測,口音重時多留審稿時間。

Whisper 和人工轉錄員一樣准嗎?

在英語上,Whisper 很接近,但比不上最好的。OpenAI 在 25 段錄音上把它和五家專業服務做了比較。一家計算機輔助服務的總體 WER 比 Whisper 低 1.15 個百分點,四家純人工服務好零點幾個百分點。人名、多人搶話和聽不清的話,人仍然處理得更好。凡是要引用、存檔或公開發布的內容,都應該有人對照錄音審一遍逐字稿。

Whisper 在英語以外的語言上有多準?

不同語言差別很大。在 Fleurs 基準上,large-v2 的 WER 是西班牙語 3.0%、德語 4.5%、法語 8.3%,但希伯來語 27.1%、泰盧固語 99.0%。中文和日語按字錯誤率計分:分別是 14.7% 和 5.3%。論文發現,準確率和每種語言的訓練音訊多少直接相關。低資源語言,先拿一小段試,並多留改錯的時間。

用你自己的錄音測準確率

基準測試描述的是別人的音訊。把一段 130 多種語言 中任意語言的片段上傳到 whispertranscribe.ai,按本文的步驟打分。免費開始,無需註冊帳號,或者比較各方案。

相關文章: 什麼是 Whisper AI? · 最好用的免費轉錄軟體 · TurboScribe 的最佳替代品 · 怎麼轉錄 YouTube 影片 · 什麼是 SRT 檔案? · 硬字幕和軟字幕

參考資料

想把錄音轉成文字嗎?

使用 whispertranscribe.ai 轉錄音訊和影片。

開始轉錄 ↗