Whisper AI 有多准?WER、真实局限和提升技巧(2026)

作者:whispertranscribe.ai Editorial Team · 最后更新:2026 年 11 月 · 阅读约 13 分钟 · 分类:转写准确率

Whisper 有多准?在清晰朗读的英语上,OpenAI 论文给出的 Whisper large-v2 词错误率(WER)是 2.5%,也就是 100 个词里大约对 97 到 98 个。音频越难,成绩越差:电话录音 13.6%,嘈杂的家庭聚餐 24.9%,用一支远处麦克风录的会议 39.9%。

Whisper 是 OpenAI 开源的语音识别模型,很多转写 App 都用它当引擎,我们也一样。这篇只讲准确率:WER 衡量的是什么,按音频类型和语言看基准测试结果如何,Whisper 在哪些地方会出错,以及怎么自己测。想了解模型本身,可以看我们讲什么是 Whisper AI 的文章。

文中大部分数字来自 Whisper 论文(Radford 等,2022)。论文里每个模型都是“zero-shot”(零样本)测试的,没有在测试集上做微调。更新的 large-v3 模型卡称,在很多语言上,它比 large-v2 少 10% 到 20% 的错误,但没有给出逐个数据集的完整表格。本文由 whispertranscribe.ai 发布。我们没有为本文做基准测试,文中没有任何数字是我们自己的测试结果。

Whisper 准确率一览

没有哪一个测试集能单独回答这个问题,因为对数字影响最大的就是音频本身。下表是 OpenAI 用 beam search 加 temperature fallback 跑出的 large-v2 结果(附录 Table 9),经过 OpenAI 的文本规范化器处理后计分。

音频类型 论文中的测试集 Whisper large-v2 WER 大致正确词比例
有声书,朗读清晰 LibriSpeech test-clean 2.5% 每 100 个词约对 97.5 个
朗读新闻文本 WSJ 2.6% 每 100 个词约对 97.4 个
TED 演讲 TED-LIUM 3 3.7% 每 100 个词约对 96 个
有声书,较难的朗读者 LibriSpeech test-other 4.9% 每 100 个词约对 95 个
志愿者用家用麦克风录制 Common Voice 5.1 8.2% 每 100 个词约对 92 个
电话交谈 Switchboard 13.6% 每 100 个词约对 86 个
长篇社会语言学访谈 CORAAL 14.2% 每 100 个词约对 86 个
家人朋友之间的电话 CallHome 16.4% 每 100 个词约对 84 个
会议,每人戴头戴式麦克风 AMI IHM 17.4% 每 100 个词约对 83 个
家庭聚餐,远场麦克风 CHiME-6 24.9% 每 100 个词约对 75 个
会议,一支放在远处桌上的麦克风 AMI SDM1 39.9% 每 100 个词约对 60 个

“正确词比例”是用 100 减去 WER 得到的,只是个粗略算法,因为 WER 还会把多出来的词算进去。

你常会看到别人引用 2.7%:那是同一个模型用更简单的贪心解码得到的(论文 Table 2)。另外注意,AMI 那两行是同一批会议、用两种方式录的。把麦克风从每个人头上挪到桌子中间,错误率就翻了一倍还多。

什么是词错误率(WER),怎么算?

词错误率,是文字稿和经人工核对的参考稿相比,出错的词所占的比例。数三类错误,再除以参考稿的词数:

WER =(替换 + 删除 + 插入)÷ 参考稿词数

  • 替换(Substitution): 把对的词写成了错的词(“lunch”写成了“launch”的位置)。
  • 删除(Deletion): 说了但文字稿里漏掉的词。
  • 插入(Insertion): 文字稿里有、但没人说过的词。

下面是一个我们自己编的例子,用开源的 jiwer 库计分(例句保留英文,因为 WER 按英文单词计算):

行 文本
参考稿(22 个词) we moved the product launch to march ninth because the vendor missed two deadlines and doctor patel wants a new test plan
文字稿 we moved the product lunch to march ninth because vendor missed two deadlines and doctor battle wants a new test plan today
错误 2 处替换(lunch、battle),1 处删除(the),1 处插入(today)
WER 4 ÷ 22 = 18.2%

译注:参考稿意思是“因为供应商错过了两个截止日期,我们把产品发布推到了 3 月 9 日,Patel 医生想要一份新的测试计划”。

WER 有三点容易让人看错:

  1. 它可以超过 100%。 插入错误没有上限,论文 Fleurs 结果里有几种低资源语言就超过了 100%。
  2. 规范化会改变分数。 “Dr.”和“doctor”,除非两份文本用同样的方式清理过,否则就算一个错误。OpenAI 说,它的规范化器在某些数据集上把 WER 降低了最多 50%,主要是去掉了格式上的差异。
  3. 有些语言用字错误率(CER)。 中文、日语、泰语、老挝语和缅甸语不用空格分词,论文改为按字计分。

一个准确率说法,如果没说清用的是哪个测试集、怎么计分,就不算测量结果,不管是谁说的,包括我们自己。

Whisper 的英语准确率怎么样?

Whisper 在清晰的英语上非常准,在杂乱的英语上也还能用。论文里,在另外 12 个英语数据集上,它比一个 LibriSpeech 分数几乎相同的有监督 wav2vec 2.0 模型少了 55.2% 的错误。

长录音

Whisper 按 30 秒一个窗口来读音频,所以论文单独测了长文件(附录 Table 16,large-v2):

长音频测试集 内容 WER
TED-LIUM 3 11 场完整 TED 演讲 3.5%
Meanwhile 64 段深夜电视节目片段,生僻词多 5.1%
Kincaid46 46 段混合录音,出自 2018 年的一次对比 8.8%
Earnings-21 公司财报电话会 9.7%
Rev16 16 期播客 11.3%
Earnings-22 更多财报电话会,口音多样 12.6%
CORAAL 231 场完整的非裔美国人英语访谈 19.6%

Whisper 和人工转写员比

OpenAI 找了四家人工转写服务和一家计算机辅助转写服务,转写 25 段 Kincaid46 录音。计算机辅助服务比 Whisper 好 1.15 个百分点,纯人工服务只好零点几个百分点。论文的结论是:“not perfect but very close to human-level accuracy”(不完美,但非常接近人类水平)。

模型大小有影响

Whisper 有好几个尺寸,App 不一定会说自己用的是哪个(附录 Table 9):

模型 参数量 LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

音频越难,差距越大:清晰有声书上差约 4 个百分点,家庭聚餐上差 23 个百分点。更新的 turbo 模型是优化过的 large-v3,用 OpenAI 的 GitHub README 的话说,它以“minimal degradation in accuracy”(准确率只略有下降)换来了快得多的转写速度。

Whisper 在其他语言上准不准?

英语以外,准确率主要看 Whisper 在这种语言上有多少训练音频。论文发现,训练时长的对数和 WER 的对数之间,相关系数的平方是 0.83,并估计数据每增加 16 倍,WER 就减半。96 种非英语语言里,大多数的训练音频不到 1,000 小时。

部分 Fleurs 结果(朗读句子,large-v2,附录 Table 13):

语言 Fleurs WER 备注
西班牙语 3.0% 表中最低
英语 4.2%
葡萄牙语 4.3%
德语 4.5%
日语 5.3% 字错误率
俄语 5.6%
法语 8.3%
韩语 14.3% 被标为异常值
中文 14.7% 字错误率
阿拉伯语 16.0%
印地语 21.5%
希伯来语 27.1% 被标为异常值
斯瓦希里语 39.3%
泰卢固语 99.0% 被标为异常值

论文指出,希伯来语、泰卢固语、中文和韩语的表现比按训练数据预测的要差,可能是因为语言差异大、分词器不太适配这些文字,或者数据质量问题。Fleurs 是朗读语音,所以在对话上错误率会更高。README 里有一张更新的图,给出 large-v3 和 large-v2 在 Common Voice 15 和 Fleurs 上的结果。

如果你要把西班牙语音频转成文字,西班牙语的结果挺让人放心。对低资源语言,整个项目开始之前先拿一小段试试。

哪些因素影响 Whisper 的准确率?

录音条件比什么都重要。来自论文和模型卡的证据:

因素 证据显示 怎么做
背景噪音 在信噪比低于 10 dB 的酒吧噪音下,Whisper 胜过全部 14 个对比模型,但噪音越大,每个模型都越差 在安静的房间录,远离风扇和音乐
麦克风距离 同一批 AMI 会议:头戴式麦克风 17.4%,一支桌面麦克风 39.9% 让麦克风靠近说话的人
对话和多人抢话 电话和家庭聚餐在 13.6% 到 24.9% 之间,朗读语音是 2.5% 一次一个人说;每人一支麦克风
口音和方言 模型卡说不同口音和方言的准确率不均衡;CORAAL 长访谈是 19.6% 找和你真实录音里口音相近的人来测试
生僻词和行话 在行话很多的 Meanwhile 测试集上表现不错(5.1%),但人名和专业术语仍是常见错误 对照清单核对人名和术语
语言资源 Fleurs WER 从 3.0%(西班牙语)到 99.0%(泰卢固语) 自己选定语言;低资源语言多留审稿时间
模型大小 tiny 在 CHiME-6 上是 48.0%,large-v2 是 24.9% 问清工具用的是哪个模型,或尽量用最大的
文件格式和采样率 Whisper 的代码会把所有音频重采样成 16 kHz 单声道 48 kHz 的 WAV 不会比干净的 16 kHz 文件更有优势

把 MP3 转成大体积的 WAV,丢掉的细节也回不来。码率不高但干净的录音,胜过码率很高但嘈杂的录音。

Whisper 的已知问题:幻觉、循环和时间戳

下面这些出错方式 OpenAI 都有记录,它们的实际影响比在 WER 里占的比例更大。

幻觉文本

Whisper 可能写出没人说过的话。模型卡说,预测结果“may include texts that are not actually spoken in the audio input”(可能包含音频里实际没说的文字),原因可能是模型也会预测下一个最可能出现的词。论文的局限部分甚至提到了“complete hallucination”(完全幻觉),也就是和音频毫无关系的输出。

一项独立研究 Careless Whisper(Koenecke 等,2024)在 2023 年 4 月和 5 月,把 13,140 段音频送进 OpenAI 的 Whisper API。约 1% 的转写结果(平均 1.4%)含有整句或整段编造的内容,其中 38% 包含暴力或错误关联等有害内容。停顿较长的说话人(这里是失语症患者)更容易触发。此后 API 已有变化,所以这应视为 2023 年的测量结果。

重复循环和漏词

模型卡说 Whisper“prone to generating repetitive texts”(容易生成重复文本),beam search 和 temperature scheduling 能减少这种情况,“but not perfectly”(但不能完全解决)。论文还提到它会漏掉一段的开头或结尾几个词。论文的解码改进把长音频平均 WER 从 11.0% 降到 10.0%:有改善,但没解决。

静音、音乐和填充词

编造的文字往往出现在长时间静音和音乐里。论文发现,单靠 Whisper 自己的“no speech”(无语音)信号并不可靠;现在开源代码里有一个选项,在检测到可能的幻觉时跳过长静音。

时间戳漂移和长文件

Whisper 处理长音频时一次走一个 30 秒窗口,用自己预测的时间戳来定位下一个窗口,所以论文指出,一个窗口里的错误可能带到下一个窗口。词级时间戳在代码里标为“experimental”(实验性)。做字幕时,要抽查停顿前后的时间轴。

开发过程中,OpenAI 还发现 Whisper 会猜说话人的名字,而且“almost always incorrect”(几乎总是错的)。发布的模型经过微调来抑制这一点,但文本里出现的任何名字都要核对。

提升 Whisper 转写准确率的 10 个办法

大部分提升来自点“转写”之前。大致按效果从大到小排列:

  1. 麦克风放近。 在 AMI 会议里,光是距离就让错误率翻了一倍还多。
  2. 从源头减少噪音。 关窗,关风扇,暂停音乐。
  3. 避免多人抢话。 一次一个人说,比任何设置都管用。
  4. 剪掉长静音和音乐片头,编造的文字最常出现在这些地方。在停顿处剪,别从句子中间剪。
  5. 自己设定语言。 在 82 种 Fleurs 语言上,Whisper 识别语言的正确率是 80.3%,所以短片段或口音重的片段,自动检测可能会出错。
  6. 用能用的最大模型,嘈杂录音尤其如此。
  7. 自己部署的话,用人名和术语做提示。 开源 Whisper 支持 --initial_prompt,可以填入你预期的拼写。
  8. 上传原始文件。 通过音箱重新录一遍,或者反复重新压缩,都会丢细节。
  9. 做一遍术语检查。 搜出每个人名、数字、日期和缩写,对照录音核实。
  10. 分两遍审。 第一遍按正常速度改错。第二遍找幻觉迹象:重复的行、出现在静音段上的句子、“Thanks for watching”(感谢观看)这类结束语。法律、医疗或要公开发布的内容,要让人从头到尾审一遍。

怎么用自己的音频测 Whisper 的准确率

对你的工作来说,最好的估计是用自己的录音做一次 30 分钟的测试。下面的步骤是给你自己跑的,不是 whispertranscribe.ai 的测试。

  1. 挑三段 2 分钟的片段,和你的真实工作类似:一段容易的,一段一般的,一段难的。
  2. 手工写一份逐字参考稿。 先定规则:保不保留“um”,数字写成阿拉伯数字还是单词。
  3. 用你要测的工具转写每段片段,保存为纯文本。
  4. 用同样的方式规范化两份文本。 OpenAI 的规范化器随 openai-whisper 一起提供。
  5. 用 jiwer 计算 WER:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")

译注:脚本读入参考稿(reference.txt)和待测文字稿(transcript.txt),用 OpenAI 的英文规范化器统一格式,再输出 WER 以及替换(S)、删除(D)、插入(I)的数量。

  1. 关键错误单独计数。 错 5 个语气词和错 5 个客户名字,WER 一样,但问题完全不同。
  2. 记录结果,方便比较不同工具或设置:
片段 录音条件 参考稿词数 S D I WER 关键错误
片段 A 安静房间,一个人说话 310
片段 B 视频通话,两个人说话 285
片段 C 咖啡馆,说话人有口音 296

词数只是占位数字。第 4 步要提醒一句:我们用 OpenAI 的英文规范化器跑一个自己编的句子时,它能把“Dr.”对上“doctor”、把“two”对上“2”,但“9th”和“ninth”仍然算一个错误。相信分数之前,先看一下被标出的差异。

whispertranscribe.ai 有多准?

whispertranscribe.ai 是一款网页版 AI 转写工具,基于 Whisper,支持 130+ languages,单个文件最大 5GB、10 小时。清晰音频的准确率可达 up to 99%;背景噪音、口音重和多人抢话都会让它下降,上面 Whisper 本身的基准结果也说明了这一点。我们不声称达到或超过论文里的数字,也没有公布自己的基准测试,所以请按上面的步骤用你自己的片段测。

  • 很多语言的语言选择器里都有 Noise / Low-Quality Audio/Video(噪音 / 低质量音视频)选项。嘈杂的文件,可以标准选项和噪音选项都试一下,比一比。
  • 130+ languages,Multilingual Mix(多语言混合)选项,以及把音频翻译成英文。
  • 文件最大 5GB、10 小时,支持说话人识别和时间戳(全部功能)。
  • 输入要干净: 麦克风放近,在浏览器里录音,或者把视频转成 MP3,只上传音频。
  • 导出为 DOCX、PDF、TXT、CSV、SRT 和 VTT,另有字幕生成器做带时间轴的字幕。

你可以免费开始,无需注册账号。付费方案 from $9.99/month billed annually 起;查看价格。

常见问题

Whisper 的准确率是 99% 吗?

一般来说不是。Whisper 公布的最好成绩是 LibriSpeech test-clean 上 2.5% 的词错误率,这是一组朗读清晰的有声书,约等于 97.5% 的词正确。在电话、会议和嘈杂房间里,OpenAI 自己的数字是约 13% 到 40% 的 WER。“99%”这种说法,只有说明了是在什么音频上测的才有意义。基于 Whisper 的工具,包括 whispertranscribe.ai,都应该用你自己的录音来评判,而不是看一个醒目的百分比。

哪个 Whisper 模型最准?

large 系列模型最准。在 OpenAI 的论文里,large-v2 在大多数测试集上错误率最低;large-v3 模型卡称,在很多语言上它比 large-v2 少 10% 到 20% 的错误。turbo 模型是优化过的 large-v3,OpenAI 说它只损失一点准确率,换来快得多的速度。最小的 tiny 模型在难音频上差得多:嘈杂家庭聚餐上 WER 是 48.0%,large-v2 是 24.9%。

Whisper 为什么会写出没人说过的话?

Whisper 会出现幻觉,因为它在训练中不只学会转写声音,也学会预测可能出现的文字;OpenAI 的模型卡提醒,它可能输出音频里没有的文字。这种情况最常出现在长静音、音乐或噪音里。2023 年的一项独立研究发现,约 1% 的转写结果含有幻觉内容,停顿会让它更容易出现。剪掉静音、设定语言、重点检查文字稿里安静的片段,都能降低风险。

Whisper 对口音的准确率怎么样?

Whisper 处理口音比很多老系统好,但并不均衡。OpenAI 的模型卡说,同一种语言的不同口音和方言,准确率会有差异。论文里,非裔美国人英语(CORAAL)的长访谈 WER 是 19.6%,完整 TED 演讲是 3.5%,不过两者的录音条件也不同。可靠的做法是,找和你真实录音口音相近的人录一段来测,口音重时多留审稿时间。

Whisper 和人工转写员一样准吗?

在英语上,Whisper 很接近,但比不上最好的。OpenAI 在 25 段录音上把它和五家专业服务做了比较。一家计算机辅助服务的总体 WER 比 Whisper 低 1.15 个百分点,四家纯人工服务好零点几个百分点。人名、多人抢话和听不清的话,人仍然处理得更好。凡是要引用、存档或公开发布的内容,都应该有人对照录音审一遍文字稿。

Whisper 在英语以外的语言上有多准?

不同语言差别很大。在 Fleurs 基准上,large-v2 的 WER 是西班牙语 3.0%、德语 4.5%、法语 8.3%,但希伯来语 27.1%、泰卢固语 99.0%。中文和日语按字错误率计分:分别是 14.7% 和 5.3%。论文发现,准确率和每种语言的训练音频多少直接相关。低资源语言,先拿一小段试,并多留改错的时间。

用你自己的录音测准确率

基准测试描述的是别人的音频。把一段 130+ languages 中任意语言的片段上传到 whispertranscribe.ai,按本文的步骤打分。免费开始,无需注册账号,或者比较各方案。

相关文章: 什么是 Whisper AI? · 最好用的免费转写软件 · TurboScribe 的最佳替代品 · 怎么转写 YouTube 视频 · 什么是 SRT 文件? · 硬字幕和软字幕

参考资料

想把录音转成文字?

用 whispertranscribe.ai 转录音频和视频。

开始转录 ↗