作者:whispertranscribe.ai Editorial Team · 最后更新:2026 年 11 月 · 阅读约 13 分钟 · 分类:转写准确率
Whisper 有多准?在清晰朗读的英语上,OpenAI 论文给出的 Whisper large-v2 词错误率(WER)是 2.5%,也就是 100 个词里大约对 97 到 98 个。音频越难,成绩越差:电话录音 13.6%,嘈杂的家庭聚餐 24.9%,用一支远处麦克风录的会议 39.9%。
Whisper 是 OpenAI 开源的语音识别模型,很多转写 App 都用它当引擎,我们也一样。这篇只讲准确率:WER 衡量的是什么,按音频类型和语言看基准测试结果如何,Whisper 在哪些地方会出错,以及怎么自己测。想了解模型本身,可以看我们讲什么是 Whisper AI 的文章。
文中大部分数字来自 Whisper 论文(Radford 等,2022)。论文里每个模型都是“zero-shot”(零样本)测试的,没有在测试集上做微调。更新的 large-v3 模型卡称,在很多语言上,它比 large-v2 少 10% 到 20% 的错误,但没有给出逐个数据集的完整表格。本文由 whispertranscribe.ai 发布。我们没有为本文做基准测试,文中没有任何数字是我们自己的测试结果。
Whisper 准确率一览
没有哪一个测试集能单独回答这个问题,因为对数字影响最大的就是音频本身。下表是 OpenAI 用 beam search 加 temperature fallback 跑出的 large-v2 结果(附录 Table 9),经过 OpenAI 的文本规范化器处理后计分。
| 音频类型 | 论文中的测试集 | Whisper large-v2 WER | 大致正确词比例 |
|---|---|---|---|
| 有声书,朗读清晰 | LibriSpeech test-clean | 2.5% | 每 100 个词约对 97.5 个 |
| 朗读新闻文本 | WSJ | 2.6% | 每 100 个词约对 97.4 个 |
| TED 演讲 | TED-LIUM 3 | 3.7% | 每 100 个词约对 96 个 |
| 有声书,较难的朗读者 | LibriSpeech test-other | 4.9% | 每 100 个词约对 95 个 |
| 志愿者用家用麦克风录制 | Common Voice 5.1 | 8.2% | 每 100 个词约对 92 个 |
| 电话交谈 | Switchboard | 13.6% | 每 100 个词约对 86 个 |
| 长篇社会语言学访谈 | CORAAL | 14.2% | 每 100 个词约对 86 个 |
| 家人朋友之间的电话 | CallHome | 16.4% | 每 100 个词约对 84 个 |
| 会议,每人戴头戴式麦克风 | AMI IHM | 17.4% | 每 100 个词约对 83 个 |
| 家庭聚餐,远场麦克风 | CHiME-6 | 24.9% | 每 100 个词约对 75 个 |
| 会议,一支放在远处桌上的麦克风 | AMI SDM1 | 39.9% | 每 100 个词约对 60 个 |
“正确词比例”是用 100 减去 WER 得到的,只是个粗略算法,因为 WER 还会把多出来的词算进去。
你常会看到别人引用 2.7%:那是同一个模型用更简单的贪心解码得到的(论文 Table 2)。另外注意,AMI 那两行是同一批会议、用两种方式录的。把麦克风从每个人头上挪到桌子中间,错误率就翻了一倍还多。
什么是词错误率(WER),怎么算?
词错误率,是文字稿和经人工核对的参考稿相比,出错的词所占的比例。数三类错误,再除以参考稿的词数:
WER =(替换 + 删除 + 插入)÷ 参考稿词数
- 替换(Substitution): 把对的词写成了错的词(“lunch”写成了“launch”的位置)。
- 删除(Deletion): 说了但文字稿里漏掉的词。
- 插入(Insertion): 文字稿里有、但没人说过的词。
下面是一个我们自己编的例子,用开源的 jiwer 库计分(例句保留英文,因为 WER 按英文单词计算):
| 行 | 文本 |
|---|---|
| 参考稿(22 个词) | we moved the product launch to march ninth because the vendor missed two deadlines and doctor patel wants a new test plan |
| 文字稿 | we moved the product lunch to march ninth because vendor missed two deadlines and doctor battle wants a new test plan today |
| 错误 | 2 处替换(lunch、battle),1 处删除(the),1 处插入(today) |
| WER | 4 ÷ 22 = 18.2% |
译注:参考稿意思是“因为供应商错过了两个截止日期,我们把产品发布推到了 3 月 9 日,Patel 医生想要一份新的测试计划”。
WER 有三点容易让人看错:
- 它可以超过 100%。 插入错误没有上限,论文 Fleurs 结果里有几种低资源语言就超过了 100%。
- 规范化会改变分数。 “Dr.”和“doctor”,除非两份文本用同样的方式清理过,否则就算一个错误。OpenAI 说,它的规范化器在某些数据集上把 WER 降低了最多 50%,主要是去掉了格式上的差异。
- 有些语言用字错误率(CER)。 中文、日语、泰语、老挝语和缅甸语不用空格分词,论文改为按字计分。
一个准确率说法,如果没说清用的是哪个测试集、怎么计分,就不算测量结果,不管是谁说的,包括我们自己。
Whisper 的英语准确率怎么样?
Whisper 在清晰的英语上非常准,在杂乱的英语上也还能用。论文里,在另外 12 个英语数据集上,它比一个 LibriSpeech 分数几乎相同的有监督 wav2vec 2.0 模型少了 55.2% 的错误。
长录音
Whisper 按 30 秒一个窗口来读音频,所以论文单独测了长文件(附录 Table 16,large-v2):
| 长音频测试集 | 内容 | WER |
|---|---|---|
| TED-LIUM 3 | 11 场完整 TED 演讲 | 3.5% |
| Meanwhile | 64 段深夜电视节目片段,生僻词多 | 5.1% |
| Kincaid46 | 46 段混合录音,出自 2018 年的一次对比 | 8.8% |
| Earnings-21 | 公司财报电话会 | 9.7% |
| Rev16 | 16 期播客 | 11.3% |
| Earnings-22 | 更多财报电话会,口音多样 | 12.6% |
| CORAAL | 231 场完整的非裔美国人英语访谈 | 19.6% |
Whisper 和人工转写员比
OpenAI 找了四家人工转写服务和一家计算机辅助转写服务,转写 25 段 Kincaid46 录音。计算机辅助服务比 Whisper 好 1.15 个百分点,纯人工服务只好零点几个百分点。论文的结论是:“not perfect but very close to human-level accuracy”(不完美,但非常接近人类水平)。
模型大小有影响
Whisper 有好几个尺寸,App 不一定会说自己用的是哪个(附录 Table 9):
| 模型 | 参数量 | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
音频越难,差距越大:清晰有声书上差约 4 个百分点,家庭聚餐上差 23 个百分点。更新的 turbo 模型是优化过的 large-v3,用 OpenAI 的 GitHub README 的话说,它以“minimal degradation in accuracy”(准确率只略有下降)换来了快得多的转写速度。
Whisper 在其他语言上准不准?
英语以外,准确率主要看 Whisper 在这种语言上有多少训练音频。论文发现,训练时长的对数和 WER 的对数之间,相关系数的平方是 0.83,并估计数据每增加 16 倍,WER 就减半。96 种非英语语言里,大多数的训练音频不到 1,000 小时。
部分 Fleurs 结果(朗读句子,large-v2,附录 Table 13):
| 语言 | Fleurs WER | 备注 |
|---|---|---|
| 西班牙语 | 3.0% | 表中最低 |
| 英语 | 4.2% | |
| 葡萄牙语 | 4.3% | |
| 德语 | 4.5% | |
| 日语 | 5.3% | 字错误率 |
| 俄语 | 5.6% | |
| 法语 | 8.3% | |
| 韩语 | 14.3% | 被标为异常值 |
| 中文 | 14.7% | 字错误率 |
| 阿拉伯语 | 16.0% | |
| 印地语 | 21.5% | |
| 希伯来语 | 27.1% | 被标为异常值 |
| 斯瓦希里语 | 39.3% | |
| 泰卢固语 | 99.0% | 被标为异常值 |
论文指出,希伯来语、泰卢固语、中文和韩语的表现比按训练数据预测的要差,可能是因为语言差异大、分词器不太适配这些文字,或者数据质量问题。Fleurs 是朗读语音,所以在对话上错误率会更高。README 里有一张更新的图,给出 large-v3 和 large-v2 在 Common Voice 15 和 Fleurs 上的结果。
如果你要把西班牙语音频转成文字,西班牙语的结果挺让人放心。对低资源语言,整个项目开始之前先拿一小段试试。
哪些因素影响 Whisper 的准确率?
录音条件比什么都重要。来自论文和模型卡的证据:
| 因素 | 证据显示 | 怎么做 |
|---|---|---|
| 背景噪音 | 在信噪比低于 10 dB 的酒吧噪音下,Whisper 胜过全部 14 个对比模型,但噪音越大,每个模型都越差 | 在安静的房间录,远离风扇和音乐 |
| 麦克风距离 | 同一批 AMI 会议:头戴式麦克风 17.4%,一支桌面麦克风 39.9% | 让麦克风靠近说话的人 |
| 对话和多人抢话 | 电话和家庭聚餐在 13.6% 到 24.9% 之间,朗读语音是 2.5% | 一次一个人说;每人一支麦克风 |
| 口音和方言 | 模型卡说不同口音和方言的准确率不均衡;CORAAL 长访谈是 19.6% | 找和你真实录音里口音相近的人来测试 |
| 生僻词和行话 | 在行话很多的 Meanwhile 测试集上表现不错(5.1%),但人名和专业术语仍是常见错误 | 对照清单核对人名和术语 |
| 语言资源 | Fleurs WER 从 3.0%(西班牙语)到 99.0%(泰卢固语) | 自己选定语言;低资源语言多留审稿时间 |
| 模型大小 | tiny 在 CHiME-6 上是 48.0%,large-v2 是 24.9% | 问清工具用的是哪个模型,或尽量用最大的 |
| 文件格式和采样率 | Whisper 的代码会把所有音频重采样成 16 kHz 单声道 | 48 kHz 的 WAV 不会比干净的 16 kHz 文件更有优势 |
把 MP3 转成大体积的 WAV,丢掉的细节也回不来。码率不高但干净的录音,胜过码率很高但嘈杂的录音。
Whisper 的已知问题:幻觉、循环和时间戳
下面这些出错方式 OpenAI 都有记录,它们的实际影响比在 WER 里占的比例更大。
幻觉文本
Whisper 可能写出没人说过的话。模型卡说,预测结果“may include texts that are not actually spoken in the audio input”(可能包含音频里实际没说的文字),原因可能是模型也会预测下一个最可能出现的词。论文的局限部分甚至提到了“complete hallucination”(完全幻觉),也就是和音频毫无关系的输出。
一项独立研究 Careless Whisper(Koenecke 等,2024)在 2023 年 4 月和 5 月,把 13,140 段音频送进 OpenAI 的 Whisper API。约 1% 的转写结果(平均 1.4%)含有整句或整段编造的内容,其中 38% 包含暴力或错误关联等有害内容。停顿较长的说话人(这里是失语症患者)更容易触发。此后 API 已有变化,所以这应视为 2023 年的测量结果。
重复循环和漏词
模型卡说 Whisper“prone to generating repetitive texts”(容易生成重复文本),beam search 和 temperature scheduling 能减少这种情况,“but not perfectly”(但不能完全解决)。论文还提到它会漏掉一段的开头或结尾几个词。论文的解码改进把长音频平均 WER 从 11.0% 降到 10.0%:有改善,但没解决。
静音、音乐和填充词
编造的文字往往出现在长时间静音和音乐里。论文发现,单靠 Whisper 自己的“no speech”(无语音)信号并不可靠;现在开源代码里有一个选项,在检测到可能的幻觉时跳过长静音。
时间戳漂移和长文件
Whisper 处理长音频时一次走一个 30 秒窗口,用自己预测的时间戳来定位下一个窗口,所以论文指出,一个窗口里的错误可能带到下一个窗口。词级时间戳在代码里标为“experimental”(实验性)。做字幕时,要抽查停顿前后的时间轴。
开发过程中,OpenAI 还发现 Whisper 会猜说话人的名字,而且“almost always incorrect”(几乎总是错的)。发布的模型经过微调来抑制这一点,但文本里出现的任何名字都要核对。
提升 Whisper 转写准确率的 10 个办法
大部分提升来自点“转写”之前。大致按效果从大到小排列:
- 麦克风放近。 在 AMI 会议里,光是距离就让错误率翻了一倍还多。
- 从源头减少噪音。 关窗,关风扇,暂停音乐。
- 避免多人抢话。 一次一个人说,比任何设置都管用。
- 剪掉长静音和音乐片头,编造的文字最常出现在这些地方。在停顿处剪,别从句子中间剪。
- 自己设定语言。 在 82 种 Fleurs 语言上,Whisper 识别语言的正确率是 80.3%,所以短片段或口音重的片段,自动检测可能会出错。
- 用能用的最大模型,嘈杂录音尤其如此。
- 自己部署的话,用人名和术语做提示。 开源 Whisper 支持
--initial_prompt,可以填入你预期的拼写。 - 上传原始文件。 通过音箱重新录一遍,或者反复重新压缩,都会丢细节。
- 做一遍术语检查。 搜出每个人名、数字、日期和缩写,对照录音核实。
- 分两遍审。 第一遍按正常速度改错。第二遍找幻觉迹象:重复的行、出现在静音段上的句子、“Thanks for watching”(感谢观看)这类结束语。法律、医疗或要公开发布的内容,要让人从头到尾审一遍。
怎么用自己的音频测 Whisper 的准确率
对你的工作来说,最好的估计是用自己的录音做一次 30 分钟的测试。下面的步骤是给你自己跑的,不是 whispertranscribe.ai 的测试。
- 挑三段 2 分钟的片段,和你的真实工作类似:一段容易的,一段一般的,一段难的。
- 手工写一份逐字参考稿。 先定规则:保不保留“um”,数字写成阿拉伯数字还是单词。
- 用你要测的工具转写每段片段,保存为纯文本。
- 用同样的方式规范化两份文本。 OpenAI 的规范化器随
openai-whisper一起提供。 - 用 jiwer 计算 WER:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
译注:脚本读入参考稿(reference.txt)和待测文字稿(transcript.txt),用 OpenAI 的英文规范化器统一格式,再输出 WER 以及替换(S)、删除(D)、插入(I)的数量。
- 关键错误单独计数。 错 5 个语气词和错 5 个客户名字,WER 一样,但问题完全不同。
- 记录结果,方便比较不同工具或设置:
| 片段 | 录音条件 | 参考稿词数 | S | D | I | WER | 关键错误 |
|---|---|---|---|---|---|---|---|
| 片段 A | 安静房间,一个人说话 | 310 | |||||
| 片段 B | 视频通话,两个人说话 | 285 | |||||
| 片段 C | 咖啡馆,说话人有口音 | 296 |
词数只是占位数字。第 4 步要提醒一句:我们用 OpenAI 的英文规范化器跑一个自己编的句子时,它能把“Dr.”对上“doctor”、把“two”对上“2”,但“9th”和“ninth”仍然算一个错误。相信分数之前,先看一下被标出的差异。
whispertranscribe.ai 有多准?
whispertranscribe.ai 是一款网页版 AI 转写工具,基于 Whisper,支持 130+ languages,单个文件最大 5GB、10 小时。清晰音频的准确率可达 up to 99%;背景噪音、口音重和多人抢话都会让它下降,上面 Whisper 本身的基准结果也说明了这一点。我们不声称达到或超过论文里的数字,也没有公布自己的基准测试,所以请按上面的步骤用你自己的片段测。
- 很多语言的语言选择器里都有 Noise / Low-Quality Audio/Video(噪音 / 低质量音视频)选项。嘈杂的文件,可以标准选项和噪音选项都试一下,比一比。
- 130+ languages,Multilingual Mix(多语言混合)选项,以及把音频翻译成英文。
- 文件最大 5GB、10 小时,支持说话人识别和时间戳(全部功能)。
- 输入要干净: 麦克风放近,在浏览器里录音,或者把视频转成 MP3,只上传音频。
- 导出为 DOCX、PDF、TXT、CSV、SRT 和 VTT,另有字幕生成器做带时间轴的字幕。
你可以免费开始,无需注册账号。付费方案 from $9.99/month billed annually 起;查看价格。
常见问题
Whisper 的准确率是 99% 吗?
一般来说不是。Whisper 公布的最好成绩是 LibriSpeech test-clean 上 2.5% 的词错误率,这是一组朗读清晰的有声书,约等于 97.5% 的词正确。在电话、会议和嘈杂房间里,OpenAI 自己的数字是约 13% 到 40% 的 WER。“99%”这种说法,只有说明了是在什么音频上测的才有意义。基于 Whisper 的工具,包括 whispertranscribe.ai,都应该用你自己的录音来评判,而不是看一个醒目的百分比。
哪个 Whisper 模型最准?
large 系列模型最准。在 OpenAI 的论文里,large-v2 在大多数测试集上错误率最低;large-v3 模型卡称,在很多语言上它比 large-v2 少 10% 到 20% 的错误。turbo 模型是优化过的 large-v3,OpenAI 说它只损失一点准确率,换来快得多的速度。最小的 tiny 模型在难音频上差得多:嘈杂家庭聚餐上 WER 是 48.0%,large-v2 是 24.9%。
Whisper 为什么会写出没人说过的话?
Whisper 会出现幻觉,因为它在训练中不只学会转写声音,也学会预测可能出现的文字;OpenAI 的模型卡提醒,它可能输出音频里没有的文字。这种情况最常出现在长静音、音乐或噪音里。2023 年的一项独立研究发现,约 1% 的转写结果含有幻觉内容,停顿会让它更容易出现。剪掉静音、设定语言、重点检查文字稿里安静的片段,都能降低风险。
Whisper 对口音的准确率怎么样?
Whisper 处理口音比很多老系统好,但并不均衡。OpenAI 的模型卡说,同一种语言的不同口音和方言,准确率会有差异。论文里,非裔美国人英语(CORAAL)的长访谈 WER 是 19.6%,完整 TED 演讲是 3.5%,不过两者的录音条件也不同。可靠的做法是,找和你真实录音口音相近的人录一段来测,口音重时多留审稿时间。
Whisper 和人工转写员一样准吗?
在英语上,Whisper 很接近,但比不上最好的。OpenAI 在 25 段录音上把它和五家专业服务做了比较。一家计算机辅助服务的总体 WER 比 Whisper 低 1.15 个百分点,四家纯人工服务好零点几个百分点。人名、多人抢话和听不清的话,人仍然处理得更好。凡是要引用、存档或公开发布的内容,都应该有人对照录音审一遍文字稿。
Whisper 在英语以外的语言上有多准?
不同语言差别很大。在 Fleurs 基准上,large-v2 的 WER 是西班牙语 3.0%、德语 4.5%、法语 8.3%,但希伯来语 27.1%、泰卢固语 99.0%。中文和日语按字错误率计分:分别是 14.7% 和 5.3%。论文发现,准确率和每种语言的训练音频多少直接相关。低资源语言,先拿一小段试,并多留改错的时间。
用你自己的录音测准确率
基准测试描述的是别人的音频。把一段 130+ languages 中任意语言的片段上传到 whispertranscribe.ai,按本文的步骤打分。免费开始,无需注册账号,或者比较各方案。
相关文章: 什么是 Whisper AI? · 最好用的免费转写软件 · TurboScribe 的最佳替代品 · 怎么转写 YouTube 视频 · 什么是 SRT 文件? · 硬字幕和软字幕
参考资料
- Radford 等,Robust Speech Recognition via Large-Scale Weak Supervision(Whisper 论文,OpenAI,2022):Table 2、9、13、16 及第 3 到 6 节
- OpenAI,GitHub 上的 openai/whisper:README 里的模型表、turbo 说明和分语言 WER 图
- OpenAI 和 Hugging Face,whisper-large-v3 模型卡:large-v3 的变化、评估用途和局限
- Koenecke 等,Careless Whisper: Speech-to-Text Hallucination Harms(2024)
- jiwer:计算 WER 和 CER 的开源库
- Hugging Face,Open ASR 排行榜:独立、定期更新的开源语音模型对比
