Whisper AI 是什么?OpenAI 的语音识别模型是怎么工作的

作者:whispertranscribe.ai Editorial Team · 最后更新:2026 年 11 月 · 阅读约 13 分钟

Whisper AI 是什么?大多数时候,人们搜的是 OpenAI Whisper,也就是 OpenAI 在 2022 年 9 月发布的开源语音识别模型。它能把录好的语音转成文字,识别说话的语言,还能把其他语言翻译成英文。OpenAI 用 680,000 小时的网络音频训练了它,并以 MIT License 公开了代码和权重。

先说明一下:whispertranscribe.ai 是我们做的。whispertranscribe.ai 是一款网页版 AI 转写工具,能把音频和视频转成文字,支持 130+ languages。这篇指南会把模型本身和围绕它做的产品分得清清楚楚,文中关于模型的每个数字都来自 OpenAI 自己的论文、代码仓库或模型卡。

简短回答:Whisper AI 是什么?

Whisper 是一个语音转文字模型,不是应用,也不是公司。你可以从 OpenAI 的 GitHub 仓库下载,在自己电脑上运行,也可以用替你运行它的服务。

  • 出品方: OpenAI。研究论文 Robust Speech Recognition via Large-Scale Weak Supervision 于 2022 年 12 月 6 日发布在 arXiv 上。
  • 能做什么: 转写语音、识别语言、把语音翻译成英文,并加上分段时间戳。
  • 开箱即用做不到的: 标出谁在说话,或者实时转写。OpenAI 的模型卡写明,它“cannot be used for real-time transcription out of the box”(无法开箱即用地做实时转写)。
  • 尺寸: 六种,从 tiny(3,900 万参数)到 large(15.5 亿参数)。
  • 费用: 免费下载、免费运行。硬件自己出。

"Whisper AI" 可能指三种不同的东西

这个名字用得很随意,下面三种意思很容易混。

人们说的 "Whisper AI" 是什么 谁做的 怎么用
OpenAI Whisper 一个开源语音识别模型 OpenAI 下载代码和权重,自己运行
whisper-1 OpenAI 托管的转写 API 模型 OpenAI 把音频文件发给 OpenAI 的 API,按用量付费
名字里带 "Whisper" 的应用 转写产品,比如 whisperai.com 和 whispertranscribe.ai(本站) 各自独立的公司 在它们的应用里上传或录制音频

第三行的产品既不是模型本身,彼此之间也不能互相替代。每家公司各自决定功能、限制、价格和隐私条款。本文里的 "Whisper" 指的是 OpenAI 的模型。

Whisper 是怎么工作的?

Whisper 是一个编码器-解码器结构的 Transformer。编码器把 30 秒音频变成一组数值表示,解码器再一个 token 一个 token 地写出对应文字,由一些特殊 token 告诉它要做哪项任务。

Whisper 论文描述的流程如下:

  1. 重采样。 音频转换为 16,000 Hz。
  2. 切成 30 秒的窗口。 模型每次都只看 30 秒。不足 30 秒的片段会补齐。
  3. 生成频谱图。 每个窗口变成一张 80 通道的 log-Mel 频谱图,也就是声音能量在不同频率上如何变化的“图像”,以 25 毫秒为一帧、每 10 毫秒计算一次。(Large-v3 改成了 128 通道。)
  4. 编码。 两层卷积加一组 Transformer 模块处理这张频谱图。
  5. 解码。 解码器先预测语言,或者输出一个“no speech”(无语音)token;接着是任务(转写还是翻译),然后是要不要带时间戳,最后才是文字本身。

时间戳也是作为 token 预测出来的,精确到最接近的 20 毫秒。一个模型就是这样同时搞定语言识别、转写、翻译和计时的。

Whisper 是用什么数据训练的?

最初的几个模型,学习的是 680,000 小时带对应文字稿的互联网音频。OpenAI 把这称为“weak supervision”(弱监督),因为这些文字稿不像基准数据集那样经过人工核对。

占训练音频的比例 小时数 内容
约 65% 438,000 英语音频配英文文字稿
约 18% 126,000 非英语音频配英文文字稿(翻译数据)
约 17% 117,000 非英语音频配同语言文字稿

来源:OpenAI 的 Whisper 模型卡。论文把翻译部分取整为 125,000 小时。

有两个细节能解释 Whisper 的很多表现。OpenAI 过滤掉了看起来像机器生成的文字稿,比如全大写文本,所以模型学会了写带标点的句子。另外,早期模型喜欢猜说话人的名字,因为很多网络文字稿里带着名字。OpenAI 通过微调去掉了这个习惯,但这说明模型非常忠实地反映了它的训练文本。

Large-v3 的训练方式不同:根据它的 Hugging Face 模型卡,用了约 500 万小时数据,其中 100 万小时是弱标注的网络数据,400 万小时由 large-v2 标注。

Whisper 各尺寸模型对比

Whisper 有六种尺寸。小模型在普通硬件上跑得更快;大模型错误更少,但需要更多显存(VRAM)。下表数字照抄自 OpenAI 的 README。

尺寸 参数量 纯英语版本 多语言版本 所需显存 相对 large 的速度
tiny 39 M tiny.en tiny ~1 GB ~10x
base 74 M base.en base ~1 GB ~7x
small 244 M small.en small ~2 GB ~4x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M 无 large ~10 GB 1x
turbo 809 M 无 turbo ~6 GB ~8x

OpenAI 是用 A100 数据中心 GPU、在英语语音上测出这些速度的,并说明实际速度“may vary significantly”(可能差别很大)。笔记本电脑会更慢。

该选哪个 Whisper 模型?

从你有多少显存、文字稿拿来做什么出发:

  • 在普通电脑上试试: tiny 或 base,约 1 GB 显存。错误会多一些。
  • 只有英语: 用 .en 模型。OpenAI 说这些模型表现更好,在 tiny 和 base 尺寸上尤其明显。
  • 质量不错、速度也过得去: turbo,约 6 GB。它是命令行的默认模型。
  • 把语音翻译成英文: medium 或 large。Turbo 没有针对翻译训练,即使你要求翻译,它也会输出原语言。
  • 最难处理的音频,想要最好的结果: large,约 10 GB 显存。

Whisper 版本:简要时间线

"large" 先后对应过三个版本,turbo 则是精简版的 large-v3。版本很重要,因为不同检查点的结果不一样。

版本 发布时间 变化
最初的模型(tiny 至 large) 2022 年 9 月 随论文首次开源发布
large-v2 2022 年 12 月 尺寸不变,训练时长是原来的 2.5 倍,并加了额外的正则化
large-v3 2023 年 11 月 128 个 Mel 通道,新增粤语 token,在许多语言上错误比 v2 少 10% 至 20%
turbo(large-v3-turbo) 2024 年 9 月 解码器层数从 32 减到 4 以提速;不支持翻译

来源:Whisper 模型卡、论文中关于 large-v2 的脚注,以及 Hugging Face 上 large-v3 和 large-v3-turbo 的模型卡。

Whisper 支持多少种语言?

Whisper 能识别大约 99 种语言。论文中的语言检测器用了 99 个语言 token;large-v3 加入粤语后,当前的 tokenizer 列出了 100 个语言代码。不过,支持不等于质量好:模型卡说 Whisper 在“~10 languages”(约 10 种语言)上效果很强。

质量跟训练数据走。论文发现,某种语言的表现可以由模型见过多少小时这种语言“very well predicted”(很好地预测),而大多数语言的训练数据不到 1,000 小时。英语、西班牙语或德语的结果通常会比低资源语言干净。如果要查你的语言,README 里有一张按语言列出错误率的图表链接。

别和产品的语言数量搞混。 whispertranscribe.ai 支持 130+ languages。这个数字是我们产品的语言支持(价格页写的是 "130+ languages & accents"),不是开源 Whisper 模型的属性。

Whisper 有多准?

Whisper 没有一个统一的准确率数字,因为它取决于模型尺寸、语言和录音本身。在干净的英语朗读音频上,large-v2 的词错误率(WER)是 2.7%。在 14 个英语测试集(大多更难)上取平均,是 12.8%。

WER 是系统出错的词所占的比例,把替换、漏掉和多出来的词都算上,以人工参考文字稿为标准。越低越好。下面的数字来自论文的 Table 2,对比的是 Whisper large-v2 和一个用 LibriSpeech 有声书数据集训练的 wav2vec 2.0 模型:

测试集 wav2vec 2.0 WER Whisper large-v2 WER
LibriSpeech clean(朗读的有声书) 2.7% 2.7%
Common Voice(众包录制的语音) 29.9% 9.0%
CHiME-6(嘈杂的晚宴录音) 65.8% 25.5%
表中全部 14 个测试集的平均值 29.3% 12.8%

关键看规律。两个模型在有声书测试上打平,但在其他所有测试上,Whisper 都稳得多,平均错误少 55.2%。OpenAI 的发布公告把这个数取整为“50% fewer errors”(错误少 50%)。在论文的噪音测试中,用 LibriSpeech 训练的模型在接近干净的音频上胜过 Whisper,但当酒吧式的背景噪音变大、信噪比低于 10 dB 时,就落后了。

这些是研究基准,不是对你的文件的承诺,产品的说法也是另一回事。比如 whispertranscribe.ai 在清晰音频上的准确率最高可达 99%,背景噪音、多人串话和浓重口音都会拉低它。

Whisper 有哪些局限?

Whisper 最大的弱点是,它可能写出一段很通顺、但根本没人说过的文字。OpenAI 的模型卡把这叫作幻觉(hallucination),并认为和弱监督训练有关。模型卡还列出了重复、不同语言和口音准确率不均、没有内置说话人标签等问题。

  1. 幻觉文字。 在 2024 年的研究 Careless Whisper 中,研究人员发现,他们检查的转写结果里大约 1% 包含音频里没有的整句或整段话。语音中有长时间停顿时,幻觉更常见。
  2. 重复循环。 模型可能卡住,一直重复同一句话。模型卡说,beam search 和 temperature fallback 能“to some degree”(在一定程度上)减轻这个问题,但不能完全解决。
  3. 漏掉开头或结尾的词。 论文把跳过一段话开头或结尾的几个词列为已知的失败模式。
  4. 长录音需要分窗。 Whisper 一次只看 30 秒。处理更长的文件时,转写工具会根据预测出的时间戳把窗口往后滑动,所以一个窗口出错,可能连带影响下一个。
  5. 没有说话人标签。 根据模型卡,说话人分离(diarization,即判断谁在什么时候说话)没有经过充分评估。需要另找工具。
  6. 默认不是实时的。 它是为录好的文件设计的。做实时字幕,需要在它外面额外做工程。
  7. 不同语言和口音表现不均。 模型卡指出,某些口音、方言和人群的错误率更高。

OpenAI 还提醒:不要在未经同意的情况下转写别人的话,也不要用于高风险的决策场景。

官方资料说法不一致的地方

OpenAI 自己的几份文件里,有些数字对不上,大多是因为取整或版本变化。引用数字前先看这里:

话题 一份官方资料说 另一份说 建议用法
相比 LibriSpeech 模型减少的错误 论文:平均错误少 55.2% OpenAI 公告:错误少 50% 引用论文,并说明是和谁比
训练数据中英语以外的语言 论文:96 种其他语言 模型卡:98 种语言 识别能力写“大约 99 种语言”
翻译训练时长 模型卡:126,000 论文:125,000 两个都行,注明是约数
Turbo 参数量 README 和 Hugging Face:809 M 模型卡表格:798 M 809 M,多数来源用这个数
训练数据规模 原始论文:680,000 小时 Large-v3 模型卡:500 万小时 说清你指的是哪个版本
许可证 GitHub:代码和权重为 MIT Hugging Face large-v3 元数据:Apache-2.0 查看你下载的那份副本附带的许可证文件

Whisper 怎么用:自己运行、调用 API,或者用应用

实际有三条路。自己运行 Whisper 免费,音频留在自己电脑上。OpenAI 的 API 省去了配置,但限制文件大小。托管的转写应用加上了编辑、说话人标签和导出,但它是第三方服务,有自己的条款。

运行开源 Whisper OpenAI 转写 API 托管转写应用
配置 Python、PyTorch 和 FFmpeg 写代码,加一个 API key 一个浏览器
费用 免费;用你自己的硬件 按用量付费 免费档或订阅,因应用而异
文件限制 取决于你的硬件 每个文件 25 MB 由各应用决定
音频去向 留在你的电脑上 发送给 OpenAI 发送到应用的服务器
说话人标签 没有内置 whisper-1 没有 取决于应用
编辑和导出 命令行输出 TXT、SRT、VTT、TSV、JSON 结果返回给你的代码,其余自己做 通常有编辑器,加上文档和字幕导出

在自己电脑上运行 Whisper

OpenAI 的 README 给出了安装命令和一个基本用法:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

译注:第一行安装或升级 openai-whisper;第二行用 turbo 模型转写 interview.mp3。

还需要装好 FFmpeg;README 说代码应该能在 Python 3.8 至 3.11 上运行。加 --language 指定说话的语言;用多语言模型加 --task translate,可以得到英文。模型权重会在第一次使用时下载。

用 OpenAI 的 API

OpenAI 的语音转文字指南把上传限制为每个文件 25 MB,更大的文件要压缩或切分。截至 2026 年 11 月核对(checked in November 2026),这份指南把 whisper-1 标为已弃用,列出的停用日期是 2027 年 2 月 26 日,并引导开发者改用更新的转写模型。那些更新的模型是 OpenAI 的语音模型,不是开源 Whisper 家族的新版本。

用托管的转写应用

不想装任何东西的话,托管应用会在它的服务器上处理文件。whispertranscribe.ai 是其中一个选择,用它的免费音频转文字工具可以很快试一下。我们的首页把 whispertranscribe.ai 描述为 "powered by Whisper and next-generation AI"。以下是它提供的功能,取自我们自己的产品页面:

取舍是实打实的。你的文件会传到云服务上,而不是留在自己电脑里。我们不提供 API、自定义词汇或会议机器人。付费套餐 from $9.99/month billed annually(价格页),也可以免注册免费开始。详情见 Whisper AI 转写工具页面或全部功能。

Whisper 是开源的吗?许可证允许做什么?

是。OpenAI 的仓库写明:"Whisper's code and model weights are released under the MIT License."(Whisper 的代码和模型权重以 MIT License 发布。)MIT 是宽松型许可证。一般来说,它允许你使用、复制、修改和销售基于这些代码的软件,只要保留版权声明和许可证声明即可。

有两点要注意。其他网站上的副本可能带着不同的许可证元数据;Hugging Face 的 large-v3 页面列的是 Apache-2.0。请阅读你所用副本附带的许可证。另外,许可证管的是软件,不管你喂给它的录音。录音仍然要遵守同意和隐私方面的规定。以上是一般信息,不构成法律建议;官方来源是 MIT 许可证原文。

Whisper 适合谁?

Whisper 适合开发者,以及会用终端、想要免费、私密、不限量转写的人。如果你想要一份带编辑器和导出功能的成品文字稿,托管应用通常更快。

你是…… 适合的选择 原因
在做产品的开发者 开源 Whisper 或 API 完全掌控整个流程
手里有敏感访谈的研究者 在本地运行开源 Whisper 音频不会离开你的电脑
这周就要字幕的创作者 能导出 SRT 或 VTT 的托管应用 不用配置;带时间轴的文件可直接上传
用没有 GPU 的笔记本 本地跑小模型,或用托管应用 大模型需要约 10 GB 显存

相信 Whisper 文字稿之前:检查清单

这份清单是我们根据 OpenAI 论文和模型卡里的失败模式整理的:

  • 抽查停顿和静音段,看有没有没人说过的句子。
  • 扫一遍,看有没有同一句话连续重复好几次。
  • 对照音频检查文件的第一行和最后一行。
  • 核对人名、数字和专业术语。
  • 确认语言识别正确,或者手动指定。
  • 做翻译时,确认没有用 turbo。
  • 需要说话人标签的话,用单独的工具加上。
  • 录音或转写别人之前,先征得同意。

常见问题

Whisper AI 免费吗?

免费,OpenAI Whisper 可以免费下载和运行。OpenAI 以 MIT 许可证发布代码和模型权重,所以用它不用付钱给 OpenAI。但电脑得你自己出,large 模型大约要 10 GB 显存。托管方案要花钱:OpenAI 的 API 按用量收费,转写应用有各自的套餐。“免费”也不代表简单;你需要 Python、FFmpeg,还得对命令行比较熟。

Whisper 能区分不同的说话人吗?

不能,单靠它自己不行。Whisper 会写出说了什么,但不会标出是谁说的。OpenAI 的模型卡说,说话人分离这类能力没有经过充分评估。想要标签,一般是把 Whisper 和单独的说话人分离工具配合使用,或者用带说话人识别的转写应用。比如 whispertranscribe.ai 就有一个说话人识别选项,可以在转写前打开。声音相近的录音,一定要检查标签。

Whisper 能实时转写吗?

开箱即用不行。Whisper 是为录好的音频设计的,按 30 秒窗口处理;OpenAI 的模型卡说,不做额外工作就不能用于实时转写。有开发者围绕它做了接近实时的工具,办法是音频一到就切成小段送进去。需要实时字幕的话,找一个有专门实时模式的工具,并且要预期实时输出比用完整录音做的文字稿需要更多整理。

Whisper 支持多少种语言?

Whisper 能识别大约 99 种语言;large-v3 加入粤语后,当前的 tokenizer 列出了 100 个语言代码。质量差别很大。OpenAI 的模型卡说,它在大约 10 种语言上效果很强;论文发现大多数语言的训练音频不到 1,000 小时。要依赖一种不太常见的语言之前,先拿一小段试试。产品给出的数字,比如 whispertranscribe.ai 的 130+ languages,说的是各产品自己的支持范围,不是开源模型的。

whispertranscribe.ai 和 OpenAI Whisper 是一回事吗?

不是。OpenAI Whisper 是一个你自己下载、自己运行的开源模型。whispertranscribe.ai 是一个独立的、在浏览器里使用的转写服务;它的首页说它 powered by Whisper and next-generation AI。它加上了原始模型没有的东西,比如最大 5GB 的上传、从 YouTube 或 Google Drive 导入链接、说话人识别,以及 DOCX、PDF、SRT 和 VTT 导出。名字里带 "Whisper" 的其他应用,是其他公司做的独立产品。

为什么 Whisper 有时会写出没人说过的话?

因为它像语言模型那样预测文字。OpenAI 的模型卡说,用大量嘈杂的网络数据训练,会让模型有时写出音频里没有的词。OpenAI 的解释是,它把“预测下一个可能出现的词”和“转写听到的内容”混在了一起。一项 2024 年的研究发现,在它检查的转写结果里,大约 1% 有整段编造的话,长停顿附近更常见。停顿、安静的片段和任何重要内容,都要对照音频核一遍。


想要 Whisper 文字稿,又不想折腾配置? 把文件上传或把链接粘贴到 whispertranscribe.ai,就能得到 130+ languages 的文字,并导出 DOCX、PDF、SRT 和 VTT。

参考资料

想把录音转成文字?

用 whispertranscribe.ai 转录音频和视频。

开始转录 ↗