作者:whispertranscribe.ai Editorial Team · 最后更新:2026 年 11 月 · 阅读约 13 分钟
Whisper AI 是什么?大多数时候,人们搜的是 OpenAI Whisper,也就是 OpenAI 在 2022 年 9 月发布的开源语音识别模型。它能把录好的语音转成文字,识别说话的语言,还能把其他语言翻译成英文。OpenAI 用 680,000 小时的网络音频训练了它,并以 MIT License 公开了代码和权重。
先说明一下:whispertranscribe.ai 是我们做的。whispertranscribe.ai 是一款网页版 AI 转写工具,能把音频和视频转成文字,支持 130+ languages。这篇指南会把模型本身和围绕它做的产品分得清清楚楚,文中关于模型的每个数字都来自 OpenAI 自己的论文、代码仓库或模型卡。
简短回答:Whisper AI 是什么?
Whisper 是一个语音转文字模型,不是应用,也不是公司。你可以从 OpenAI 的 GitHub 仓库下载,在自己电脑上运行,也可以用替你运行它的服务。
- 出品方: OpenAI。研究论文 Robust Speech Recognition via Large-Scale Weak Supervision 于 2022 年 12 月 6 日发布在 arXiv 上。
- 能做什么: 转写语音、识别语言、把语音翻译成英文,并加上分段时间戳。
- 开箱即用做不到的: 标出谁在说话,或者实时转写。OpenAI 的模型卡写明,它“cannot be used for real-time transcription out of the box”(无法开箱即用地做实时转写)。
- 尺寸: 六种,从 tiny(3,900 万参数)到 large(15.5 亿参数)。
- 费用: 免费下载、免费运行。硬件自己出。
"Whisper AI" 可能指三种不同的东西
这个名字用得很随意,下面三种意思很容易混。
| 人们说的 "Whisper AI" | 是什么 | 谁做的 | 怎么用 |
|---|---|---|---|
| OpenAI Whisper | 一个开源语音识别模型 | OpenAI | 下载代码和权重,自己运行 |
| whisper-1 | OpenAI 托管的转写 API 模型 | OpenAI | 把音频文件发给 OpenAI 的 API,按用量付费 |
| 名字里带 "Whisper" 的应用 | 转写产品,比如 whisperai.com 和 whispertranscribe.ai(本站) | 各自独立的公司 | 在它们的应用里上传或录制音频 |
第三行的产品既不是模型本身,彼此之间也不能互相替代。每家公司各自决定功能、限制、价格和隐私条款。本文里的 "Whisper" 指的是 OpenAI 的模型。
Whisper 是怎么工作的?
Whisper 是一个编码器-解码器结构的 Transformer。编码器把 30 秒音频变成一组数值表示,解码器再一个 token 一个 token 地写出对应文字,由一些特殊 token 告诉它要做哪项任务。
Whisper 论文描述的流程如下:
- 重采样。 音频转换为 16,000 Hz。
- 切成 30 秒的窗口。 模型每次都只看 30 秒。不足 30 秒的片段会补齐。
- 生成频谱图。 每个窗口变成一张 80 通道的 log-Mel 频谱图,也就是声音能量在不同频率上如何变化的“图像”,以 25 毫秒为一帧、每 10 毫秒计算一次。(Large-v3 改成了 128 通道。)
- 编码。 两层卷积加一组 Transformer 模块处理这张频谱图。
- 解码。 解码器先预测语言,或者输出一个“no speech”(无语音)token;接着是任务(转写还是翻译),然后是要不要带时间戳,最后才是文字本身。
时间戳也是作为 token 预测出来的,精确到最接近的 20 毫秒。一个模型就是这样同时搞定语言识别、转写、翻译和计时的。
Whisper 是用什么数据训练的?
最初的几个模型,学习的是 680,000 小时带对应文字稿的互联网音频。OpenAI 把这称为“weak supervision”(弱监督),因为这些文字稿不像基准数据集那样经过人工核对。
| 占训练音频的比例 | 小时数 | 内容 |
|---|---|---|
| 约 65% | 438,000 | 英语音频配英文文字稿 |
| 约 18% | 126,000 | 非英语音频配英文文字稿(翻译数据) |
| 约 17% | 117,000 | 非英语音频配同语言文字稿 |
来源:OpenAI 的 Whisper 模型卡。论文把翻译部分取整为 125,000 小时。
有两个细节能解释 Whisper 的很多表现。OpenAI 过滤掉了看起来像机器生成的文字稿,比如全大写文本,所以模型学会了写带标点的句子。另外,早期模型喜欢猜说话人的名字,因为很多网络文字稿里带着名字。OpenAI 通过微调去掉了这个习惯,但这说明模型非常忠实地反映了它的训练文本。
Large-v3 的训练方式不同:根据它的 Hugging Face 模型卡,用了约 500 万小时数据,其中 100 万小时是弱标注的网络数据,400 万小时由 large-v2 标注。
Whisper 各尺寸模型对比
Whisper 有六种尺寸。小模型在普通硬件上跑得更快;大模型错误更少,但需要更多显存(VRAM)。下表数字照抄自 OpenAI 的 README。
| 尺寸 | 参数量 | 纯英语版本 | 多语言版本 | 所需显存 | 相对 large 的速度 |
|---|---|---|---|---|---|
| tiny | 39 M | tiny.en | tiny | ~1 GB | ~10x |
| base | 74 M | base.en | base | ~1 GB | ~7x |
| small | 244 M | small.en | small | ~2 GB | ~4x |
| medium | 769 M | medium.en | medium | ~5 GB | ~2x |
| large | 1550 M | 无 | large | ~10 GB | 1x |
| turbo | 809 M | 无 | turbo | ~6 GB | ~8x |
OpenAI 是用 A100 数据中心 GPU、在英语语音上测出这些速度的,并说明实际速度“may vary significantly”(可能差别很大)。笔记本电脑会更慢。
该选哪个 Whisper 模型?
从你有多少显存、文字稿拿来做什么出发:
- 在普通电脑上试试: tiny 或 base,约 1 GB 显存。错误会多一些。
- 只有英语: 用
.en模型。OpenAI 说这些模型表现更好,在 tiny 和 base 尺寸上尤其明显。 - 质量不错、速度也过得去: turbo,约 6 GB。它是命令行的默认模型。
- 把语音翻译成英文: medium 或 large。Turbo 没有针对翻译训练,即使你要求翻译,它也会输出原语言。
- 最难处理的音频,想要最好的结果: large,约 10 GB 显存。
Whisper 版本:简要时间线
"large" 先后对应过三个版本,turbo 则是精简版的 large-v3。版本很重要,因为不同检查点的结果不一样。
| 版本 | 发布时间 | 变化 |
|---|---|---|
| 最初的模型(tiny 至 large) | 2022 年 9 月 | 随论文首次开源发布 |
| large-v2 | 2022 年 12 月 | 尺寸不变,训练时长是原来的 2.5 倍,并加了额外的正则化 |
| large-v3 | 2023 年 11 月 | 128 个 Mel 通道,新增粤语 token,在许多语言上错误比 v2 少 10% 至 20% |
| turbo(large-v3-turbo) | 2024 年 9 月 | 解码器层数从 32 减到 4 以提速;不支持翻译 |
来源:Whisper 模型卡、论文中关于 large-v2 的脚注,以及 Hugging Face 上 large-v3 和 large-v3-turbo 的模型卡。
Whisper 支持多少种语言?
Whisper 能识别大约 99 种语言。论文中的语言检测器用了 99 个语言 token;large-v3 加入粤语后,当前的 tokenizer 列出了 100 个语言代码。不过,支持不等于质量好:模型卡说 Whisper 在“~10 languages”(约 10 种语言)上效果很强。
质量跟训练数据走。论文发现,某种语言的表现可以由模型见过多少小时这种语言“very well predicted”(很好地预测),而大多数语言的训练数据不到 1,000 小时。英语、西班牙语或德语的结果通常会比低资源语言干净。如果要查你的语言,README 里有一张按语言列出错误率的图表链接。
别和产品的语言数量搞混。 whispertranscribe.ai 支持 130+ languages。这个数字是我们产品的语言支持(价格页写的是 "130+ languages & accents"),不是开源 Whisper 模型的属性。
Whisper 有多准?
Whisper 没有一个统一的准确率数字,因为它取决于模型尺寸、语言和录音本身。在干净的英语朗读音频上,large-v2 的词错误率(WER)是 2.7%。在 14 个英语测试集(大多更难)上取平均,是 12.8%。
WER 是系统出错的词所占的比例,把替换、漏掉和多出来的词都算上,以人工参考文字稿为标准。越低越好。下面的数字来自论文的 Table 2,对比的是 Whisper large-v2 和一个用 LibriSpeech 有声书数据集训练的 wav2vec 2.0 模型:
| 测试集 | wav2vec 2.0 WER | Whisper large-v2 WER |
|---|---|---|
| LibriSpeech clean(朗读的有声书) | 2.7% | 2.7% |
| Common Voice(众包录制的语音) | 29.9% | 9.0% |
| CHiME-6(嘈杂的晚宴录音) | 65.8% | 25.5% |
| 表中全部 14 个测试集的平均值 | 29.3% | 12.8% |
关键看规律。两个模型在有声书测试上打平,但在其他所有测试上,Whisper 都稳得多,平均错误少 55.2%。OpenAI 的发布公告把这个数取整为“50% fewer errors”(错误少 50%)。在论文的噪音测试中,用 LibriSpeech 训练的模型在接近干净的音频上胜过 Whisper,但当酒吧式的背景噪音变大、信噪比低于 10 dB 时,就落后了。
这些是研究基准,不是对你的文件的承诺,产品的说法也是另一回事。比如 whispertranscribe.ai 在清晰音频上的准确率最高可达 99%,背景噪音、多人串话和浓重口音都会拉低它。
Whisper 有哪些局限?
Whisper 最大的弱点是,它可能写出一段很通顺、但根本没人说过的文字。OpenAI 的模型卡把这叫作幻觉(hallucination),并认为和弱监督训练有关。模型卡还列出了重复、不同语言和口音准确率不均、没有内置说话人标签等问题。
- 幻觉文字。 在 2024 年的研究 Careless Whisper 中,研究人员发现,他们检查的转写结果里大约 1% 包含音频里没有的整句或整段话。语音中有长时间停顿时,幻觉更常见。
- 重复循环。 模型可能卡住,一直重复同一句话。模型卡说,beam search 和 temperature fallback 能“to some degree”(在一定程度上)减轻这个问题,但不能完全解决。
- 漏掉开头或结尾的词。 论文把跳过一段话开头或结尾的几个词列为已知的失败模式。
- 长录音需要分窗。 Whisper 一次只看 30 秒。处理更长的文件时,转写工具会根据预测出的时间戳把窗口往后滑动,所以一个窗口出错,可能连带影响下一个。
- 没有说话人标签。 根据模型卡,说话人分离(diarization,即判断谁在什么时候说话)没有经过充分评估。需要另找工具。
- 默认不是实时的。 它是为录好的文件设计的。做实时字幕,需要在它外面额外做工程。
- 不同语言和口音表现不均。 模型卡指出,某些口音、方言和人群的错误率更高。
OpenAI 还提醒:不要在未经同意的情况下转写别人的话,也不要用于高风险的决策场景。
官方资料说法不一致的地方
OpenAI 自己的几份文件里,有些数字对不上,大多是因为取整或版本变化。引用数字前先看这里:
| 话题 | 一份官方资料说 | 另一份说 | 建议用法 |
|---|---|---|---|
| 相比 LibriSpeech 模型减少的错误 | 论文:平均错误少 55.2% | OpenAI 公告:错误少 50% | 引用论文,并说明是和谁比 |
| 训练数据中英语以外的语言 | 论文:96 种其他语言 | 模型卡:98 种语言 | 识别能力写“大约 99 种语言” |
| 翻译训练时长 | 模型卡:126,000 | 论文:125,000 | 两个都行,注明是约数 |
| Turbo 参数量 | README 和 Hugging Face:809 M | 模型卡表格:798 M | 809 M,多数来源用这个数 |
| 训练数据规模 | 原始论文:680,000 小时 | Large-v3 模型卡:500 万小时 | 说清你指的是哪个版本 |
| 许可证 | GitHub:代码和权重为 MIT | Hugging Face large-v3 元数据:Apache-2.0 | 查看你下载的那份副本附带的许可证文件 |
Whisper 怎么用:自己运行、调用 API,或者用应用
实际有三条路。自己运行 Whisper 免费,音频留在自己电脑上。OpenAI 的 API 省去了配置,但限制文件大小。托管的转写应用加上了编辑、说话人标签和导出,但它是第三方服务,有自己的条款。
| 运行开源 Whisper | OpenAI 转写 API | 托管转写应用 | |
|---|---|---|---|
| 配置 | Python、PyTorch 和 FFmpeg | 写代码,加一个 API key | 一个浏览器 |
| 费用 | 免费;用你自己的硬件 | 按用量付费 | 免费档或订阅,因应用而异 |
| 文件限制 | 取决于你的硬件 | 每个文件 25 MB | 由各应用决定 |
| 音频去向 | 留在你的电脑上 | 发送给 OpenAI | 发送到应用的服务器 |
| 说话人标签 | 没有内置 | whisper-1 没有 | 取决于应用 |
| 编辑和导出 | 命令行输出 TXT、SRT、VTT、TSV、JSON | 结果返回给你的代码,其余自己做 | 通常有编辑器,加上文档和字幕导出 |
在自己电脑上运行 Whisper
OpenAI 的 README 给出了安装命令和一个基本用法:
pip install -U openai-whisper
whisper interview.mp3 --model turbo
译注:第一行安装或升级 openai-whisper;第二行用 turbo 模型转写 interview.mp3。
还需要装好 FFmpeg;README 说代码应该能在 Python 3.8 至 3.11 上运行。加 --language 指定说话的语言;用多语言模型加 --task translate,可以得到英文。模型权重会在第一次使用时下载。
用 OpenAI 的 API
OpenAI 的语音转文字指南把上传限制为每个文件 25 MB,更大的文件要压缩或切分。截至 2026 年 11 月核对(checked in November 2026),这份指南把 whisper-1 标为已弃用,列出的停用日期是 2027 年 2 月 26 日,并引导开发者改用更新的转写模型。那些更新的模型是 OpenAI 的语音模型,不是开源 Whisper 家族的新版本。
用托管的转写应用
不想装任何东西的话,托管应用会在它的服务器上处理文件。whispertranscribe.ai 是其中一个选择,用它的免费音频转文字工具可以很快试一下。我们的首页把 whispertranscribe.ai 描述为 "powered by Whisper and next-generation AI"。以下是它提供的功能,取自我们自己的产品页面:
- 上传最大 5GB、最长 10 小时的音频或视频文件,或者把 YouTube、Vimeo、Google Drive、Dropbox 链接粘贴到 Transcribe from URL。
- 130+ languages,可以打开说话人识别。
- 用麦克风做实时转写,也可以在浏览器里录音并转写。
- 导出 DOCX、PDF、SRT、VTT、TXT 和 CSV,包括用 AI 字幕生成器做的字幕。
- 非英语录音可以把音频翻译成英文。
取舍是实打实的。你的文件会传到云服务上,而不是留在自己电脑里。我们不提供 API、自定义词汇或会议机器人。付费套餐 from $9.99/month billed annually(价格页),也可以免注册免费开始。详情见 Whisper AI 转写工具页面或全部功能。
Whisper 是开源的吗?许可证允许做什么?
是。OpenAI 的仓库写明:"Whisper's code and model weights are released under the MIT License."(Whisper 的代码和模型权重以 MIT License 发布。)MIT 是宽松型许可证。一般来说,它允许你使用、复制、修改和销售基于这些代码的软件,只要保留版权声明和许可证声明即可。
有两点要注意。其他网站上的副本可能带着不同的许可证元数据;Hugging Face 的 large-v3 页面列的是 Apache-2.0。请阅读你所用副本附带的许可证。另外,许可证管的是软件,不管你喂给它的录音。录音仍然要遵守同意和隐私方面的规定。以上是一般信息,不构成法律建议;官方来源是 MIT 许可证原文。
Whisper 适合谁?
Whisper 适合开发者,以及会用终端、想要免费、私密、不限量转写的人。如果你想要一份带编辑器和导出功能的成品文字稿,托管应用通常更快。
| 你是…… | 适合的选择 | 原因 |
|---|---|---|
| 在做产品的开发者 | 开源 Whisper 或 API | 完全掌控整个流程 |
| 手里有敏感访谈的研究者 | 在本地运行开源 Whisper | 音频不会离开你的电脑 |
| 这周就要字幕的创作者 | 能导出 SRT 或 VTT 的托管应用 | 不用配置;带时间轴的文件可直接上传 |
| 用没有 GPU 的笔记本 | 本地跑小模型,或用托管应用 | 大模型需要约 10 GB 显存 |
相信 Whisper 文字稿之前:检查清单
这份清单是我们根据 OpenAI 论文和模型卡里的失败模式整理的:
- 抽查停顿和静音段,看有没有没人说过的句子。
- 扫一遍,看有没有同一句话连续重复好几次。
- 对照音频检查文件的第一行和最后一行。
- 核对人名、数字和专业术语。
- 确认语言识别正确,或者手动指定。
- 做翻译时,确认没有用 turbo。
- 需要说话人标签的话,用单独的工具加上。
- 录音或转写别人之前,先征得同意。
常见问题
Whisper AI 免费吗?
免费,OpenAI Whisper 可以免费下载和运行。OpenAI 以 MIT 许可证发布代码和模型权重,所以用它不用付钱给 OpenAI。但电脑得你自己出,large 模型大约要 10 GB 显存。托管方案要花钱:OpenAI 的 API 按用量收费,转写应用有各自的套餐。“免费”也不代表简单;你需要 Python、FFmpeg,还得对命令行比较熟。
Whisper 能区分不同的说话人吗?
不能,单靠它自己不行。Whisper 会写出说了什么,但不会标出是谁说的。OpenAI 的模型卡说,说话人分离这类能力没有经过充分评估。想要标签,一般是把 Whisper 和单独的说话人分离工具配合使用,或者用带说话人识别的转写应用。比如 whispertranscribe.ai 就有一个说话人识别选项,可以在转写前打开。声音相近的录音,一定要检查标签。
Whisper 能实时转写吗?
开箱即用不行。Whisper 是为录好的音频设计的,按 30 秒窗口处理;OpenAI 的模型卡说,不做额外工作就不能用于实时转写。有开发者围绕它做了接近实时的工具,办法是音频一到就切成小段送进去。需要实时字幕的话,找一个有专门实时模式的工具,并且要预期实时输出比用完整录音做的文字稿需要更多整理。
Whisper 支持多少种语言?
Whisper 能识别大约 99 种语言;large-v3 加入粤语后,当前的 tokenizer 列出了 100 个语言代码。质量差别很大。OpenAI 的模型卡说,它在大约 10 种语言上效果很强;论文发现大多数语言的训练音频不到 1,000 小时。要依赖一种不太常见的语言之前,先拿一小段试试。产品给出的数字,比如 whispertranscribe.ai 的 130+ languages,说的是各产品自己的支持范围,不是开源模型的。
whispertranscribe.ai 和 OpenAI Whisper 是一回事吗?
不是。OpenAI Whisper 是一个你自己下载、自己运行的开源模型。whispertranscribe.ai 是一个独立的、在浏览器里使用的转写服务;它的首页说它 powered by Whisper and next-generation AI。它加上了原始模型没有的东西,比如最大 5GB 的上传、从 YouTube 或 Google Drive 导入链接、说话人识别,以及 DOCX、PDF、SRT 和 VTT 导出。名字里带 "Whisper" 的其他应用,是其他公司做的独立产品。
为什么 Whisper 有时会写出没人说过的话?
因为它像语言模型那样预测文字。OpenAI 的模型卡说,用大量嘈杂的网络数据训练,会让模型有时写出音频里没有的词。OpenAI 的解释是,它把“预测下一个可能出现的词”和“转写听到的内容”混在了一起。一项 2024 年的研究发现,在它检查的转写结果里,大约 1% 有整段编造的话,长停顿附近更常见。停顿、安静的片段和任何重要内容,都要对照音频核一遍。
想要 Whisper 文字稿,又不想折腾配置? 把文件上传或把链接粘贴到 whispertranscribe.ai,就能得到 130+ languages 的文字,并导出 DOCX、PDF、SRT 和 VTT。
参考资料
- OpenAI:Introducing Whisper(发布 Whisper)(2022 年 9 月 21 日)
- Radford 等:Robust Speech Recognition via Large-Scale Weak Supervision(通过大规模弱监督实现稳健的语音识别)(arXiv 2212.04356)
- OpenAI:Whisper GitHub 仓库和 README、模型卡和 MIT 许可证
- Hugging Face:openai/whisper-large-v3 模型卡
- OpenAI API 文档:语音转文字指南(checked November 2026)
- Koenecke 等:Careless Whisper: Speech-to-Text Hallucination Harms(语音转文字幻觉的危害)(arXiv 2402.08021)
