作者:whispertranscribe.ai 編輯團隊 · 最後更新:2026 年 11 月 · 閱讀約 13 分鐘
Whisper AI 是什麼?大多數時候,人們搜的是 OpenAI Whisper,也就是 OpenAI 在 2022 年 9 月發布的開放原始碼語音辨識模型。它能把錄好的語音轉成文字,辨識使用的語言,還能把其他語言翻譯成英文。OpenAI 用 680,000 小時的網路音訊訓練了它,並以 MIT License 公開了程式碼和權重。
先說明一下:whispertranscribe.ai 是我們做的。whispertranscribe.ai 是一款網頁版 AI 轉錄工具,能把音訊和影片轉成文字,支援 130 多種語言。這篇指南會把模型本身和圍繞它做的產品分得清清楚楚,文中關於模型的每個數字都來自 OpenAI 自己的論文、程式碼倉庫或模型卡。
簡短回答:Whisper AI 是什麼?
Whisper 是一個語音轉文字模型,不是應用,也不是公司。你可以從 OpenAI 的 GitHub 倉庫下載,在自己電腦上運行,也可以用替你運行它的服務。
- 出品方: OpenAI。研究論文 Robust Speech Recognition via Large-Scale Weak Supervision 於 2022 年 12 月 6 日發布在 arXiv 上。
- 能做什麼: 轉錄語音、辨識語言、把語音翻譯成英文,並加上分段時間戳記。
- 開箱即用做不到的: 標出誰在說話,或者即時轉錄。OpenAI 的模型卡寫明,它「cannot be used for real-time transcription out of the box」(無法開箱即用地做即時轉錄)。
- 大小: 六種,從 tiny(3,900 萬參數)到 large(15.5 億參數)。
- 費用: 免費下載、免費運行。硬體自己出。
"Whisper AI" 可能指三種不同的東西
這個名字用得很隨意,下面三種意思很容易混。
| 人們說的 "Whisper AI" | 是什麼 | 誰做的 | 怎麼用 |
|---|---|---|---|
| OpenAI Whisper | 一個開放原始碼語音辨識模型 | OpenAI | 下載程式碼和權重,自己運行 |
| whisper-1 | OpenAI 托管的轉錄 API 模型 | OpenAI | 把音訊檔案發給 OpenAI 的 API,按用量付費 |
| 名字裡帶 "Whisper" 的應用 | 轉錄產品,比如 whisperai.com 和 whispertranscribe.ai(本站) | 各自獨立的公司 | 在它們的應用裡上傳或錄製音訊 |
第三行的產品既不是模型本身,彼此之間也不能互相替代。每家公司各自決定功能、限制、價格和隱私條款。本文裡的 "Whisper" 指的是 OpenAI 的模型。
Whisper 是怎麼工作的?
Whisper 是一個編碼器-解碼器結構的 Transformer。編碼器把 30 秒音訊變成一組數值表示,解碼器再一個 token 一個 token 地寫出對應文字,由一些特殊 token 告訴它要做哪項任務。
Whisper 論文描述的流程如下:
- 重取樣。 音訊轉換為 16,000 Hz。
- 切成 30 秒的窗口。 模型每次都只看 30 秒。不足 30 秒的片段會補齊。
- 生成頻譜圖。 每個窗口變成一張 80 通道的 log-Mel 頻譜圖,也就是聲音能量在不同頻率上如何變化的「圖像」,以 25 毫秒為一幀、每 10 毫秒計算一次。(Large-v3 改成了 128 通道。)
- 編碼。 兩層卷積加一組 Transformer 模塊處理這張頻譜圖。
- 解碼。 解碼器先預測語言,或者輸出一個「no speech」(無語音)token;接著是任務(轉錄還是翻譯),然後是要不要帶時間戳記,最後才是文字本身。
時間戳記也是作為 token 預測出來的,精確到最接近的 20 毫秒。一個模型就是這樣同時完成語言辨識、轉錄、翻譯和計時的。
Whisper 是用什麼資料訓練的?
最初的幾個模型,學習的是 680,000 小時帶對應逐字稿的網際網路音訊。OpenAI 把這稱為「weak supervision」(弱監督),因為這些逐字稿不像基準資料集那樣經過人工核對。
| 佔訓練音訊的比例 | 小時數 | 內容 |
|---|---|---|
| 約 65% | 438,000 | 英語音訊配英文逐字稿 |
| 約 18% | 126,000 | 非英語音訊配英文逐字稿(翻譯資料) |
| 約 17% | 117,000 | 非英語音訊配同語言逐字稿 |
來源:OpenAI 的 Whisper 模型卡。論文把翻譯部分取整為 125,000 小時。
有兩個細節能解釋 Whisper 的很多表現。OpenAI 過濾掉了看起來像機器生成的逐字稿,比如全大寫文字,所以模型學會了寫帶標點的句子。另外,早期模型喜歡猜說話者的名字,因為很多網路逐字稿裡帶著名字。OpenAI 通過微調去掉了這個習慣,但這說明模型非常忠實地反映了它的訓練文字。
Large-v3 的訓練方式不同:根據它的 Hugging Face 模型卡,用了約 500 萬小時資料,其中 100 萬小時是弱標註的網路資料,400 萬小時由 large-v2 標註。
Whisper 各大小模型比較
Whisper 有六種大小。小模型在普通硬體上跑得更快;大模型錯誤更少,但需要更多顯存(VRAM)。下表數字照抄自 OpenAI 的 README。
| 大小 | 參數量 | 純英語版本 | 多語言版本 | 所需顯存 | 相對 large 的速度 |
|---|---|---|---|---|---|
| tiny | 39 M | tiny.en | tiny | ~1 GB | ~10x |
| base | 74 M | base.en | base | ~1 GB | ~7x |
| small | 244 M | small.en | small | ~2 GB | ~4x |
| medium | 769 M | medium.en | medium | ~5 GB | ~2x |
| large | 1550 M | 無 | large | ~10 GB | 1x |
| turbo | 809 M | 無 | turbo | ~6 GB | ~8x |
OpenAI 是用 A100 資料中心 GPU、在英語語音上測出這些速度的,並說明實際速度「may vary significantly」(可能差別很大)。筆記型電腦會更慢。
該選哪個 Whisper 模型?
從你有多少顯存、逐字稿拿來做什麼出發:
- 在普通電腦上試試: tiny 或 base,約 1 GB 顯存。錯誤會多一些。
- 只有英語: 用
.en模型。OpenAI 說這些模型表現更好,在 tiny 和 base 大小上尤其明顯。 - 品質不錯、速度也過得去: turbo,約 6 GB。它是命令行的預設模型。
- 把語音翻譯成英文: medium 或 large。Turbo 沒有針對翻譯訓練,即使你要求翻譯,它也會輸出原語言。
- 最難處理的音訊,想要最好的結果: large,約 10 GB 顯存。
Whisper 版本:簡要時間線
"large" 先後對應過三個版本,turbo 則是精簡版的 large-v3。版本很重要,因為不同檢查點的結果不一樣。
| 版本 | 發布時間 | 變化 |
|---|---|---|
| 最初的模型(tiny 至 large) | 2022 年 9 月 | 隨論文首次開放原始碼發布 |
| large-v2 | 2022 年 12 月 | 大小不變,訓練長度是原來的 2.5 倍,並加了額外的正則化 |
| large-v3 | 2023 年 11 月 | 128 個 Mel 通道,新增粵語 token,在許多語言上錯誤比 v2 少 10% 至 20% |
| turbo(large-v3-turbo) | 2024 年 9 月 | 解碼器層數從 32 減到 4 以提速;不支援翻譯 |
來源:Whisper 模型卡、論文中關於 large-v2 的腳注,以及 Hugging Face 上 large-v3 和 large-v3-turbo 的模型卡。
Whisper 支援多少種語言?
Whisper 能辨識大約 99 種語言。論文中的語言偵測器用了 99 個語言 token;large-v3 加入粵語後,當前的 tokenizer 列出了 100 個語言代碼。不過,支援不等於品質好:模型卡說 Whisper 在「~10 languages」(約 10 種語言)上效果很強。
品質跟訓練資料走。論文發現,某種語言的表現可以由模型見過多少小時這種語言「very well predicted」(很好地預測),而大多數語言的訓練資料不到 1,000 小時。英語、西班牙語或德語的結果通常會比低資源語言乾淨。如果要查你的語言,README 裡有一張按語言列出錯誤率的圖表連結。
別和產品的語言數量搞混。 whispertranscribe.ai 支援 130 多種語言。這個數字是我們產品的語言支援(價格頁寫的是 "130+ languages & accents"),不是開放原始碼 Whisper 模型的屬性。
Whisper 有多準?
Whisper 沒有一個統一的準確率數字,因為它取決於模型大小、語言和錄音本身。在乾淨的英語朗讀音訊上,large-v2 的詞錯誤率(WER)是 2.7%。在 14 個英語測試集(大多更難)上取平均,是 12.8%。
WER 是系統出錯的詞所佔的比例,把替換、漏掉和多出來的詞都算上,以人工參考逐字稿為標準。越低越好。下面的數字來自論文的 Table 2,比較的是 Whisper large-v2 和一個用 LibriSpeech 有聲書資料集訓練的 wav2vec 2.0 模型:
| 測試集 | wav2vec 2.0 WER | Whisper large-v2 WER |
|---|---|---|
| LibriSpeech clean(朗讀的有聲書) | 2.7% | 2.7% |
| Common Voice(眾包錄製的語音) | 29.9% | 9.0% |
| CHiME-6(嘈雜的晚宴錄音) | 65.8% | 25.5% |
| 表中全部 14 個測試集的平均值 | 29.3% | 12.8% |
關鍵看規律。兩個模型在有聲書測試上打平,但在其他所有測試上,Whisper 都穩得多,平均錯誤少 55.2%。OpenAI 的發布公告把這個數取整為「50% fewer errors」(錯誤少 50%)。在論文的噪音測試中,用 LibriSpeech 訓練的模型在接近乾淨的音訊上勝過 Whisper,但當酒吧式的背景噪音變大、信噪比低於 10 dB 時,就落後了。
這些是研究基準,不是對你的檔案的承諾,產品的說法也是另一回事。比如 whispertranscribe.ai 在清晰音訊上的準確率最高可達 99%,背景噪音、多人串話和濃重口音都會拉低它。
Whisper 有哪些局限?
Whisper 最大的弱點是,它可能寫出一段很通順、但根本沒人說過的文字。OpenAI 的模型卡把這叫作幻覺(hallucination),並認為和弱監督訓練有關。模型卡還列出了重復、不同語言和口音準確率不均、沒有內建說話者標籤等問題。
- 幻覺文字。 在 2024 年的研究 Careless Whisper 中,研究人員發現,他們檢查的轉錄結果裡大約 1% 包含音訊裡沒有的整句或整段話。語音中有長時間停頓時,幻覺更常見。
- 重復循環。 模型可能卡住,一直重復同一句話。模型卡說,beam search 和 temperature fallback 能「to some degree」(在一定程度上)減輕這個問題,但不能完全解決。
- 漏掉開頭或結尾的詞。 論文把跳過一段話開頭或結尾的幾個詞列為已知的失敗模式。
- 長錄音需要分窗。 Whisper 一次只看 30 秒。處理更長的檔案時,轉錄工具會根據預測出的時間戳記把窗口往後滑動,所以一個窗口出錯,可能連帶影響下一個。
- 沒有說話者標籤。 根據模型卡,說話者分離(diarization,即判斷誰在什麼時候說話)沒有經過充分評估。需要另找工具。
- 預設不是即時的。 它是為錄好的檔案設計的。做即時字幕,需要在它外面額外做工程。
- 不同語言和口音表現不均。 模型卡指出,某些口音、方言和人群的錯誤率更高。
OpenAI 還提醒:不要在未經同意的情況下轉錄別人的話,也不要用於高風險的決策情境。
官方資料說法不一致的地方
OpenAI 自己的幾份檔案裡,有些數字對不上,大多是因為取整或版本變化。引用數字前先看這裡:
| 話題 | 一份官方資料說 | 另一份說 | 建議用法 |
|---|---|---|---|
| 相比 LibriSpeech 模型減少的錯誤 | 論文:平均錯誤少 55.2% | OpenAI 公告:錯誤少 50% | 引用論文,並說明是和誰比 |
| 訓練資料中英語以外的語言 | 論文:96 種其他語言 | 模型卡:98 種語言 | 辨識能力寫「大約 99 種語言」 |
| 翻譯訓練長度 | 模型卡:126,000 | 論文:125,000 | 兩個都行,注明是約數 |
| Turbo 參數量 | README 和 Hugging Face:809 M | 模型卡表格:798 M | 809 M,多數來源用這個數 |
| 訓練資料規模 | 原始論文:680,000 小時 | Large-v3 模型卡:500 萬小時 | 說清你指的是哪個版本 |
| 授權條款 | GitHub:程式碼和權重為 MIT | Hugging Face large-v3 元資料:Apache-2.0 | 查看你下載的那份副本附帶的授權條款檔案 |
Whisper 怎麼用:自己運行、調用 API,或者用應用
實際有三條路。自己運行 Whisper 免費,音訊留在自己電腦上。OpenAI 的 API 省去了配置,但限制檔案大小。托管的轉錄應用加上了編輯、說話者標籤和匯出,但它是第三方服務,有自己的條款。
| 運行開放原始碼 Whisper | OpenAI 轉錄 API | 托管轉錄應用 | |
|---|---|---|---|
| 配置 | Python、PyTorch 和 FFmpeg | 寫程式碼,加一個 API key | 一個瀏覽器 |
| 費用 | 免費;用你自己的硬體 | 按用量付費 | 免費檔或訂閱,因應用而異 |
| 檔案限制 | 取決於你的硬體 | 每個檔案 25 MB | 由各應用決定 |
| 音訊去向 | 留在你的電腦上 | 發送給 OpenAI | 發送到應用的伺服器 |
| 說話者標籤 | 沒有內建 | whisper-1 沒有 | 取決於應用 |
| 編輯和匯出 | 命令行輸出 TXT、SRT、VTT、TSV、JSON | 結果返回給你的程式碼,其餘自己做 | 通常有編輯器,加上文件和字幕匯出 |
在自己電腦上運行 Whisper
OpenAI 的 README 給出了安裝命令和一個基本用法:
pip install -U openai-whisper
whisper interview.mp3 --model turbo
譯註:第一行安裝或升級 openai-whisper;第二行用 turbo 模型轉錄 interview.mp3。
還需要裝好 FFmpeg;README 說程式碼應該能在 Python 3.8 至 3.11 上運行。加 --language 指定使用的語言;用多語言模型加 --task translate,可以得到英文。模型權重會在第一次使用時下載。
用 OpenAI 的 API
OpenAI 的語音轉文字指南把上傳限制為每個檔案 25 MB,更大的檔案要壓縮或切分。截至 2026 年 11 月核對(checked in November 2026),這份指南把 whisper-1 標為已棄用,列出的停用日期是 2027 年 2 月 26 日,並引導開發者改用更新的轉錄模型。那些更新的模型是 OpenAI 的語音模型,不是開放原始碼 Whisper 家族的新版本。
用托管的轉錄應用
不想裝任何東西的話,托管應用會在它的伺服器上處理檔案。whispertranscribe.ai 是其中一個選擇,用它的免費音訊轉文字工具可以很快試一下。我們的首頁把 whispertranscribe.ai 描述為 "powered by Whisper and next-generation AI"。以下是它提供的功能,取自我們自己的產品頁面:
- 上傳最大 5GB、最長 10 小時的音訊或影片檔案,或者把 YouTube、Vimeo、Google Drive、Dropbox 連結貼上到 Transcribe from URL。
- 130 多種語言,可以開啟說話者辨識。
- 用麥克風做即時轉錄,也可以在瀏覽器裡錄音並轉錄。
- 匯出 DOCX、PDF、SRT、VTT、TXT 和 CSV,包括用 AI 字幕產生器做的字幕。
- 非英語錄音可以把音訊翻譯成英文。
取捨是實打實的。你的檔案會傳到雲服務上,而不是留在自己電腦裡。我們不提供 API、自定義詞彙或會議機器人。付費方案 from $9.99/month billed annually(價格頁),也可以免註冊免費開始。詳情見 Whisper AI 轉錄工具頁面或全部功能。
Whisper 是開放原始碼的嗎?授權條款允許做什麼?
是。OpenAI 的倉庫寫明:"Whisper's code and model weights are released under the MIT License."(Whisper 的程式碼和模型權重以 MIT License 發布。)MIT 是寬松型授權條款。一般來說,它允許你使用、複製、修改和銷售基於這些程式碼的軟體,只要保留版權聲明和授權條款聲明即可。
有兩點要注意。其他網站上的副本可能帶著不同的授權條款元資料;Hugging Face 的 large-v3 頁面列的是 Apache-2.0。請閱讀你所用副本附帶的授權條款。另外,授權條款管的是軟體,不管你餵給它的錄音。錄音仍然要遵守同意和隱私方面的規定。以上是一般資訊,不構成法律建議;官方來源是 MIT 授權條款原文。
Whisper 適合誰?
Whisper 適合開發者,以及會用終端、想要免費、私密、不限量轉錄的人。如果你想要一份帶編輯器和匯出功能的成品逐字稿,托管應用通常更快。
| 你是…… | 適合的選擇 | 原因 |
|---|---|---|
| 在做產品的開發者 | 開放原始碼 Whisper 或 API | 完全掌控整個流程 |
| 手裡有敏感訪談的研究者 | 在本地運行開放原始碼 Whisper | 音訊不會離開你的電腦 |
| 這周就要字幕的創作者 | 能匯出 SRT 或 VTT 的托管應用 | 不用配置;帶時間軸的檔案可直接上傳 |
| 用沒有 GPU 的筆記本 | 本地跑小模型,或用托管應用 | 大模型需要約 10 GB 顯存 |
相信 Whisper 逐字稿之前:檢查清單
這份清單是我們根據 OpenAI 論文和模型卡裡的失敗模式整理的:
- 抽查停頓和靜音段,看有沒有沒人說過的句子。
- 掃一遍,看有沒有同一句話連續重復好幾次。
- 對照音訊檢查檔案的第一行和最後一行。
- 核對人名、數字和專業術語。
- 確認語言辨識正確,或者手動指定。
- 做翻譯時,確認沒有用 turbo。
- 需要說話者標籤的話,用單獨的工具加上。
- 錄音或轉錄別人之前,先徵得同意。
常見問題
Whisper AI 免費嗎?
免費,OpenAI Whisper 可以免費下載和運行。OpenAI 以 MIT 授權條款發布程式碼和模型權重,所以用它不用付錢給 OpenAI。但電腦得你自己出,large 模型大約要 10 GB 顯存。托管方案要花錢:OpenAI 的 API 按用量收費,轉錄應用有各自的方案。「免費」也不代表簡單;你需要 Python、FFmpeg,還得對命令行比較熟。
Whisper 能區分不同的說話者嗎?
不能,單靠它自己不行。Whisper 會寫出說了什麼,但不會標出是誰說的。OpenAI 的模型卡說,說話者分離這類能力沒有經過充分評估。想要標籤,一般是把 Whisper 和單獨的說話者分離工具配合使用,或者用帶說話者辨識的轉錄應用。比如 whispertranscribe.ai 就有一個說話者辨識選項,可以在轉錄前開啟。聲音相近的錄音,一定要檢查標籤。
Whisper 能即時轉錄嗎?
開箱即用不行。Whisper 是為錄好的音訊設計的,按 30 秒窗口處理;OpenAI 的模型卡說,不做額外工作就不能用於即時轉錄。有開發者圍繞它做了接近即時的工具,辦法是音訊一到就切成小段送進去。需要即時字幕的話,找一個有專門即時模式的工具,並且要預期即時輸出比用完整錄音做的逐字稿需要更多整理。
Whisper 支援多少種語言?
Whisper 能辨識大約 99 種語言;large-v3 加入粵語後,當前的 tokenizer 列出了 100 個語言代碼。品質差別很大。OpenAI 的模型卡說,它在大約 10 種語言上效果很強;論文發現大多數語言的訓練音訊不到 1,000 小時。要依賴一種不太常見的語言之前,先拿一小段試試。產品給出的數字,比如 whispertranscribe.ai 的 130 多種語言,說的是各產品自己的支援範圍,不是開放原始碼模型的。
whispertranscribe.ai 和 OpenAI Whisper 是一回事嗎?
不是。OpenAI Whisper 是一個你自己下載、自己運行的開放原始碼模型。whispertranscribe.ai 是一個獨立的、在瀏覽器裡使用的轉錄服務;它的首頁說它 powered by Whisper and next-generation AI。它加上了原始模型沒有的東西,比如最大 5GB 的上傳、從 YouTube 或 Google Drive 匯入連結、說話者辨識,以及 DOCX、PDF、SRT 和 VTT 匯出。名字裡帶 "Whisper" 的其他應用,是其他公司做的獨立產品。
為什麼 Whisper 有時會寫出沒人說過的話?
因為它像語言模型那樣預測文字。OpenAI 的模型卡說,用大量嘈雜的網路資料訓練,會讓模型有時寫出音訊裡沒有的詞。OpenAI 的解釋是,它把「預測下一個可能出現的詞」和「轉錄聽到的內容」混在了一起。一項 2024 年的研究發現,在它檢查的轉錄結果裡,大約 1% 有整段編造的話,長停頓附近更常見。停頓、安靜的片段和任何重要內容,都要對照音訊核一遍。
想要 Whisper 逐字稿,又不想折騰配置? 把檔案上傳或把連結貼上到 whispertranscribe.ai,就能得到 130 多種語言 的文字,並匯出 DOCX、PDF、SRT 和 VTT。
參考資料
- OpenAI:Introducing Whisper(發布 Whisper)(2022 年 9 月 21 日)
- Radford 等:Robust Speech Recognition via Large-Scale Weak Supervision(通過大規模弱監督實現穩健的語音辨識)(arXiv 2212.04356)
- OpenAI:Whisper GitHub 倉庫和 README、模型卡和 MIT 授權條款
- Hugging Face:openai/whisper-large-v3 模型卡
- OpenAI API 文件:語音轉文字指南(2026 年 11 月核對)
- Koenecke 等:Careless Whisper: Speech-to-Text Hallucination Harms(語音轉文字幻覺的危害)(arXiv 2402.08021)
