什麼是 Whisper AI?OpenAI 語音辨識模型的運作原理

作者:whispertranscribe.ai 編輯團隊 · 最後更新:2026 年 11 月 · 閱讀約 13 分鐘

Whisper AI 是什麼?大多數時候,人們搜的是 OpenAI Whisper,也就是 OpenAI 在 2022 年 9 月發布的開放原始碼語音辨識模型。它能把錄好的語音轉成文字,辨識使用的語言,還能把其他語言翻譯成英文。OpenAI 用 680,000 小時的網路音訊訓練了它,並以 MIT License 公開了程式碼和權重。

先說明一下:whispertranscribe.ai 是我們做的。whispertranscribe.ai 是一款網頁版 AI 轉錄工具,能把音訊和影片轉成文字,支援 130 多種語言。這篇指南會把模型本身和圍繞它做的產品分得清清楚楚,文中關於模型的每個數字都來自 OpenAI 自己的論文、程式碼倉庫或模型卡。

簡短回答:Whisper AI 是什麼?

Whisper 是一個語音轉文字模型,不是應用,也不是公司。你可以從 OpenAI 的 GitHub 倉庫下載,在自己電腦上運行,也可以用替你運行它的服務。

  • 出品方: OpenAI。研究論文 Robust Speech Recognition via Large-Scale Weak Supervision 於 2022 年 12 月 6 日發布在 arXiv 上。
  • 能做什麼: 轉錄語音、辨識語言、把語音翻譯成英文,並加上分段時間戳記。
  • 開箱即用做不到的: 標出誰在說話,或者即時轉錄。OpenAI 的模型卡寫明,它「cannot be used for real-time transcription out of the box」(無法開箱即用地做即時轉錄)。
  • 大小: 六種,從 tiny(3,900 萬參數)到 large(15.5 億參數)。
  • 費用: 免費下載、免費運行。硬體自己出。

"Whisper AI" 可能指三種不同的東西

這個名字用得很隨意,下面三種意思很容易混。

人們說的 "Whisper AI" 是什麼 誰做的 怎麼用
OpenAI Whisper 一個開放原始碼語音辨識模型 OpenAI 下載程式碼和權重,自己運行
whisper-1 OpenAI 托管的轉錄 API 模型 OpenAI 把音訊檔案發給 OpenAI 的 API,按用量付費
名字裡帶 "Whisper" 的應用 轉錄產品,比如 whisperai.com 和 whispertranscribe.ai(本站) 各自獨立的公司 在它們的應用裡上傳或錄製音訊

第三行的產品既不是模型本身,彼此之間也不能互相替代。每家公司各自決定功能、限制、價格和隱私條款。本文裡的 "Whisper" 指的是 OpenAI 的模型。

Whisper 是怎麼工作的?

Whisper 是一個編碼器-解碼器結構的 Transformer。編碼器把 30 秒音訊變成一組數值表示,解碼器再一個 token 一個 token 地寫出對應文字,由一些特殊 token 告訴它要做哪項任務。

Whisper 論文描述的流程如下:

  1. 重取樣。 音訊轉換為 16,000 Hz。
  2. 切成 30 秒的窗口。 模型每次都只看 30 秒。不足 30 秒的片段會補齊。
  3. 生成頻譜圖。 每個窗口變成一張 80 通道的 log-Mel 頻譜圖,也就是聲音能量在不同頻率上如何變化的「圖像」,以 25 毫秒為一幀、每 10 毫秒計算一次。(Large-v3 改成了 128 通道。)
  4. 編碼。 兩層卷積加一組 Transformer 模塊處理這張頻譜圖。
  5. 解碼。 解碼器先預測語言,或者輸出一個「no speech」(無語音)token;接著是任務(轉錄還是翻譯),然後是要不要帶時間戳記,最後才是文字本身。

時間戳記也是作為 token 預測出來的,精確到最接近的 20 毫秒。一個模型就是這樣同時完成語言辨識、轉錄、翻譯和計時的。

Whisper 是用什麼資料訓練的?

最初的幾個模型,學習的是 680,000 小時帶對應逐字稿的網際網路音訊。OpenAI 把這稱為「weak supervision」(弱監督),因為這些逐字稿不像基準資料集那樣經過人工核對。

佔訓練音訊的比例 小時數 內容
約 65% 438,000 英語音訊配英文逐字稿
約 18% 126,000 非英語音訊配英文逐字稿(翻譯資料)
約 17% 117,000 非英語音訊配同語言逐字稿

來源:OpenAI 的 Whisper 模型卡。論文把翻譯部分取整為 125,000 小時。

有兩個細節能解釋 Whisper 的很多表現。OpenAI 過濾掉了看起來像機器生成的逐字稿,比如全大寫文字,所以模型學會了寫帶標點的句子。另外,早期模型喜歡猜說話者的名字,因為很多網路逐字稿裡帶著名字。OpenAI 通過微調去掉了這個習慣,但這說明模型非常忠實地反映了它的訓練文字。

Large-v3 的訓練方式不同:根據它的 Hugging Face 模型卡,用了約 500 萬小時資料,其中 100 萬小時是弱標註的網路資料,400 萬小時由 large-v2 標註。

Whisper 各大小模型比較

Whisper 有六種大小。小模型在普通硬體上跑得更快;大模型錯誤更少,但需要更多顯存(VRAM)。下表數字照抄自 OpenAI 的 README。

大小 參數量 純英語版本 多語言版本 所需顯存 相對 large 的速度
tiny 39 M tiny.en tiny ~1 GB ~10x
base 74 M base.en base ~1 GB ~7x
small 244 M small.en small ~2 GB ~4x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M 無 large ~10 GB 1x
turbo 809 M 無 turbo ~6 GB ~8x

OpenAI 是用 A100 資料中心 GPU、在英語語音上測出這些速度的,並說明實際速度「may vary significantly」(可能差別很大)。筆記型電腦會更慢。

該選哪個 Whisper 模型?

從你有多少顯存、逐字稿拿來做什麼出發:

  • 在普通電腦上試試: tiny 或 base,約 1 GB 顯存。錯誤會多一些。
  • 只有英語: 用 .en 模型。OpenAI 說這些模型表現更好,在 tiny 和 base 大小上尤其明顯。
  • 品質不錯、速度也過得去: turbo,約 6 GB。它是命令行的預設模型。
  • 把語音翻譯成英文: medium 或 large。Turbo 沒有針對翻譯訓練,即使你要求翻譯,它也會輸出原語言。
  • 最難處理的音訊,想要最好的結果: large,約 10 GB 顯存。

Whisper 版本:簡要時間線

"large" 先後對應過三個版本,turbo 則是精簡版的 large-v3。版本很重要,因為不同檢查點的結果不一樣。

版本 發布時間 變化
最初的模型(tiny 至 large) 2022 年 9 月 隨論文首次開放原始碼發布
large-v2 2022 年 12 月 大小不變,訓練長度是原來的 2.5 倍,並加了額外的正則化
large-v3 2023 年 11 月 128 個 Mel 通道,新增粵語 token,在許多語言上錯誤比 v2 少 10% 至 20%
turbo(large-v3-turbo) 2024 年 9 月 解碼器層數從 32 減到 4 以提速;不支援翻譯

來源:Whisper 模型卡、論文中關於 large-v2 的腳注,以及 Hugging Face 上 large-v3 和 large-v3-turbo 的模型卡。

Whisper 支援多少種語言?

Whisper 能辨識大約 99 種語言。論文中的語言偵測器用了 99 個語言 token;large-v3 加入粵語後,當前的 tokenizer 列出了 100 個語言代碼。不過,支援不等於品質好:模型卡說 Whisper 在「~10 languages」(約 10 種語言)上效果很強。

品質跟訓練資料走。論文發現,某種語言的表現可以由模型見過多少小時這種語言「very well predicted」(很好地預測),而大多數語言的訓練資料不到 1,000 小時。英語、西班牙語或德語的結果通常會比低資源語言乾淨。如果要查你的語言,README 裡有一張按語言列出錯誤率的圖表連結。

別和產品的語言數量搞混。 whispertranscribe.ai 支援 130 多種語言。這個數字是我們產品的語言支援(價格頁寫的是 "130+ languages & accents"),不是開放原始碼 Whisper 模型的屬性。

Whisper 有多準?

Whisper 沒有一個統一的準確率數字,因為它取決於模型大小、語言和錄音本身。在乾淨的英語朗讀音訊上,large-v2 的詞錯誤率(WER)是 2.7%。在 14 個英語測試集(大多更難)上取平均,是 12.8%。

WER 是系統出錯的詞所佔的比例,把替換、漏掉和多出來的詞都算上,以人工參考逐字稿為標準。越低越好。下面的數字來自論文的 Table 2,比較的是 Whisper large-v2 和一個用 LibriSpeech 有聲書資料集訓練的 wav2vec 2.0 模型:

測試集 wav2vec 2.0 WER Whisper large-v2 WER
LibriSpeech clean(朗讀的有聲書) 2.7% 2.7%
Common Voice(眾包錄製的語音) 29.9% 9.0%
CHiME-6(嘈雜的晚宴錄音) 65.8% 25.5%
表中全部 14 個測試集的平均值 29.3% 12.8%

關鍵看規律。兩個模型在有聲書測試上打平,但在其他所有測試上,Whisper 都穩得多,平均錯誤少 55.2%。OpenAI 的發布公告把這個數取整為「50% fewer errors」(錯誤少 50%)。在論文的噪音測試中,用 LibriSpeech 訓練的模型在接近乾淨的音訊上勝過 Whisper,但當酒吧式的背景噪音變大、信噪比低於 10 dB 時,就落後了。

這些是研究基準,不是對你的檔案的承諾,產品的說法也是另一回事。比如 whispertranscribe.ai 在清晰音訊上的準確率最高可達 99%,背景噪音、多人串話和濃重口音都會拉低它。

Whisper 有哪些局限?

Whisper 最大的弱點是,它可能寫出一段很通順、但根本沒人說過的文字。OpenAI 的模型卡把這叫作幻覺(hallucination),並認為和弱監督訓練有關。模型卡還列出了重復、不同語言和口音準確率不均、沒有內建說話者標籤等問題。

  1. 幻覺文字。 在 2024 年的研究 Careless Whisper 中,研究人員發現,他們檢查的轉錄結果裡大約 1% 包含音訊裡沒有的整句或整段話。語音中有長時間停頓時,幻覺更常見。
  2. 重復循環。 模型可能卡住,一直重復同一句話。模型卡說,beam search 和 temperature fallback 能「to some degree」(在一定程度上)減輕這個問題,但不能完全解決。
  3. 漏掉開頭或結尾的詞。 論文把跳過一段話開頭或結尾的幾個詞列為已知的失敗模式。
  4. 長錄音需要分窗。 Whisper 一次只看 30 秒。處理更長的檔案時,轉錄工具會根據預測出的時間戳記把窗口往後滑動,所以一個窗口出錯,可能連帶影響下一個。
  5. 沒有說話者標籤。 根據模型卡,說話者分離(diarization,即判斷誰在什麼時候說話)沒有經過充分評估。需要另找工具。
  6. 預設不是即時的。 它是為錄好的檔案設計的。做即時字幕,需要在它外面額外做工程。
  7. 不同語言和口音表現不均。 模型卡指出,某些口音、方言和人群的錯誤率更高。

OpenAI 還提醒:不要在未經同意的情況下轉錄別人的話,也不要用於高風險的決策情境。

官方資料說法不一致的地方

OpenAI 自己的幾份檔案裡,有些數字對不上,大多是因為取整或版本變化。引用數字前先看這裡:

話題 一份官方資料說 另一份說 建議用法
相比 LibriSpeech 模型減少的錯誤 論文:平均錯誤少 55.2% OpenAI 公告:錯誤少 50% 引用論文,並說明是和誰比
訓練資料中英語以外的語言 論文:96 種其他語言 模型卡:98 種語言 辨識能力寫「大約 99 種語言」
翻譯訓練長度 模型卡:126,000 論文:125,000 兩個都行,注明是約數
Turbo 參數量 README 和 Hugging Face:809 M 模型卡表格:798 M 809 M,多數來源用這個數
訓練資料規模 原始論文:680,000 小時 Large-v3 模型卡:500 萬小時 說清你指的是哪個版本
授權條款 GitHub:程式碼和權重為 MIT Hugging Face large-v3 元資料:Apache-2.0 查看你下載的那份副本附帶的授權條款檔案

Whisper 怎麼用:自己運行、調用 API,或者用應用

實際有三條路。自己運行 Whisper 免費,音訊留在自己電腦上。OpenAI 的 API 省去了配置,但限制檔案大小。托管的轉錄應用加上了編輯、說話者標籤和匯出,但它是第三方服務,有自己的條款。

運行開放原始碼 Whisper OpenAI 轉錄 API 托管轉錄應用
配置 Python、PyTorch 和 FFmpeg 寫程式碼,加一個 API key 一個瀏覽器
費用 免費;用你自己的硬體 按用量付費 免費檔或訂閱,因應用而異
檔案限制 取決於你的硬體 每個檔案 25 MB 由各應用決定
音訊去向 留在你的電腦上 發送給 OpenAI 發送到應用的伺服器
說話者標籤 沒有內建 whisper-1 沒有 取決於應用
編輯和匯出 命令行輸出 TXT、SRT、VTT、TSV、JSON 結果返回給你的程式碼,其餘自己做 通常有編輯器,加上文件和字幕匯出

在自己電腦上運行 Whisper

OpenAI 的 README 給出了安裝命令和一個基本用法:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

譯註:第一行安裝或升級 openai-whisper;第二行用 turbo 模型轉錄 interview.mp3。

還需要裝好 FFmpeg;README 說程式碼應該能在 Python 3.8 至 3.11 上運行。加 --language 指定使用的語言;用多語言模型加 --task translate,可以得到英文。模型權重會在第一次使用時下載。

用 OpenAI 的 API

OpenAI 的語音轉文字指南把上傳限制為每個檔案 25 MB,更大的檔案要壓縮或切分。截至 2026 年 11 月核對(checked in November 2026),這份指南把 whisper-1 標為已棄用,列出的停用日期是 2027 年 2 月 26 日,並引導開發者改用更新的轉錄模型。那些更新的模型是 OpenAI 的語音模型,不是開放原始碼 Whisper 家族的新版本。

用托管的轉錄應用

不想裝任何東西的話,托管應用會在它的伺服器上處理檔案。whispertranscribe.ai 是其中一個選擇,用它的免費音訊轉文字工具可以很快試一下。我們的首頁把 whispertranscribe.ai 描述為 "powered by Whisper and next-generation AI"。以下是它提供的功能,取自我們自己的產品頁面:

取捨是實打實的。你的檔案會傳到雲服務上,而不是留在自己電腦裡。我們不提供 API、自定義詞彙或會議機器人。付費方案 from $9.99/month billed annually(價格頁),也可以免註冊免費開始。詳情見 Whisper AI 轉錄工具頁面或全部功能。

Whisper 是開放原始碼的嗎?授權條款允許做什麼?

是。OpenAI 的倉庫寫明:"Whisper's code and model weights are released under the MIT License."(Whisper 的程式碼和模型權重以 MIT License 發布。)MIT 是寬松型授權條款。一般來說,它允許你使用、複製、修改和銷售基於這些程式碼的軟體,只要保留版權聲明和授權條款聲明即可。

有兩點要注意。其他網站上的副本可能帶著不同的授權條款元資料;Hugging Face 的 large-v3 頁面列的是 Apache-2.0。請閱讀你所用副本附帶的授權條款。另外,授權條款管的是軟體,不管你餵給它的錄音。錄音仍然要遵守同意和隱私方面的規定。以上是一般資訊,不構成法律建議;官方來源是 MIT 授權條款原文。

Whisper 適合誰?

Whisper 適合開發者,以及會用終端、想要免費、私密、不限量轉錄的人。如果你想要一份帶編輯器和匯出功能的成品逐字稿,托管應用通常更快。

你是…… 適合的選擇 原因
在做產品的開發者 開放原始碼 Whisper 或 API 完全掌控整個流程
手裡有敏感訪談的研究者 在本地運行開放原始碼 Whisper 音訊不會離開你的電腦
這周就要字幕的創作者 能匯出 SRT 或 VTT 的托管應用 不用配置;帶時間軸的檔案可直接上傳
用沒有 GPU 的筆記本 本地跑小模型,或用托管應用 大模型需要約 10 GB 顯存

相信 Whisper 逐字稿之前:檢查清單

這份清單是我們根據 OpenAI 論文和模型卡裡的失敗模式整理的:

  • 抽查停頓和靜音段,看有沒有沒人說過的句子。
  • 掃一遍,看有沒有同一句話連續重復好幾次。
  • 對照音訊檢查檔案的第一行和最後一行。
  • 核對人名、數字和專業術語。
  • 確認語言辨識正確,或者手動指定。
  • 做翻譯時,確認沒有用 turbo。
  • 需要說話者標籤的話,用單獨的工具加上。
  • 錄音或轉錄別人之前,先徵得同意。

常見問題

Whisper AI 免費嗎?

免費,OpenAI Whisper 可以免費下載和運行。OpenAI 以 MIT 授權條款發布程式碼和模型權重,所以用它不用付錢給 OpenAI。但電腦得你自己出,large 模型大約要 10 GB 顯存。托管方案要花錢:OpenAI 的 API 按用量收費,轉錄應用有各自的方案。「免費」也不代表簡單;你需要 Python、FFmpeg,還得對命令行比較熟。

Whisper 能區分不同的說話者嗎?

不能,單靠它自己不行。Whisper 會寫出說了什麼,但不會標出是誰說的。OpenAI 的模型卡說,說話者分離這類能力沒有經過充分評估。想要標籤,一般是把 Whisper 和單獨的說話者分離工具配合使用,或者用帶說話者辨識的轉錄應用。比如 whispertranscribe.ai 就有一個說話者辨識選項,可以在轉錄前開啟。聲音相近的錄音,一定要檢查標籤。

Whisper 能即時轉錄嗎?

開箱即用不行。Whisper 是為錄好的音訊設計的,按 30 秒窗口處理;OpenAI 的模型卡說,不做額外工作就不能用於即時轉錄。有開發者圍繞它做了接近即時的工具,辦法是音訊一到就切成小段送進去。需要即時字幕的話,找一個有專門即時模式的工具,並且要預期即時輸出比用完整錄音做的逐字稿需要更多整理。

Whisper 支援多少種語言?

Whisper 能辨識大約 99 種語言;large-v3 加入粵語後,當前的 tokenizer 列出了 100 個語言代碼。品質差別很大。OpenAI 的模型卡說,它在大約 10 種語言上效果很強;論文發現大多數語言的訓練音訊不到 1,000 小時。要依賴一種不太常見的語言之前,先拿一小段試試。產品給出的數字,比如 whispertranscribe.ai 的 130 多種語言,說的是各產品自己的支援範圍,不是開放原始碼模型的。

whispertranscribe.ai 和 OpenAI Whisper 是一回事嗎?

不是。OpenAI Whisper 是一個你自己下載、自己運行的開放原始碼模型。whispertranscribe.ai 是一個獨立的、在瀏覽器裡使用的轉錄服務;它的首頁說它 powered by Whisper and next-generation AI。它加上了原始模型沒有的東西,比如最大 5GB 的上傳、從 YouTube 或 Google Drive 匯入連結、說話者辨識,以及 DOCX、PDF、SRT 和 VTT 匯出。名字裡帶 "Whisper" 的其他應用,是其他公司做的獨立產品。

為什麼 Whisper 有時會寫出沒人說過的話?

因為它像語言模型那樣預測文字。OpenAI 的模型卡說,用大量嘈雜的網路資料訓練,會讓模型有時寫出音訊裡沒有的詞。OpenAI 的解釋是,它把「預測下一個可能出現的詞」和「轉錄聽到的內容」混在了一起。一項 2024 年的研究發現,在它檢查的轉錄結果裡,大約 1% 有整段編造的話,長停頓附近更常見。停頓、安靜的片段和任何重要內容,都要對照音訊核一遍。


想要 Whisper 逐字稿,又不想折騰配置? 把檔案上傳或把連結貼上到 whispertranscribe.ai,就能得到 130 多種語言 的文字,並匯出 DOCX、PDF、SRT 和 VTT。

參考資料

想把錄音轉成文字嗎?

使用 whispertranscribe.ai 轉錄音訊和影片。

開始轉錄 ↗