什麼是 AI 轉錄?運作原理、常見錯誤及工具選擇

作者:whispertranscribe.ai 編輯團隊 · 最後更新:2026 年 11 月 · 閱讀約 12 分鐘 · 分類:轉錄基礎

AI 轉錄,就是用語音辨識模型把錄好的或即時的語音自動變成文字。軟體先把音訊轉成聲學特徵,預測最可能的詞,再加上標點、時間戳記,很多時候還會標出說話者。它又快又便宜,但準確率取決於錄音本身,所以重要的逐字稿仍然需要人工核對。

先說明一下:whispertranscribe.ai 是我們做的產品,一個基於 OpenAI Whisper 模型、在瀏覽器裡使用的轉錄服務。下文的技術說法引用的是 IBM、AWS、Google Cloud、Microsoft 和 Whisper 論文;為寫這篇文章,我們沒有做任何準確率測試。

簡短回答:什麼是 AI 轉錄?

AI 轉錄是一種不用人打字就能把語音記下來的軟體:一個自動語音辨識(ASR)模型,加上把文字整理成可用記錄的幾個步驟。

  • 輸入: 音訊或影片檔案、檔案連結,或者即時麥克風。
  • 引擎: 用大量已轉錄語音訓練出來的 ASR 模型。
  • 輸出: 可編輯的文字,通常帶標點、時間戳記和說話者標籤,可匯出為文件或字幕檔案。
  • 最適合: 採訪、會議、講座、Podcast 和字幕,快速出一版初稿能省下好幾個小時。
  • 弱點: 噪音、麥克風離得遠、多人搶話、口音重、人名和專業術語。
  • 經驗法則: 初稿交給 AI,凡是要引用、要存檔、要被人依賴的內容,交給人來核。

用語音打字屬於聽寫,是另一件事;我們關於什麼是語音轉文字的指南會講清兩者區別,並比較傳統辨識器和端到端辨識器。

AI 逐字稿裡到底有什麼

AI 逐字稿不只是一堆字。大多數工具會返回好幾層資訊,先想清楚自己需要哪幾層,選工具的範圍很快就能縮小。

層 是什麼 為什麼重要
詞 模型對說話內容的最佳猜測 記錄的核心
標點和大小寫 斷句、逗號、專有名詞 讓文字可讀、可引用
數字格式化 寫成 "$900",而不是 "nine hundred dollars" 省去整理價格和日期的功夫
時間戳記 每個詞或每段的開始和結束時間 能跳回對應音訊,也能用來做字幕
說話者標籤 每一輪發言標成 "Speaker 1"、"Speaker 2" 把一段對話變成能讀的腳本
匯出格式 DOCX、PDF、TXT、CSV、SRT、VTT 等 決定逐字稿接下來能用在哪裡

就算每個詞都對,沒有說話者標籤,一場六個人的會議照樣沒法讀。所以比較工具之前,先想好你需要哪幾層。

AI 轉錄是怎麼工作的?

AI 轉錄分幾個階段:音訊先數字化,再轉成數值特徵,解碼成最可能的詞,最後補上說話者標籤、時間戳記和格式。

第 1 步:採集並數字化音訊

語音一開始只是空氣中的振動。AWS 介紹了模數轉換器如何測量聲波、過濾,再切成極小的片段,以百分之一秒或千分之一秒計。AWS 還提到,英語大約有 40 個音素,也就是區分不同單詞的聲音單位。

第 2 步:把聲音變成特徵

原始信號會被轉成緊湊的數值描述。IBM 的語音辨識介紹把辨識器拆成幾部分:輸入的語音、輸出特徵向量的特徵提取環節、解碼器,以及最終的文字輸出。特徵向量概括的是每一刻有哪些頻率。

第 3 步:解碼出最可能的詞

解碼器會挑出和特徵最吻合的詞序列。按 IBM 的說法,它依賴三樣東西:聲學模型(出現了哪些聲音)、發音詞典(哪些聲音組成哪些詞)和語言模型(哪些詞序列更可能出現)。

第 4 步:端到端模型把流程合成一步

現代系統常常用一個神經網路取代上面那些分開的部件,這個網路用配好逐字稿的音訊訓練。OpenAI 的 Whisper 論文描述的是一個編碼器-解碼器 Transformer,直接預測逐字稿的原始文字,標點和大小寫都包括在內。作者指出,這樣就不再需要單獨做一步逆文字規範化,也能得到自然的逐字稿。模型本身的介紹見我們關於什麼是 Whisper AI 的指南。

第 5 步:分清誰在什麼時候說話

說話者分離(diarization)和辨識詞是兩項獨立的任務。Google Cloud 的說話者分離文件說明,系統會偵測說話者何時切換,並給每個詞標上所屬聲音的編號;你需要設定預計的最少和最多說話者數。Amazon Transcribe 的說話者劃分指南說它最多能區分 30 個說話者,標籤從 spk_0 到 spk_29。標籤是編號,不是名字,名字得你自己填。

第 6 步:加時間戳記和格式

Google 和 AWS 的輸出都會給詞或片段附上開始和結束時間,可點選跳轉的逐字稿和字幕檔案靠的就是這些時間。最後一步是排版文字。Microsoft 的語音文件把這一顯示層單獨衡量,用的是標記錯誤率,把標點、大小寫和數字格式都算進去,比如 "$900" 和 "nine hundred dollars" 的區別。

AI、人工和混合轉錄怎麼選

AI 轉錄勝在速度和成本;如果每個字都必須對、而且要有人為結果負責,人工轉錄更好;介於兩者之間的大多數工作,用混合方式就夠了,也就是 AI 出初稿、人來核對。

AI 轉錄 人工轉錄 混合(AI 初稿 + 人工審核)
怎麼做出來 語音辨識模型,沒有人參與 訓練有素的轉錄員邊聽邊打 AI 出初稿,你或專業人員修改
成本 通常是訂閱或按分鐘收費;我們的價格 from $9.99/month billed annually 按音訊分鐘計價;Rev 標的人工轉錄價格從每分鐘 $1.99 起(2026 年 11 月核對) AI 費用加上審核人的時間
交付時間 通常幾分鐘,取決於檔案長度和服務負載 Rev 寫的是 12 小時或更短,另有加急選項(2026 年 11 月核對) 初稿幾分鐘,再加審核時間
準確率取決於 錄音質量、口音、術語、搶話、語言選擇 轉錄員水平、音訊品質,以及給他們的說明 主要看審核人對人名、數字和說話者輪次是否仔細
誰負責 沒有人為文字負責 服務商擔保;Rev 寫明人工逐字稿準確率 99%+ 誰審核誰負責
最適合 筆記、初稿、檢索、你會自己檢查的字幕、研究編碼 法律檔案、公開發表的引語、別人要依賴的記錄 採訪、質性研究、新聞報道、交給客戶的成品

按每分鐘 $1.99 算,一段 45 分鐘的採訪在加購項之前是 $89.55,這是用 Rev 標價做的簡單算術。

一套好用的混合流程

  1. 先跑 AI,選對語言,開啟說話者偵測。
  2. 修正說話者標籤並改成真名,後面所有核對都要靠它。
  3. 搜尋人名、數字和術語,每一個都對照音訊核實。
  4. 重聽有疑問的段落: 搶話、笑聲、音樂,以及任何讀起來比你聽到的還要通順的地方。
  5. 定好風格: 保留口頭禪和說錯重來(逐字稿),還是刪掉(清理版逐字稿),然後全篇統一。

做研究的讀者可以在我們關於質性研究訪談轉錄的指南裡找到審核流程。

哪些因素影響 AI 轉錄準確率?

AI 轉錄準確率主要取決於錄音:麥克風離得多近,噪音和重疊說話有多少,模型對說話者的口音和詞彙熟不熟。

Microsoft 關於詞錯誤率的說明提供了一個好用的診斷方法。它把每種錯誤和可能原因對上:刪除多,通常說明音訊信號弱;插入多,多半是噪音和搶話;替換多,往往是模型沒怎麼見過的領域術語。

因素 為什麼有影響 常見錯誤 怎麼改善
麥克風距離和音量 信號弱,模型只能猜 漏詞(刪除) 離說話者近一點錄;用領夾麥或耳機麥
背景噪音和音樂 噪音蓋住了語音 多出詞或錯詞 換安靜的房間;工具有噪音專用語言模式就用上
多人同時說話 兩個聲音混成一個信號 句子粘在一起,說話者標錯 請大家輪流說;每人單獨錄一條音軌
口音和方言 有些口音在訓練資料裡出現得少 詞被換掉 選對應地區的語言變體;先拿一小段試
人名、術語、縮寫 模型偏向常見詞 看似合理但錯誤的詞(替換) 準備一份術語表,在逐字稿裡逐個搜尋
語言設定錯誤或混合語言 模型用錯誤的語言解碼 亂碼或不想要的翻譯 自己設定語言;中途切換語言就用混合語言選項
電話錄音或壓縮嚴重的音訊 帶寬窄,細節丟失 錯誤散布全篇 用原始錄音,不要用二次壓縮的副本

沒有放之四海皆准的準確率數字。各家公佈的數字,包括我們的,說的都是清晰音訊:whispertranscribe.ai 在清晰音訊上最高可達 99%,背景噪音、重口音和搶話都會讓它下降。公開的基準測試成績,以及怎麼測你自己的檔案,見我們關於 Whisper 有多準的文章。

AI 轉錄適合誰,什麼時候不夠用?

誰需要從錄音裡得到可搜尋、可編輯的文字,又想比自己打字快,AI 轉錄都適合。但如果一個錯誤可能傷害到別人、帶來法律風險,或者會進入永久記錄,光靠 AI 就不夠。

情境 只用 AI 行嗎? 還要加什麼
會議記錄和課堂筆記 通常可以 快速核對決定、術語和數字
要發布的 Podcast 和影片逐字稿 只能當初稿 發布前校對;核對說話者名字
字幕 只能當初稿 檢查時間軸和拼寫;可能涉及無障礙規定
新聞報道和公開引語 只能當初稿 每句引語都對照音訊核實
質性研究訪談 只能當初稿 全文審核;按倫理審批的要求處理資料
法律程序、取證筆錄、證據 不能單用 合格的人工轉錄和審核
醫療和臨床記錄 不能單用 臨床人員審核,並選擇滿足你監管義務的服務商

法律、醫療和研究用途,穩妥的做法是 AI 初稿加仔細的人工審核,並使用你所在機構批准的工具。以上為一般資訊,不構成法律或醫療建議。whispertranscribe.ai 沒有 HIPAA、GDPR 或 SOC 2 認證,如果你的工作要求其中任何一項,請選擇有相關檔案的服務商。給別人錄音還涉及同意問題;我們關於美國各州通話錄音法律的指南介紹了美國的規定。

隱私:上傳前要問的 6 個問題

上傳敏感錄音之前,先從服務商的隱私權政策裡拿到這六個問題的書面答案,別只看落地頁。每個問題後面附上 whispertranscribe.ai 隱私權政策的說法(2026 年 11 月核對)。

  1. 我的錄音會被拿去訓練別人的 AI 嗎? 我們的政策寫明,錄音、音訊檔案和逐字稿內容不會用於訓練、微調、評估或改進我們自己或第三方的 AI 模型,替我們處理內容的服務商也不得這樣使用。
  2. 會有人聽我的檔案嗎? 政策寫明我們不對錄音或逐字稿做人工審查;內容全部自動處理。
  3. 檔案保存多久? 你上傳的原始檔案在處理完成後自動刪除。服務提取出的 MP3 預設保存 30 天後刪除。逐字稿會一直留在你的帳戶裡,直到你刪除。
  4. 能全部刪掉嗎,刪了就徹底沒了嗎? 你可以隨時刪除保存的音訊、逐字稿和 MP3 檔案,也可以申請刪除整個帳戶。刪除是永久的,政策說刪除的內容沒有備份、無法恢復,所以想保留的先下載。
  5. 還有誰會處理我的音訊? 政策列出 OpenAI 為 AI 服務和功能提供方,另有網站使用的分析服務商。
  6. 資料怎麼保護? 政策寫明網路傳輸中的資料用 TLS 1.3,存儲的資料用 AES-256。

你列入候選的每個工具,都拿這六個問題去問;答得含糊或者根本不答,本身也是一種答案。

怎麼選 AI 轉錄工具:一份清單

選 AI 轉錄工具,要用你自己的錄音和輸出需求去試,而不是看宣傳的準確率數字。拿一個真實檔案,把下面這份清單過一遍。

檢查項 合格標準
你的語言和口音 檔案轉錄支援清單裡有你的具體語言和地區變體
你最長的檔案 單個檔案的大小和長度上限超過你最長的錄音
音訊怎麼進來 支援你手上的形式:檔案、連結、瀏覽器錄音或會議工具
說話者標籤 在你的測試檔案上標得准,而且可以改說話者名字
匯出 你要的格式(DOCX、SRT、CSV…)包含在你要買的方案裡
編輯 改文字時可以同時播放音訊
隱私答案 上面六個問題都有清楚的書面答案
按你的用量算價格 算過一個正常月份的花費,包括單檔案上限和超額費用

按用途比較具體工具,見我們的最佳 AI 轉錄軟體盤點。

怎麼用 whispertranscribe.ai 做 AI 轉錄

whispertranscribe.ai 在網頁瀏覽器裡執行:選擇語言,通過上傳、連結或錄音加入音訊,開啟說話者偵測,然後匯出結果。下面是我們 Whisper AI 轉錄工具頁面上的流程。

  1. 選擇使用的語言。 從 130 多種語言 中選。好幾種語言有地區變體和 "Noise / Low-Quality Audio/Video" 模式,Multilingual Mix 選項可以處理中途切換語言的錄音。
  2. 加入音訊。 上傳 MP3、WAV、M4A、MP4、MOV 或 MKV 等音訊與影片檔案,每個最大 5GB、最長 10 小時。也可以把 YouTube、Vimeo、Google Drive 或 Dropbox 連結貼上到從 URL 轉錄,或者在瀏覽器裡錄下你的聲音。影片檔案見影片轉文字;採訪見採訪轉錄。
  3. 開始前開啟 Enable Speaker Detection,前提是不止一個人說話。
  4. 轉錄並審核。 對照音訊檢查說話者輪次、人名和數字。
  5. 匯出。 下載 DOCX、PDF、TXT 或 CSV,或者 SRT、VTT 字幕檔案;字幕產生器是專門做字幕的。

我們沒有的:沒有手機或桌面 App,沒有人工轉錄或校對,沒有 API,也沒有自定義詞表。付費方案 from $9.99/month billed annually(價格);其他功能見功能頁,短錄音可以用線上語音轉文字。

AI 轉錄術語表

這些是你在產品頁和文件裡會碰到的詞。

術語 通俗解釋
ASR(自動語音辨識) 把說的話轉成文字的技術;IBM 提到它也叫 speech-to-text(語音轉文字)。它和聲紋辨識不同,後者是辨識誰在說話。
端到端模型 一個直接把音訊映射成文字的神經網路,取代分開的聲學模型、發音模型和語言模型。
WER(詞錯誤率) Microsoft 的定義是:插入、刪除和替換的數量之和,除以人工標註參考逐字稿的詞數。越低越好。
TER(標記錯誤率) 和 WER 類似,但把標點、大小寫和數字格式錯誤也算進去。
說話者分離(Diarization) 按說話者切分音訊,標出誰在什麼時候說話,通常用編號表示。
時間戳記 附在詞或片段上的開始或結束時間,用於定位和字幕。
逐字稿(Verbatim) 保留口頭禪、說錯重來和非語音聲音的逐字稿。
清理版逐字稿(Clean verbatim) 為了好讀刪掉口頭禪和說錯重來的逐字稿,意思不變。
逆文字規範化(ITN) 把口語形式轉成書面形式,比如把 "twenty twenty-six" 轉成 "2026"。

常見問題

什麼是 AI 轉錄?

AI 轉錄就是用語音辨識模型,把音訊或影片裡的語音自動轉成文字,不需要人打字。大多數工具還會加上標點、時間戳記和說話者標籤,並能把結果匯出為文件或字幕檔案。它比人工轉錄快得多、便宜得多,但準確率取決於錄音質量,所以在依賴這份文字之前,先核對人名、數字和引語。

AI 轉錄是怎麼工作的?

音訊先被數字化,再轉成描述聲音的數值特徵。接著模型解碼出最可能的詞:傳統系統組合使用聲學模型、發音詞典和語言模型,而 Whisper 這樣的現代端到端模型只用一個神經網路。另外幾個步驟負責標註說話者(這叫說話者分離)、附上時間戳記,並整理標點和數字格式,讓逐字稿讀起來像書面文字。

AI 轉錄准嗎?

如果是近距離麥克風錄的清晰音訊,現代 AI 轉錄大部分詞都能辨識對;whispertranscribe.ai 在清晰音訊上最高可達 99%。背景噪音、麥克風離得遠、多人同時說話、口音重和專業詞彙都會拉低準確率。沒有一個準確率數字適用於所有錄音,所以先拿自己的一小段音訊試試,並且一定要核對人名、數字和任何你打算引用的內容。

AI 轉錄比人工轉錄好嗎?

它更快、更便宜,但不更可靠。AI 通常幾分鐘就給出初稿,人工服務要幾個小時;Rev 標的人工轉錄價格從每分鐘 $1.99 起,擔保準確率 99%+(2026 年 11 月核對)。筆記、研究編碼和初稿,用 AI 再加上你自己的審核通常就夠了。法庭檔案、醫療記錄或公開發表的引語,請用合格的人工轉錄,或者做仔細的人工審核。

機密錄音用 AI 轉錄安全嗎?

可以安全,前提是服務商的書面政策符合你的需求。查清楚你的音訊會不會用於訓練 AI 模型、會不會有人審查、檔案保存多久、刪除是否永久、哪些第三方會處理、資料怎麼加密。如果你的工作要求 HIPAA、GDPR 或 SOC 2 相關檔案,請選擇能提供的服務商。以上為一般資訊,不構成法律建議。

AI 轉錄能區分不同的說話者嗎?

能,前提是工具帶說話者分離功能。它會偵測說話者何時切換,並給每輪發言標上編號,比如 Speaker 1 和 Speaker 2,之後由你改成名字。比如 Amazon Transcribe 的文件寫明最多支援 30 個說話者。聲音相似、大家互相插話,或者所有人共用一個離得遠的麥克風時,標籤最不可靠,所以引用任何人的話之前先檢查一遍。


想拿一段真實錄音試試 AI 轉錄? 用 whispertranscribe.ai 開始,無需註冊帳號:檔案最大 5GB,130 多種語言,說話者偵測,可匯出 DOCX、PDF、SRT 和 VTT。

參考資料

想把錄音轉成文字嗎?

使用 whispertranscribe.ai 轉錄音訊和影片。

開始轉錄 ↗