語音轉文字翻譯:如何轉錄並翻譯音訊

作者:whispertranscribe.ai 編輯團隊 · 最後更新:2026 年 11 月 · 閱讀約 12 分鐘

語音轉文字翻譯,就是把一種語言的錄音變成另一種語言的文字。做法有兩種:先按原語言把錄音轉錄出來,再翻譯這份文字;或者用一個模型直接從音訊寫出目標語言。前一種更容易核對,後一種更快。

下文會講:兩種流程各自在哪裡容易出錯,四種實用方法(包括多語言 SRT 和 VTT 字幕),一張品質因素表,一份譯後檢查清單,以及什麼時候請專業譯者更穩妥。

簡短回答:語音轉文字翻譯怎麼做

大多數錄音的做法是:先按原語言轉錄,改好逐字稿,再翻譯改好的文字。如果只需要英文、又想快,直接把語音轉成英文的工具用來出初稿就夠了。不管哪種方式,凡是要發布或要依賴的內容,都應該讓懂兩種語言的人核一遍。

  1. 按使用的語言轉錄。 自己選語言,別依賴自動偵測。
  2. 校對原文逐字稿。 先改人名、數字和術語。
  3. 翻譯並復核。 翻譯文字,再對照原文和音訊檢查。

什麼是語音轉文字翻譯?

凡是從 A 語言的語音開始、以 B 語言的文字結束的流程,都算語音轉文字翻譯。單純的轉錄始終是同一種語言;單純的翻譯從文字開始。這件事把兩者結合起來,而怎麼結合,決定了結果好不好核對。

兩種流程:級聯 vs 直接

研究者把第一種做法叫作級聯(cascade):先語音辨識,再文字翻譯。第二種是直接(或端到端)語音翻譯,一個模型直接把音訊映射成目標語言文字。OpenAI 的 Whisper 能做直接翻譯,但只能譯成英文。

先轉錄再翻譯(級聯) 直接語音翻譯
你能看到的步驟 兩步:原文逐字稿,然後是譯文 一步:音訊進,目標語言文字出
目標語言 你用的文字翻譯工具支援的任何語言 通常有限;Whisper 的 translate 任務只輸出英文
原語言文字 會保留下來 通常不生成
在哪裡能發現錯誤 兩步之間,在原文裡 只能把輸出和音訊對照
以後要重新翻譯 直接復用改好的逐字稿 重新跑一遍音訊,或者翻譯英文版
最適合 研究、出版、多語言字幕、任何要引用的內容 快速看懂一段錄音講了什麼(英文)

每種流程會出什麼問題

在級聯流程裡,錯誤會疊加。如果逐字稿把說話者說的 "fifteen" 寫成了 "fifty",譯文會用完美的語法帶著錯誤的數字。補救成本很低:翻譯前先把逐字稿改對。

在直接流程裡,沒有原文可查。聽錯的詞和譯錯的詞在輸出裡看起來一樣,校閱的人只能回去聽音訊。直接輸出讀起來還可能比實際品質更通順,錯誤反而更難發現。

該用哪種方法?

按文字的用途和需要幾種語言來選。

你的情況 推薦方法 原因
想快速看懂一段外語錄音 方法 2:直接轉錄成英文 一步到位,初稿可讀
要在文章或報告裡引用說話者 方法 1,關鍵引語再加方法 4 可以核對原話
需要兩種或更多語言的字幕 方法 3:先做原語言 SRT 或 VTT,再翻譯每條字幕的文字 一份時間軸檔案供所有語言使用
要分析和引用的研究訪談 方法 1 編碼和引用始終對應原始逐字稿
合約、法庭材料、醫療或移民記錄 方法 4,並交給合格的專業人員 出錯的後果很實際

方法 1:按原語言轉錄,再翻譯文字

這是最彈性的路線。改好的逐字稿就是你的母版,每一種譯文都從它出發。

第 1 步:按使用的語言轉錄

把檔案上傳到轉錄工具,開始前先設好語言。whispertranscribe.ai 是一個基於 OpenAI Whisper 模型、在瀏覽器裡使用的轉錄工具,你可以從 130 多種語言 中選擇,有地區變體選項,錄音質量差時還有 Noise / Low-Quality Audio/Video 模式。常見來源有專門頁面,比如西班牙語音訊和中文音訊。說話者會切換語言的,Multilingual Mix 選項支援英語、西班牙語、法語、德語、印地語、俄語、葡萄牙語、日語、意大利語和荷蘭語。

如果錄音在 Google Drive、Dropbox、Vimeo 或 YouTube 上,不用下載,直接從連結轉錄。採訪和會議記得開啟說話者辨識。

第 2 步:校對原文逐字稿

翻譯之前先改逐字稿,因為每個沒改的錯誤都會被複製到每一種語言裡。先搜人名、產品術語和縮寫,再把每個打算保留的數字播放聽一遍。清晰音訊上準確率 up to 99%。背景噪音、口音重和多人搶話都會拉低準確率,所以這一遍要留出時間。

第 3 步:翻譯改好的文字

把逐字稿匯出為 DOCX 或 TXT,放進文字翻譯工具。先看清格式限制。截至 2026 年 11 月:

  • Google Translate:據 Google Translate 幫助中心,可翻譯 .docx、.pdf、.pptx 和 .xlsx 文件,單個最大 10 MB,PDF 不超過 300 頁。字幕檔案不在這份清單裡。
  • DeepL:其檔案格式頁面列出了 DOCX、PDF 和 TXT。SRT 和 VTT 也在列,支援 Pro Individual、Pro Team、Pro Business 和 API 方案,每個字幕檔案上限 150 KB 或 200 KB。DeepL 免費帳號不支援 TXT。

工具允許的話,給翻譯補充背景:誰在說話、讀者是誰、譯文要多正式。

第 4 步:兩個版本並排保存

把原文和譯文成對保存,檔案名對應,比如 interview-04_es_v2.docx 和 interview-04_en_v2.docx,這樣有爭議的句子都能追溯到原話。

方法 2:直接轉錄成英文

如果目標語言是英文,而且主要是想看懂或總結錄音內容,用直接翻譯的工具能省一步。

用 Translate audio to English 頁面

whispertranscribe.ai 的音訊翻譯成英文頁面會把其他語言的語音變成英文文字。頁面是這麼描述的;它沒有列出目標語言清單,因為輸出就是英文。

  1. 選擇使用的語言。 頁面第 1 步問的是錄音的語言,不是目標語言。頁面說選對語言能得到更準確的英文,如果結果不滿意,建議換個選項再試。
  2. 上傳檔案。 第 2 步支援常見音訊與影片格式,包括 MP3、WAV、M4A、MP4、MOV 和 MKV。
  3. 開啟說話者辨識(不止一個人說話時)。頁面寫明翻譯支援說話者辨識。
  4. 點 Translate audio to English,然後檢查英文文字並匯出。

把輸出當作工作初稿;我們不承諾翻譯品質。如果還需要原語言逐字稿,就再正常轉錄一遍。

在自己電腦上用開放原始碼 Whisper

OpenAI 的 Whisper 程式碼倉庫記錄了一個輸出英文的 translate 任務:

whisper japanese.wav --model medium --language Japanese --task translate

(譯註:命令保留原樣;意思是用 medium 模型,把日語音訊 japanese.wav 翻譯成英文。)

README 裡有兩點提醒:預設的 turbo 模型沒有針對翻譯訓練,即使加了 --task translate 也會返回原語言,所以要用 medium 或 large;另外輸出只有英文。德語音訊要變成法語文字,仍然需要再做一步文字翻譯。

效果怎麼樣?Whisper 論文提到,訓練資料裡有 125,000 小時 X→英語的翻譯資料。在沒有用 CoVoST2(它的測試基準)訓練的情況下,Whisper 得到 29.1 BLEU,作者稱之為新的最佳成績。BLEU 衡量的是機器輸出和參考譯文的重合程度,不是句子正確率的百分比。同一篇論文也指出,在高資源語言上 Whisper 仍不如之前專門訓練的系統;而且訓練資料量對翻譯品質的預測力,遠低於對轉錄品質的預測力。

方法 3:製作多語言字幕(SRT 和 VTT)

影片的話,先做一份原語言字幕檔案,然後只翻譯每條字幕的文字。各語言的時間軸完全一致。

第 1 步:生成原語言字幕檔案

用字幕產生器或 MP4 轉 SRT 工具,按使用的語言匯出 SRT 或 VTT。先在這份檔案裡改好文字和時間軸;它是所有語言的範本。

第 2 步:只譯字幕文字,不動結構

一條 SRT 字幕包含序號、時間碼行和文字,只有文字應該改。下面是一個虛構的例子:

12
00:01:04,200 --> 00:01:07,900
La reunión empieza el 3 de mayo a las 15:00.
12
00:01:04,200 --> 00:01:07,900
The meeting starts on May 3 at 3 p.m.

(譯註:兩段範例保留原文;第一段是西班牙語原字幕,第二段是英文譯文,意思都是「會議 5 月 3 日下午 3 點選始」。)

序號和時間碼完全不變,日期和時間按目標讀者的習慣調整。如果你的翻譯工具只收文件,就把文字複製到表格裡,再逐條貼回去。DeepL 的付費 Pro 方案可以直接處理 SRT 和 VTT,見上文。

第 3 步:檢查閱讀長度

譯文可能比原文長,一條原本 3.7 秒內能舒服讀完的字幕,譯完後可能放不下了。可以拆分長字幕或精簡措辭,但除非重新對著音訊核過,否則不要挪動時間碼。

第 4 步:每種語言單獨上傳為一條字幕軌

檔案名帶上語言代碼,比如 talk.en.srt 和 talk.es.srt,在平台上分別上傳為獨立的字幕軌。軟字幕軌可以讓觀眾自己切換語言。

方法 4:加一道人工校閱

凡是要發布、要引用、或用來做決定的內容,都請一位雙語校閱者對照原文檢查譯文。機器輸出常常錯了也讀得很順。

用一張簡單的校閱表能讓這一步快很多。下面是格式的虛構範例:

字幕 原文句子 譯文 標記 校閱備注
#37 Vamos a cerrar el trato el lunes We'll close the deal on Monday OK —
#81 Eso no es moco de pavo That's not turkey snot 習語 改用 "That's no small thing"
#126 Facturamos 1,5 millones We invoiced 1.5 million 數字 向說話者確認幣種

(譯註:表中原文和譯文保留範例原樣;#81 是西班牙語習語被直譯的反例,意思是「這可不是小事」。)

讓校閱者重點看人名、數字、引語、法律或醫學術語,以及所有標為不清楚的地方。whispertranscribe.ai 不提供人工轉錄或人工翻譯,所以這一步要你自己做,或者交給專業人員。

哪些因素影響語音轉文字翻譯的品質?

品質要過兩道關:一次是語音變成文字,一次是文字換語言。有些因素兩道關都會受影響。

因素 對轉錄的影響 對翻譯的影響 怎麼辦
音訊品質(噪音、回聲、距離) 漏聽或聽錯詞 錯誤被帶進每種語言 離麥克風近一點錄;用最乾淨的原始檔案
口音和方言 地方口音錯誤更多 地方詞彙可能被直譯 有地區語言選項就選上
專業術語 術語按發音拼寫 對應詞錯誤或前後不一致 準備術語表,在原文裡改好術語
語言對 取決於使用的語言 常見語言對通常好於少見的 少見語言多留些校閱時間
專有名詞 名字被辨識成普通詞 名字被「翻譯」或改掉 開始前列出名字;搜尋並修正
語言混用 句子中途猜錯語言 混雜文字讓翻譯工具困惑 用混合語言模式;標註每種語言
多人同時說話 句子被合併或丟掉 丟失說話者的意思 分開用麥克風;在打斷處檢查說話者標籤

Google 的語音資料最佳實踐指出,MP3 和 M4A 這類有損編碼「may reduce accuracy」(可能降低準確率),而且在用了有損編碼時,噪音和回聲的影響更大。OpenAI 的 README 也說,Whisper 在不同語言上的表現差別很大。這兩點都說明:跑長批量之前,先拿一小段樣本試一下。

譯後檢查清單

每次翻譯完、在團隊以外的人看到之前,過一遍這份清單:

  • 數字。 每個數字都和音訊一致。注意小數逗號:很多歐洲語言裡的 "1,5" 就是英文的 1.5。
  • 貨幣和單位。 貨幣保持說話者用的,除非你注明瞭換算;公里不能悄悄改成英里。
  • 人名和頭銜。 人名、公司名和地名按對方自己的寫法拼,不要翻譯。
  • 日期和時間。 各國日月順序不同,03/04 可能是 4 月 3 日,也可能是 3 月 4 日。重要的時候把月份寫成單詞。
  • 引語。 直接引語要對照音訊核對,不只是對照逐字稿。
  • 習語和幽默。 被直譯的習語換成自然的對應說法,或者標出來。
  • 文化背景。 無法直接傳達的說法加一句簡短說明,而不是悄悄改寫。
  • 語體。 正式和非正式稱呼(tú/usted、du/Sie)要符合說話者之間的關係。
  • 說話者標籤。 每一句仍然歸在正確的人名下。
  • 聽不清的段落。 不確定的地方在兩種語言裡都標成 [unclear],不要猜。

什麼時候需要專業譯者?

如果出錯可能造成金錢、健康、法律地位或信任上的損失,就請合格的人工譯者。本文不構成法律建議,各國、各法院、各機構的要求不同,請向接收檔案的機構確認。

情境 為什麼機器輸出不夠
移民申請材料 美國規定(8 CFR 103.2(b)(3))要求提交給 USCIS 的外語檔案附完整英文譯文,並由譯者證明譯文完整準確、且本人有能力翻譯
法庭證據和證詞 法院通常自己規定誰可以翻譯或認證
合約和協議 一個詞譯錯就可能改變一項義務
醫療問診和病歷 劑量、症狀和知情同意必須準確
公開發表的引語和新聞材料 錯誤引用會損害信任,還可能帶來法律責任

對內部筆記、研究草稿、看懂一段影片這類風險較低的事,機器翻譯加上自己審一遍通常就夠了。

需要哪種匯出格式?

按下一步要做什麼來選格式。whispertranscribe.ai 的逐字稿可匯出為 DOCX、PDF、TXT、CSV、SRT 和 VTT。

格式 用途
DOCX 在 Word、DeepL 或 Google Translate 裡翻譯;加批注編輯
TXT 貼上到翻譯工具或其他應用
PDF 定稿譯文的固定版本
CSV 並排校閱表和研究編碼
SRT 用於 YouTube、影片剪輯軟體和播放器的字幕軌
VTT 用於 HTML5 網頁影片播放器的字幕

常見問題

語音轉文字和語音轉文字翻譯有什麼區別?

語音轉文字保持原語言:西班牙語音訊變成西班牙語文字。語音轉文字翻譯最後是另一種語言:西班牙語音訊變成英文文字。它可以分兩步做,先轉錄再翻譯逐字稿;也可以一步做,用一個直接寫出目標語言的模型。兩步走更容易核對,因為可以在翻譯之前改好原文,之後還能復用它去翻其他語言。

Whisper 能把音訊翻譯成英文以外的語言嗎?

不能。Whisper 內建的 translate 任務只輸出英文。你可以給它很多種語言的語音,但它寫出來的是英文。其他目標語言的話,先按原語言轉錄音訊,再用文字翻譯工具翻譯逐字稿。OpenAI 的 README 還提到,預設的 turbo 模型沒有針對翻譯訓練,即使你要求翻譯,也會返回原語言。翻譯請用 medium 或 large 模型。

先轉錄再翻譯更好嗎?

如果結果要發布、要引用,或者要翻成不止一種語言,通常是的。先轉錄能得到可以修改的原文,聽錯的名字或數字改一次就好,不用在每份譯文裡各改一遍。直接轉成英文更快,只是想看懂錄音時很好用。要做多語言字幕的話,一份改好的原語言 SRT 或 VTT 檔案是最實用的起點。

語音轉文字翻譯有多準?

這取決於音訊、語言對和內容主題,沒有一個準確率數字能適用於所有情況。清晰音訊的轉錄可以非常準確。whispertranscribe.ai 在清晰音訊上最高可達 99%,噪音和口音會拉低這個數字。翻譯還會帶來自己的錯誤,尤其是習語、人名和專業術語。常見語言對一般比少見的表現好。數字、人名和引語要自己核對,重要內容請雙語人員校閱。

翻譯字幕時能保留時間戳記嗎?

能。只翻譯每條字幕的文字,序號和時間碼保持不變。可以手動做,可以把字幕文字粘進翻譯工具再貼回來,也可以用支援字幕檔案的工具。DeepL 在 Pro Individual、Pro Team、Pro Business 和 API 方案裡列出了 SRT 和 VTT。Google Translate 的文件翻譯沒有列出字幕格式。翻譯完要檢查,長句在每條字幕的顯示時間內是否還讀得完。

法律或醫療錄音能用機器翻譯嗎?

可以用來先看個大概,但不能當最終版本。法律、醫療、合約和移民材料往往需要合格的人工譯者,有些機構還要求認證翻譯。比如美國移民規定要求譯者證明英文譯文完整準確。各國、各機構要求不同,請向接收檔案的一方確認。以上是一般資訊,不構成法律建議。


準備好了嗎? 上傳錄音把音訊翻譯成英文;要做字幕或翻成其他目標語言,就先按原語言轉錄。你可以免費試用,無需註冊帳號。付費方案 from $9.99/month billed annually(按年付費費,每月 9.99 美元起);詳見價格頁。whispertranscribe.ai 不提供 API、人工轉錄或會議機器人。

參考資料

想把錄音轉成文字嗎?

使用 whispertranscribe.ai 轉錄音訊和影片。

開始轉錄 ↗