Whisper AIの文字起こし精度は? WER、認識の限界と改善策【2026年】

著者:whispertranscribe.ai 編集部 · 最終更新:2026年11月 · 読了目安:13分 · カテゴリ:文字起こしの精度

Whisperの精度はどのくらいでしょうか。OpenAIの論文によると、Whisper large-v2は明瞭に読み上げた英語で単語誤り率(WER)が2.5%でした。単純に換算すると、100語のうち約97~98語が正しい計算です。認識が難しい音声ほど誤り率は上がり、電話の会話で13.6%、雑音の多い食事会で24.9%、離れた位置にあるマイク1本で録音した会議で39.9%でした。

WhisperはOpenAIのオープンソース音声認識モデルです。当社のサービスを含む、多くの文字起こしツールに使われています。この記事では、WERが測るもの、音声の種類と言語別のベンチマーク、失敗しやすい場面、手元の音声で精度を測る手順を取り上げます。モデルについて詳しく知りたい方はWhisper AIとは何かをご覧ください。

数値の大半はWhisperの論文(Radfordら、2022年)によるものです。論文では、テストセットで追加学習を行わないゼロショットの条件で、全モデルを評価しています。新しいlarge-v3のモデルカードでは、多くの言語でlarge-v2より誤りが10~20%減ったと報告しています。データセットごとの全結果は掲載されていません。記事の公開元はwhispertranscribe.aiです。本記事のためのベンチマークは行っておらず、ここに掲載した数値は当編集部の測定結果ではありません。

Whisperの精度を音声別に比較

音声の種類によって数値が大きく変わるため、1つのテストセットで精度を語ることはできません。表は、OpenAIがlarge-v2をビームサーチと温度フォールバックで動かし、同社のテキスト正規化を適用して採点した結果です(論文付録の表9)。

音声の種類 論文のテストセット Whisper large-v2のWER 100語あたりの正答数の目安
オーディオブック、明瞭な朗読 LibriSpeech test-clean 2.5% 約97.5語
ニュース原稿の読み上げ WSJ 2.6% 約97.4語
TEDトーク TED-LIUM 3 3.7% 約96語
オーディオブック、認識が難しい読み手 LibriSpeech test-other 4.9% 約95語
ボランティアが自宅のマイクで録音した音声 Common Voice 5.1 8.2% 約92語
電話での会話 Switchboard 13.6% 約86語
長尺の社会言語学インタビュー CORAAL 14.2% 約86語
家族や友人との電話 CallHome 16.4% 約84語
各参加者がヘッドセットマイクを使った会議 AMI IHM 17.4% 約83語
離れた位置のマイクで録った食事会 CHiME-6 24.9% 約75語
離れた位置の卓上マイク1本で録った会議 AMI SDM1 39.9% 約60語

正答数の目安は100からWERを引いた値です。WERには、実際にはなかった語が追加された誤りも含まれるため、単純換算です。

2.7%という数値が引用されることもあります。これは同じモデルを、より単純な貪欲法でデコードした結果です(論文の表2)。AMIの2行は同じ会議を異なる方法で録音しています。各話者の頭の近くにマイクがある場合から、テーブル中央に1本だけ置く方式へ変えると、誤り率は2倍以上になります。

単語誤り率(WER)とは? 計算方法

単語誤り率は、文字起こしを人が確認した正解テキストと照合して求めます。以下の3種類の誤りを合計し、正解テキストの単語数で割ります。

WER=(置換+削除+挿入)÷ 正解テキストの単語数

  • 置換。 正しい語が別の語に置き換わること。たとえば「launch」が「lunch」になる場合です。
  • 削除。 発話にある単語が文字起こしから抜けることです。
  • 挿入。 誰も発言していない語が文字起こしに加わることです。

次の例は編集部が作成し、オープンソースのjiwerライブラリで採点しました。

行 テキスト
正解テキスト(22語) we moved the product launch to march ninth because the vendor missed two deadlines and doctor patel wants a new test plan
文字起こし we moved the product lunch to march ninth because vendor missed two deadlines and doctor battle wants a new test plan today
誤り 置換2件(lunch、battle)、削除1件(the)、挿入1件(today)
WER 4 ÷ 22 = 18.2%

WERには、見落としやすい点が3つあります。

  1. 100%を超えることがあります。 挿入の件数に上限はありません。論文のFleursの結果では、学習データの少ない言語の一部で100%を超えました。
  2. 正規化によって数値が変わります。 両方のテキストを同じルールで整えなければ、「Dr.」と「doctor」の違いも誤りに数えられます。OpenAIによると、表記の違いを主に除去することで、一部のデータセットではWERが最大50%低下しました。
  3. 言語によっては文字誤り率(CER)を使います。 中国語、日本語、タイ語、ラオ語、ビルマ語は空白で単語を区切らないため、論文では文字単位で採点しています。

精度の数値を見るときは、どのテストセットをどの採点方法で評価したかを確認してください。公開元が当社の場合も同じです。

英語でのWhisperの精度

明瞭な英語では精度が高く、録音条件のよくない英語でも実用的な結果が得られます。論文によると、LibriSpeechでほぼ同じ成績だった教師あり学習モデルwav2vec 2.0に比べ、その他の英語データセット12件全体で、Whisperの誤りは55.2%少なくなりました。

長時間の録音

Whisperは30秒ごとの区間で音声を処理します。論文では長時間のファイルを別に評価しています(付録の表16、large-v2)。

長時間音声のテストセット 収録内容 WER
TED-LIUM 3 TEDトーク11本の全編 3.5%
Meanwhile 珍しい語を多く含む深夜テレビ番組の64区間 5.1%
Kincaid46 2018年の比較で使われた多様な録音46本 8.8%
Earnings-21 企業の決算説明会 9.7%
Rev16 ポッドキャスト16本 11.3%
Earnings-22 さらに多くの決算説明会、幅広いアクセント 12.6%
CORAAL アフリカ系アメリカ人英語のインタビュー231本の全編 19.6%

Whisperと人による文字起こしの比較

OpenAIは、Kincaid46のうち25本を、人が作業する4つのサービスと、コンピューターを併用する1つのサービスに依頼しました。コンピューターを併用したサービスのWERはWhisperより1.15パーセントポイント低く、人だけで作業した4サービスが上回ったのはわずかでした。論文では、完全ではないものの、人に近い精度と評価しています。

モデルの大きさによる違い

Whisperには複数のサイズがあります。ツールによってはどれを使っているか表示しない場合があります(論文付録の表9)。

モデル パラメーター数 LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

音声の認識が難しいほど差は広がります。明瞭なオーディオブックでは約4ポイントですが、食事会では約23ポイントです。新しい turbo はlarge-v3を最適化したモデルです。OpenAIのGitHub READMEによると、精度の低下を最小限に抑えつつ、文字起こしを大幅に高速化しています。

英語以外でのWhisperの精度

英語以外の精度は、その言語の学習用音声がどれだけあったかに大きく左右されます。論文では、学習時間数とWERをそれぞれ対数にした場合の相関係数の二乗が0.83で、学習データが16倍になるごとにWERが半分になると推定しています。英語以外の96言語の大半は、学習音声が1,000時間未満でした。

読み上げ文で評価したFleursの一部を抜粋します(large-v2、論文付録の表13)。

言語 FleursのWER 備考
スペイン語 3.0% 表内で最低
英語 4.2%
ポルトガル語 4.3%
ドイツ語 4.5%
日本語 5.3% 文字誤り率
ロシア語 5.6%
フランス語 8.3%
韓国語 14.3% 外れ値として指摘
中国語 14.7% 文字誤り率
アラビア語 16.0%
ヒンディー語 21.5%
ヘブライ語 27.1% 外れ値として指摘
スワヒリ語 39.3%
テルグ語 99.0% 外れ値として指摘

論文では、ヘブライ語、テルグ語、中国語、韓国語について、学習データ量から予測した値より成績が低かったと指摘しています。理由として、言語間の距離、その文字体系に適しにくいトークナイザー、データ品質を挙げています。Fleursは読み上げ音声なので、会話ではこれより誤り率が上がると考えられます。READMEには、Common Voice 15とFleursでlarge-v3とlarge-v2を比較した新しい図もあります。

スペイン語の音声を文字起こしする場合、スペイン語の数値は参考になります。学習データの少ない言語なら、プロジェクト全体を処理する前に短い音声で試します。

Whisperの精度に影響する要因

精度への影響が最も大きいのは録音条件です。論文とモデルカードの結果をまとめました。

要因 報告されている結果 対処法
背景雑音 パブの雑音を重ねて信号対雑音比を10 dB未満にした条件で、Whisperは比較対象14モデルを上回った。雑音が大きくなるほど、全モデルの精度は低下 静かな部屋を選び、扇風機や音楽から離れて録る
マイクとの距離 AMIの同じ会議で、ヘッドセットマイクでは17.4%、卓上マイク1本では39.9% 話している人の近くにマイクを置く
会話と発話の重なり 電話と食事会は13.6~24.9%、読み上げ音声は2.5% 一人ずつ話し、話者ごとにマイクを用意する
アクセントや方言 モデルカードでは、アクセントや方言によって精度に差があると報告。CORAALの長いインタビューでは19.6% 実際に録音する人と話し方が近い音声で試す
珍しい単語や専門用語 珍しい語が多いMeanwhileでは5.1%。一方、人名や専門用語の誤りは依然として多い 人名と用語を一覧と照合する
言語ごとの学習データ FleursのWERはスペイン語の3.0%からテルグ語の99.0%まで幅がある 言語を自分で選ぶ。学習データの少ない言語は校正時間を多めに取る
モデルサイズ CHiME-6ではtinyが48.0%、large-v2が24.9% 使用モデルを確認するか、動かせる中で最も大きいモデルを使う
ファイル形式とサンプリングレート Whisperのコードはすべての音声を16 kHzのモノラルに再サンプリングする 明瞭な16 kHzのファイルがあるなら、48 kHzのWAVにしても改善は見込めない

MP3を容量の大きいWAVにしても、失われた情報は戻りません。適度なビットレートで明瞭に録った音声の方が、高ビットレートでも雑音が多い音声よりよい結果につながります。

Whisperで知られている問題:幻覚、繰り返し、タイムスタンプ

以下はOpenAIが記載している失敗例です。WER全体で占める割合が小さくても、実際の文字起こしでは大きな問題になることがあります。

実際にはない発言が出力される

Whisperは、誰も話していない言葉を書くことがあります。モデルカードでは、入力された音声に含まれないテキストを出力する可能性を説明しています。次に続きそうな単語を予測するモデルの仕組みが原因と考えられます。論文の制約の節には、音声と無関係の出力を生成する「完全な幻覚」にも言及があります。

独立した調査Careless Whisper(Koeneckeら、2024年)は、2023年4月と5月に13,140の音声区間をOpenAIのWhisper APIで処理しました。文字起こしの約1%(平均で1.4%)に、実際にはない句や文がまるごと含まれ、その38%には暴力的な表現や誤った関連づけなど、有害な内容が含まれていました。間が長い話者、この調査では失語症のある人の音声で、発生が多くなりました。APIはその後変更されているため、これは2023年時点の測定結果です。

同じ語句の繰り返しや単語の抜け

モデルカードには、同じテキストを繰り返し出力しやすいと記載されています。ビームサーチや温度の調整で減らせますが、完全には解消されません。論文では、区間の最初や最後の単語が抜けることにも言及しています。デコードの改善によって、長時間音声の平均WERは11.0%から10.0%になりました。

無音、音楽、つなぎ言葉

長い無音や音楽が流れる箇所では、実際にはないテキストが出やすくなります。論文によると、Whisperの無発話判定だけでは信頼性が足りません。現在公開されているコードには、幻覚が疑われるときに長い無音区間を飛ばすオプションがあります。

長時間音声でタイムスタンプがずれる

Whisperは30秒ずつ処理し、自ら予測したタイムスタンプを使って次の区間の位置を決めます。論文によると、ある区間の誤りが次の区間にも影響する場合があります。コード上、単語単位のタイムスタンプは実験的な機能とされています。字幕に使う場合は、発話が途切れる箇所の前後でタイミングを確認します。

OpenAIは開発中に、モデルが話者名を推測した事例も確認しています。推測した名前はほぼすべて誤っていました。公開モデルはこの傾向を抑えるよう追加学習されていますが、出力に含まれる人名は確認してください。

Whisperの文字起こし精度を上げる10の方法

精度を上げる工夫の多くは、文字起こしを始める前にできます。効果が大きい順のおおよその目安です。

  1. マイクを近づける。 AMIの会議では、マイクが離れるだけで誤り率が2倍以上になりました。
  2. 音が発生する場所で対策する。 窓を閉め、扇風機を止め、音楽を一時停止します。
  3. 発話の重なりを避ける。 一度に一人ずつ話すほうが、どの設定を変えるより効果的です。
  4. 長い無音や冒頭の音楽をカットする。 実際にないテキストが出やすい箇所です。文の途中を避け、発話が途切れる位置でカットします。
  5. 言語を手動で指定する。 Fleursの82言語でWhisperが正しく言語を識別できた割合は80.3%でした。短い音声や強いなまりがある音声では、自動検出が外れる場合があります。
  6. 使える中で最大のモデルを選ぶ。 雑音の多い録音では特に効果があります。
  7. 自分でホスティングする場合は、人名や用語をプロンプトに入れる。 オープンソース版のWhisperでは、--initial_promptに想定される表記を指定できます。
  8. 元のファイルをアップロードする。 スピーカーで流して再録音したり、何度も圧縮し直したりすると、音の細部が失われます。
  9. 用語を照合する。 すべての固有名詞、数字、日付、略語を検索し、音声と照らし合わせます。
  10. 2回に分けて確認する。 まず通常の再生速度で聞いて誤りを修正します。次に、同じ行の繰り返し、無音区間に現れる文、「ご視聴ありがとうございました」といった締めのあいさつなど、幻覚の兆候を探します。法律・医療に関わる用途や公開する文章では、全体を人の手で確認してください。

自分の音声でWhisperの精度を測る方法

自分の用途での精度を知るには、実際の録音を使って30分ほどテストするのが最適です。以下は読者が自分で試すための手順で、whispertranscribe.aiが行ったテストの結果ではありません。

  1. 実際の作業に近い2分間の音声を3本選ぶ。 聞き取りやすいもの、標準的なもの、難しいものを1本ずつ選びます。
  2. 正解となる文字起こしを一語ずつ手で書く。 「えー」のようなつなぎ言葉を残すか、数を数字で書くか文字で書くかなどは先に決めておきます。
  3. 各音声を試したいツールで文字起こしし、プレーンテキストで保存します。
  4. 両方のテキストを同じ方法で正規化する。 OpenAIの正規化ツールはopenai-whisperに含まれています。
  5. jiwerでWERを計算する。
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. 重大な誤りは別に数える。 つなぎ言葉5つの誤りと顧客名5つの誤りは、WERには同じように反映されますが、実務上の影響は異なります。
  2. 結果を記録し、ツールや設定を比較できるようにします。
音声 条件 正解文の単語数 S D I WER 重大な誤り
音声A 静かな部屋、話者1人 310
音声B ビデオ通話、話者2人 285
音声C カフェ、なまりのある話者 296

単語数は記入例です。手順4で、編集部が自作の例文をOpenAIの英語用正規化ツールにかけたところ、「Dr.」と「doctor」、「two」と「2」は同じ語として扱われました。一方、「9th」と「ninth」は誤りと判定されました。スコアを採用する前に、差分と判定された箇所を確認しましょう。

whispertranscribe.aiの精度は?

whispertranscribe.aiは、Whisperを採用したウェブベースのAI文字起こしツールです。130以上の言語に対応し、最大5GB、10時間までのファイルをアップロードできます。明瞭な音声で精度は最大99%です。Whisper自体について上のベンチマークが示すように、背景雑音、強いなまり、発話の重なりがあると精度は下がります。当サービスは論文と同等以上の結果をうたっておらず、独自のベンチマークも公開していません。上の手順でご自身の音声をお試しください。

  • 雑音や低品質の音声・動画に対応するオプションを、多くの言語で言語選択メニューから使えます。雑音の多いファイルでは、標準設定と雑音対応の設定を試し、結果を比較してください。
  • 130以上の言語、複数言語が混在する音声に対応するオプション、音声を英語に翻訳する機能を用意しています。
  • 最大5GB、10時間のファイルに対応し、話者検出やタイムスタンプも使えます。機能一覧
  • 明瞭な音声を用意する方法: マイクを近づけてブラウザーで録音するか、動画をMP3に変換して音声だけをアップロードできます。
  • DOCX、PDF、TXT、CSV、SRT、VTTに書き出しできます。時間情報付きの字幕を作る字幕生成ツールもあります。

アカウント登録なしで無料で始められます。有料プランは年払いで月額換算9.99米ドルからです。料金を見る

よくある質問

Whisperの精度は99%ですか?

精度は録音条件によって変わります。Whisperの公開結果で最も良いのは、明瞭に朗読されたオーディオブックから成るLibriSpeech test-cleanでのWER 2.5%で、単語の約97.5%が正しく認識された計算になります。電話、会議、騒がしい部屋については、OpenAI自身が報告するWERは約13%から40%です。「99%」という数値の意味を判断するには、測定に使った音声を知る必要があります。whispertranscribe.aiを含むWhisperベースのツールは、ご自身の録音で評価してください。

最も精度が高いWhisperモデルはどれですか?

最も精度が高いのはlarge系のモデルです。OpenAIの論文では、大半のテストセットでlarge-v2の誤り率が最低でした。large-v3のモデルカードによると、多くの言語でlarge-v2より誤りが10%から20%減っています。turboはlarge-v3を最適化したモデルで、OpenAIによると、精度をわずかに下げることで大幅に処理を高速化しています。最小のtinyは聞き取りの難しい音声で精度が大きく低下します。騒がしい夕食会でのWERはtinyが48.0%、large-v2が24.9%でした。

Whisperが実際には話されていない言葉を書くのはなぜですか?

Whisperは音声を文字に起こすだけでなく、続きそうなテキストを予測するよう学習しているため、幻覚が起きることがあります。OpenAIのモデルカードでは、音声に含まれないテキストを出力する可能性が示されています。特に長い無音、音楽、雑音のある区間で起こりやすくなります。2023年の独立研究では、文字起こしの約1%に幻覚による語句が見つかり、発話の間が空くと発生しやすくなりました。無音区間をカットし、言語を指定し、音声が静かな箇所の出力を確認すると、リスクを抑えられます。

なまりがあるときのWhisperの精度は?

Whisperは従来の多くのシステムよりなまりに対応できますが、精度にはばらつきがあります。OpenAIのモデルカードによると、同じ言語でも、なまりや方言によって精度が変わります。論文では、アフリカ系アメリカ人英語の長時間のインタビュー(CORAAL)でWER 19.6%、TEDトークの全編で3.5%でした。ただし、録音条件にも違いがあります。実際の録音と発音が近い話者の音声で試し、なまりが強い場合には確認時間を多めに確保してください。

Whisperの精度は人による文字起こしと同じですか?

英語では、Whisperは人による文字起こしの精度に近づいていますが、最も優れたサービスには届きません。OpenAIは25本の録音で5つの専門サービスと比較しました。コンピューターの補助を使うサービスは総合WERがWhisperより1.15ポイント低く、すべてを人が処理する4つのサービスもわずかに上回りました。人のほうが固有名詞や発話の重なり、不明瞭な発話への対応に優れる傾向があります。引用、提出、公開に使う文字起こしは、人が録音と照らし合わせて確認してください。

英語以外の言語でのWhisperの精度は?

言語によって大きく変わります。Fleursのベンチマークにおけるlarge-v2のWERは、スペイン語3.0%、ドイツ語4.5%、フランス語8.3%に対し、ヘブライ語27.1%、テルグ語99.0%でした。中国語と日本語には文字誤り率が使われ、それぞれ14.7%と5.3%でした。論文では、各言語の精度は学習に使われた音声量と関連していました。学習データが少ない言語では、まず短い音声で試し、修正に時間を多めに取ってください。

自分の録音で精度を確かめる

ベンチマークの数値は、他の人の音声で測った結果です。130以上の言語に対応するwhispertranscribe.aiに短い音声をアップロードし、このガイドの手順で精度を測ってみてください。アカウント登録なしで無料で始めるか、プランを比較することができます。

関連記事: Whisper AIとは? · おすすめの無料文字起こしソフト · TurboScribeのおすすめ代替ツール · YouTube動画を文字起こしする方法 · SRTファイルとは? · 焼き付け字幕と切り替え可能な字幕の違い

参考資料

録音を文字に起こしませんか?

whispertranscribe.ai で音声と動画を文字起こしできます。

文字起こしを始める ↗