Whisper AIとは? OpenAIの音声認識モデルの仕組み

執筆:whispertranscribe.ai 編集部 · 最終更新:2026年11月 · 読了目安:13分

「Whisper AI」とは、多くの場合、OpenAIが2022年9月に公開したオープンソースの音声認識モデル、OpenAI Whisperを指します。録音した発話を文字にし、言語を判定し、英語以外の発話を英語に翻訳できます。OpenAIはWeb上の音声680,000時間分でモデルを学習させ、コードとモデルの重みをMITライセンスで公開しました。

編集部はwhispertranscribe.aiを運営しています。whispertranscribe.aiは音声・動画を130以上の言語で文字にするWebベースのAI文字起こしツールです。この記事では、モデル自体と、その周辺の製品を区別します。モデルに関する数値は、すべてOpenAIの論文、リポジトリ、またはモデルカードが出典です。

Whisper AIとは? 要点

Whisperは音声をテキストに変換するモデルです。OpenAIのGitHubリポジトリから入手して自分のパソコンで動かす方法と、モデルを運用しているサービスを利用する方法があります。

  • 開発元: OpenAI。論文 Robust Speech Recognition via Large-Scale Weak Supervision は、2022年12月6日にarXivで公開されました。
  • できること: 発話の文字起こし、言語の判定、発話の英訳、区間ごとのタイムスタンプ付け。
  • 標準ではできないこと: 話者ラベルの付与とリアルタイム文字起こし。OpenAIのモデルカードにも、そのままではリアルタイム文字起こしに使えないと記載されています。
  • サイズ: パラメーター数39百万のtinyから1,550百万のlargeまで、6種類。
  • 費用: ダウンロードと実行は無料です。動かすための機器は自分で用意します。

「Whisper AI」が指す3つのもの

この名前は広い意味で使われるため、次の3つを混同しやすくなります。

「Whisper AI」と呼ばれるもの 内容 提供元 使い方
OpenAI Whisper オープンソースの音声認識モデル OpenAI コードと重みをダウンロードし、自分で動かす
whisper-1 OpenAIがAPIで提供する文字起こしモデル OpenAI OpenAIのAPIに音声ファイルを送り、利用量に応じて支払う
名前に「Whisper」が付くアプリ whisperai.comやwhispertranscribe.ai(当サイト)などの文字起こし製品 それぞれ別の会社 各アプリで音声を録音するか、ファイルをアップロードする

3行目の製品はモデルそのものではなく、同じ製品でもありません。それぞれの会社が機能、利用上限、料金、プライバシー条件を定めています。この記事で「Whisper」と書くときは、OpenAIのモデルを指します。

Whisperはどのように動く?

Whisperは、エンコーダーとデコーダーを組み合わせたTransformerです。エンコーダーが30秒の音声を数値表現に変換し、デコーダーが対応するテキストを1トークンずつ生成します。どの処理を行うかは、特別なトークンで指定します。

Whisperの論文では、次の手順を説明しています。

  1. リサンプリング。 音声を16,000 Hzに変換します。
  2. 30秒ずつに分割。 モデルは常に30秒ずつ処理します。短い音声は不足分をパディングします。
  3. スペクトログラムの作成。 25ミリ秒のフレームを10ミリ秒間隔で取り、周波数ごとの音のエネルギーの変化を表す80チャネルの対数メルスペクトログラムに変換します。large-v3では128チャネルに増えました。
  4. エンコード。 2つの畳み込み層と、複数のTransformerブロックでスペクトログラムを処理します。
  5. デコード。 デコーダーは最初に言語、または「発話なし」のトークンを予測します。次に文字起こしか翻訳か、タイムスタンプを含めるかを決め、最後にテキストを生成します。

タイムスタンプもトークンとして予測し、20ミリ秒単位に丸めます。この仕組みにより、言語判定、文字起こし、翻訳、タイミングの推定を1つのモデルで行えます。

Whisperは何を学習した?

初期モデルは、対応する文字起こし付きのインターネット音声680,000時間分から学習しました。ベンチマーク用データのように人が文字起こしを照合したわけではないため、OpenAIはこれを「弱教師あり学習」と呼んでいます。

学習音声に占める割合 時間 内容
約65% 438,000 英語音声と英語の文字起こし
約18% 126,000 英語以外の音声と英語の文字起こし(翻訳データ)
約17% 117,000 英語以外の音声と、音声と同じ言語の文字起こし

出典はOpenAIのWhisperモデルカードです。論文では翻訳データを約125,000時間としています。

Whisperの挙動を理解する手がかりが2つあります。OpenAIは、すべて大文字で書かれているなど、機械で作ったと見られる文字起こしを除いたため、モデルは句読点のある文章を学習しました。また、Web上の文字起こしには話者名がよく入っていたため、初期モデルは話者名を推測する傾向がありました。OpenAIは追加学習でこの傾向を抑えましたが、モデルが学習データの書き方を反映する一例です。

large-v3には別の学習方法が使われました。Hugging Faceのモデルカードによると、Web由来の弱いラベル付きデータ100万時間と、large-v2がラベルを付けた400万時間を合わせ、約500万時間で学習しました。

Whisperのモデルサイズ比較

Whisperには6つのサイズがあります。小さいモデルは性能が控えめな機器でも高速に動き、大きいモデルは誤りが少ない一方、より多くのビデオメモリ(VRAM)が必要です。以下はOpenAIのREADMEに記載された数値です。

サイズ パラメーター数(百万) 英語専用版 多言語版 必要なVRAM largeに対する速度
tiny 39 tiny.en tiny 約1 GB 約10倍
base 74 base.en base 約1 GB 約7倍
small 244 small.en small 約2 GB 約4倍
medium 769 medium.en medium 約5 GB 約2倍
large 1550 なし large 約10 GB 1倍
turbo 809 なし turbo 約6 GB 約8倍

OpenAIはデータセンター向けGPUのA100を使い、英語音声で速度を測定しました。実際の速度は大きく変わる場合があり、ノートパソコンではより遅くなります。

どのWhisperモデルを選ぶ?

利用できるメモリと、文字起こしの使い道を基準に選びます。

  • 標準的な機器で試す: tinyまたはbase。VRAMは約1 GBですが、誤りは増えます。
  • 英語だけを扱う: .en モデル。OpenAIによると、特にtinyとbaseでは英語専用版のほうが良い結果が得られます。
  • 品質と速度のバランスを取る: turbo。VRAMは約6 GBで、コマンドラインでの既定モデルです。
  • 発話を英語に翻訳する: mediumまたはlarge。turboは翻訳用に学習していないため、翻訳を指定しても原語で出力します。
  • 聞き取りにくい音声で精度を優先する: large。VRAMは約10 GB必要です。

Whisperのバージョンと公開時期

largeには3つのリリースがあり、turboはlarge-v3を軽量化したものです。モデルのチェックポイントによって結果が変わるため、バージョンも重要です。

バージョン 公開時期 主な変更
初期モデル(tiny〜large) 2022年9月 論文とともにオープンソースで初公開
large-v2 2022年12月 同じサイズのまま、正則化を追加して学習時間を2.5倍に
large-v3 2023年11月 メルチャネル128、広東語トークンを追加。多くの言語でv2より誤りが10〜20%減少
turbo(large-v3-turbo) 2024年9月 速度を上げるためデコーダー層を32から4に削減。翻訳には非対応

出典はWhisperモデルカード、論文のlarge-v2に関する脚注、Hugging Faceのlarge-v3とlarge-v3-turboのカードです。

Whisperは何言語に対応している?

Whisperは約99言語を認識します。論文の言語判定では99種類の言語トークンを使い、large-v3で広東語を追加した現在のトークナイザーには100個の言語コードがあります。ただし、すべて同じ精度ではありません。モデルカードでは、特に良い結果が得られるのは約10言語とされています。

精度は学習データの量に左右されます。論文によると、言語ごとの精度は学習した時間数からよく予測でき、ほとんどの言語では学習音声が1,000時間未満でした。一般に英語、スペイン語、ドイツ語は、データの少ない言語よりも誤りが少なくなります。使いたい言語は、READMEから言語別の誤り率グラフを参照できます。

製品の対応言語数とは区別してください。 whispertranscribe.aiは130以上の言語に対応します。料金ページでは「130以上の言語・アクセント」と記載しており、この数は製品の対応範囲を示します。オープンソースモデル自体の言語数ではありません。

Whisperの精度はどれくらい?

モデルのサイズ、言語、録音状態で変わるため、Whisper全体を表す単一の精度はありません。明瞭な英語の読み上げでは、large-v2の単語誤り率(WER)は2.7%でした。より難しいデータを多く含む英語の14テストセットでは、平均12.8%です。

WERは、人が作成した参照文字起こしと比べ、置換、脱落、挿入された語の数を基に算出する指標です。値が低いほど誤りが少なくなります。以下は論文の表2で、Whisper large-v2と、LibriSpeechのオーディオブックデータで学習したwav2vec 2.0を比較しています。

テストセット wav2vec 2.0のWER Whisper large-v2のWER
LibriSpeech clean(オーディオブックの読み上げ) 2.7% 2.7%
Common Voice(一般参加者が録音した発話) 29.9% 9.0%
CHiME-6(雑音のある食事会の録音) 65.8% 25.5%
論文の表に掲載された14テストセットの平均 29.3% 12.8%

比較で重要なのは、音声条件によって差が開くことです。オーディオブックでは同じ結果ですが、他の例ではWhisperがより安定し、平均で誤りを55.2%減らしました。OpenAIの発表では「誤りが50%少ない」と丸めています。論文の雑音テストでは、ほぼ無雑音ならLibriSpeechで学習したモデルが優れていましたが、パブのような背景音が大きくなり、信号対雑音比が10 dBを下回るとWhisperが上回りました。

これは研究のベンチマークで、手元の録音に同じ結果を保証するものではありません。製品の数値とも別です。たとえばwhispertranscribe.aiは明瞭な音声で最大99%の精度に達するとしており、背景音、発話の重なり、強いアクセントがあると精度は下がります。

Whisperの限界は?

Whisperの大きな弱点は、誰も言っていない内容を自然な文章として書くことがある点です。OpenAIのモデルカードはこれをハルシネーション(幻覚)と呼び、弱教師あり学習と関連付けています。ほかに、フレーズの繰り返し、言語やアクセントによる精度差、標準の話者ラベルがないことも挙げています。

  1. 音声にない内容の生成。 2024年の研究Careless Whisperでは、確認した文字起こしの約1%に、音声にないフレーズや文が丸ごと含まれていました。発話に長い間があると起きやすくなりました。
  2. 繰り返しループ。 1つのフレーズを繰り返し続けることがあります。モデルカードによると、ビームサーチやデコード温度の再設定である程度抑えられますが、完全には防げません。
  3. 冒頭や末尾の語の欠落。 区間の最初や最後の数語を飛ばすことは、論文が挙げる既知の失敗例です。
  4. 長い録音では区間に分ける必要がある。 Whisperが一度に見るのは30秒だけです。長いファイルを処理する際は予測した時刻で窓をずらすため、1区間の誤りが次にも影響することがあります。
  5. 話者ラベルがない。 誰がいつ話したかを推定する話者ダイアライゼーションは、モデルカードによると十分に評価されていません。利用には別のツールが必要です。
  6. 標準ではリアルタイムに対応しない。 録音ファイル向けの設計です。ライブ字幕には追加の実装が必要です。
  7. 言語やアクセントで精度が異なる。 一部のアクセント、方言、人口統計上の集団で誤り率が高いと、モデルカードは指摘しています。

OpenAIはまた、本人の同意なしに文字起こしすることや、リスクの高い意思決定への使用を避けるよう注意しています。

公式資料で数値が異なる場合

OpenAIの資料同士でも、丸め方やバージョンの違いなどで数値が異なります。引用する際は、どの資料の数字か確認してください。

項目 公式資料の一方 別の公式資料 引用するとき
LibriSpeech学習モデルに対する誤りの減少 論文:平均55.2%減少 発表:50%減少 論文を引用し、比較対象を明示する
学習データの英語以外の言語 論文:ほかに96言語 モデルカード:98言語 認識については「約99言語」
翻訳の学習時間 モデルカード:126,000 論文:125,000 概算だと示せばどちらでもよい
turboのパラメーター数(百万) READMEとHugging Face:809 モデルカードの表:798 多くの資料が使う809
学習データの規模 初期モデルの論文:680,000時間 large-v3のカード:500万時間 対象バージョンを示す
ライセンス GitHub:コードと重みはMIT Hugging Faceのlarge-v3メタデータ:Apache-2.0 入手したもののライセンスファイルを確認する

Whisperを使う3つの方法:ローカル実行、API、アプリ

自分でWhisperを動かせば無料で、音声をパソコンの外に出さずに済みます。OpenAIのAPIはセットアップの手間を省けますが、ファイルサイズに上限があります。文字起こしアプリなら編集、話者ラベル、書き出しも利用できます。外部サービスのため、利用条件は各社で異なります。

比較項目 オープンソース版を実行 OpenAIの文字起こしAPI 外部の文字起こしアプリ
セットアップ Python、PyTorch、FFmpeg コードとAPIキー ブラウザー
費用 無料。機器は自分で用意 従量課金 無料枠か定額制。アプリによる
ファイル制限 手元の機器の性能による 1ファイル25 MBまで アプリごとに設定
音声の送信先 パソコン内にとどまる OpenAIに送信 アプリのサーバーに送信
話者ラベル 標準機能にはない whisper-1では非対応 アプリによる
編集と書き出し コマンドラインからTXT、SRT、VTT、TSV、JSON 呼び出したコードに結果を返す。残りは自分で実装 通常は編集画面と文書・字幕の書き出し機能

自分のパソコンでWhisperを実行する

OpenAIのREADMEには、インストールと基本実行のコマンドが記載されています。

pip install -U openai-whisper
whisper interview.mp3 --model turbo

FFmpegも必要です。READMEではPython 3.8〜3.11で動作する想定です。--language で話されている言語を指定できます。英語に翻訳する場合は、多言語モデルを選んで --task translate を加えます。モデルの重みは初回実行時にダウンロードされます。

OpenAIのAPIを使う

OpenAIの音声テキスト変換ガイドでは、アップロードは1ファイル25 MBまでです。それ以上のファイルは圧縮するか分割します。2026年11月確認時点で、同ガイドでは whisper-1 を非推奨とし、2027年2月26日を提供終了日として、新しい文字起こしモデルへ案内しています。新しいモデルはOpenAIの音声モデルで、オープンソース版Whisperの新リリースではありません。

外部の文字起こしアプリを使う

インストールが不要な方法を選ぶなら、外部のアプリがサーバーでファイルを処理します。選択肢の一つがwhispertranscribe.aiです。無料の音声テキスト変換ツールから試せます。トップページではwhispertranscribe.aiについて、Whisperと次世代AIを使うと説明しています。製品ページに記載されている主な機能は次のとおりです。

ファイルは手元の機器だけで処理されず、クラウドサービスに送信されます。API、カスタム用語、会議ボットは提供していません。有料プランは年払いで月額9.99ドルからで、料金ページで確認できます。アカウント登録なしで無料で使い始めることもできます。詳しくはWhisper AI文字起こしツールや機能一覧を参照してください。

Whisperはオープンソース? ライセンスで何が許される?

はい。OpenAIのリポジトリでは、Whisperのコードとモデルの重みがMITライセンスで公開されています。MITは制約の少ないライセンスです。一般に、著作権表示とライセンス表示を残せば、コードを利用、複製、改変し、そのコードを使ったソフトウェアを販売できます。

2点に注意してください。他のサイトで配布されるファイルのライセンス情報は異なる場合があり、Hugging Faceのlarge-v3ページではApache-2.0と表示されています。使用するファイルに同梱されたライセンスを確認してください。また、ソフトウェアのライセンスは入力する録音の利用を許可するものではありません。音声には同意やプライバシーのルールが引き続き適用されます。これは一般情報であり、個別の法的助言ではありません。正式な出典はMITライセンスの本文です。

Whisperはどんな人に向いている?

Whisperは、開発者やコマンドラインの操作に慣れた人に向いています。端末内で無料かつ処理時間の上限なく文字起こしできます。編集や書き出しまで一括して行うなら、通常は外部のアプリが手軽です。

利用者 向いている選択肢 理由
製品を作る開発者 オープンソース版またはAPI 処理の流れを自分で管理できる
機密性の高いインタビューを扱う研究者 オープンソース版をローカル実行 音声をパソコンから送信せずに済む
今週中に字幕が必要な制作者 SRTまたはVTTを出力できる外部アプリ セットアップ不要で、時刻付きファイルをすぐアップロードできる
GPUのないノートパソコンを使う人 小さなモデルをローカルで使うか外部アプリを利用 大きなモデルには約10 GBのVRAMが必要

Whisperの文字起こしを使う前の確認項目

OpenAIの論文とモデルカードに記載された失敗例に基づくチェックリストです。

  • 発話の間や無音の区間に、実際には言っていない文がないか確認する。
  • 同じフレーズが何度も連続していないか探す。
  • 原稿の冒頭と末尾を元の音声と照らし合わせる。
  • 人名、数値、専門用語を確認する。
  • 言語が正しく判定されたか確認するか、手動で指定する。
  • 翻訳の場合はturboを使っていないか確認する。
  • 必要なら別のツールで話者ラベルを付ける。
  • 他人を録音したり文字起こししたりする前に同意を得る。

よくある質問

Whisper AIは無料ですか?

はい。OpenAI Whisperは無料でダウンロードし、実行できます。OpenAIはコードとモデルの重みをMITで公開しており、OpenAIに利用料を支払わずに使えます。実行するパソコンは自分で用意し、largeには約10 GBのGPUメモリが必要です。外部サービスでは、OpenAIのAPIは従量課金で、文字起こしアプリも各社が料金を設定しています。無料のローカル版でも、Python、FFmpeg、コマンドラインの基本操作が必要です。

Whisperは話者を見分けられますか?

Whisper単体では見分けません。発話を文字にしますが、誰が言ったかは付記しません。OpenAIのモデルカードによると、話者ダイアライゼーションなどの機能は十分に評価されていません。話者ラベルが必要なら、通常は別の話者分離ツールを組み合わせるか、話者検出機能付きの文字起こしアプリを使います。たとえばwhispertranscribe.aiでは、処理前に話者検出をオンにできます。似た声の人がいる録音ではラベルを確認してください。

Whisperはリアルタイムで文字起こしできますか?

標準では対応しません。Whisperは録音済みの音声を30秒ずつ処理する設計で、OpenAIのモデルカードでは追加の実装なしにリアルタイム文字起こしで使えないとしています。一方、短い音声を到着するたびに渡すことで、リアルタイムに近いツールが開発されています。ライブ字幕が必要なら、専用のライブ機能があるツールを選んでください。ライブ出力は、録音終了後の文字起こしより手直しが多くなりやすい点も見込んでおきましょう。

Whisperは何言語に対応していますか?

Whisperは約99言語を認識します。large-v3で広東語が追加され、現在のトークナイザーには100言語のコードがあります。品質は言語によって大きく異なります。OpenAIのモデルカードでは特に良い結果を示した言語は約10で、論文によると大半の言語は学習音声が1,000時間未満でした。利用者が少ない言語では、先に短い音声で試してください。whispertranscribe.aiの130以上など、製品側の数字は個々の製品の対応範囲を示します。

whispertranscribe.aiとOpenAI Whisperは同じものですか?

別のものです。OpenAI Whisperはダウンロードして自分で実行できるオープンソースのモデルです。whispertranscribe.aiはブラウザーで使う文字起こしサービスで、トップページではWhisperと次世代AIを利用すると説明しています。最大5 GBのアップロード、YouTubeやGoogle Driveのリンクの取り込み、話者検出、DOCX・PDF・SRT・VTTの書き出しなど、元のモデルにはない機能も提供します。名前に「Whisper」を含む他のアプリも、それぞれ別の会社の製品です。

Whisperが音声にない言葉を書くことがあるのはなぜですか?

言語モデルのようにテキストを予測するためです。OpenAIのモデルカードでは、雑音を含む大量のWebデータで学習した結果、音声に存在しない単語が出力されることがあると説明しています。聞こえた音を文字にする動きと、次に来そうな言葉を予測する動きが重なる、という説明です。2024年の研究では、調べた文字起こしの約1%で、実際には言っていないフレーズが丸ごと含まれていました。特に発話の長い間で起きやすくなります。無音や音の小さい区間、重要な箇所は元の音声で確認してください。


セットアップせずにWhisperで文字起こしするなら。 whispertranscribe.aiにファイルをアップロードするか、リンクを貼り付けます。130以上の言語に対応し、DOCX、PDF、SRT、VTTで書き出せます。

参考資料

録音を文字に起こしませんか?

whispertranscribe.ai で音声と動画を文字起こしできます。

文字起こしを始める ↗