Что такое Whisper AI? Как работает модель распознавания речи OpenAI

Редакция whispertranscribe.ai · Обновлено: ноябрь 2026 г. · 13 минут чтения

Что такое Whisper AI? Обычно так называют OpenAI Whisper — открытую модель распознавания речи, опубликованную OpenAI в сентябре 2022 года. Она превращает записанную речь в текст, определяет язык и может переводить другие языки на английский. OpenAI обучила её на 680,000 часах веб-аудио и выпустила код и веса по лицензии MIT.

Раскрываем информацию об интересах: мы создаём whispertranscribe.ai. whispertranscribe.ai — веб-инструмент ИИ-транскрибации аудио и видео на более чем 130 языках. В руководстве мы различаем модель и построенные на ней продукты; все числовые сведения о модели взяты из исследования, репозитория или карточки OpenAI.

Краткий ответ: что такое Whisper AI?

Whisper — модель преобразования речи в текст, а не приложение или компания. Её можно скачать из репозитория OpenAI на GitHub и запустить на своём компьютере либо воспользоваться сервисом, который запускает её для вас.

  • Создатель: OpenAI. Исследование Robust Speech Recognition via Large-Scale Weak Supervision опубликовано на arXiv 6 декабря 2022 года.
  • Возможности: транскрибация речи, определение языка, перевод речи на английский и временные метки фрагментов.
  • Чего нет из коробки: меток говорящих и транскрибации в реальном времени. Карточка модели OpenAI сообщает, что для реального времени нужна дополнительная работа.
  • Размеры: шесть, от tiny (39 миллионов параметров) до large (1,550 миллионов).
  • Стоимость: загрузка и запуск бесплатны. Оборудование предоставляет пользователь.

«Whisper AI» может означать три разные вещи

Название используют свободно, и эти значения легко перепутать.

Что называют «Whisper AI» Что это Кто создаёт Как использовать
OpenAI Whisper Открытая модель распознавания речи OpenAI Скачать код и веса и запустить самостоятельно
whisper-1 Размещённая OpenAI модель API для транскрибации OpenAI Отправлять аудиофайлы через API OpenAI с оплатой использования
Приложения с «Whisper» в названии Продукты транскрибации, например whisperai.com и whispertranscribe.ai (этот сайт) Отдельные компании Загружать или записывать аудио в приложениях

Продукты в третьей строке не являются самой моделью и не взаимозаменяемы. Каждая компания устанавливает собственные функции, лимиты, цены и условия конфиденциальности. В этой статье «Whisper» означает модель OpenAI.

Как работает Whisper?

Whisper — Transformer с энкодером и декодером. Энкодер превращает 30 секунд аудио в числовое представление, а декодер выдаёт соответствующий текст по одному токену под управлением специальных токенов, задающих задачу.

Исследование Whisper описывает процесс:

  1. Пересчёт частоты. Аудио преобразуется в 16,000 Гц.
  2. Разделение на окна по 30 секунд. Модель рассматривает по 30 секунд; короткие фрагменты дополняются.
  3. Создание спектрограммы. Каждое окно превращается в 80-канальную логарифмическую Mel-спектрограмму, показывающую изменение энергии звука по частотам; она вычисляется на 25-миллисекундных кадрах каждые 10 миллисекунд. (В large-v3 стало 128 каналов.)
  4. Кодирование. Два свёрточных слоя и стек блоков Transformer обрабатывают спектрограмму.
  5. Декодирование. Декодер сначала предсказывает язык или токен отсутствия речи, затем задачу (транскрибация или перевод), необходимость временных меток и сам текст.

Временные метки также предсказываются как токены с округлением до ближайших 20 миллисекунд. Так одна модель выполняет определение языка, транскрибацию, перевод и разметку времени.

На чём обучали Whisper?

Исходные модели обучались на 680,000 часах интернет-аудио с соответствующими текстами. OpenAI называет это «слабым обучением с учителем», поскольку тексты не проверялись вручную как эталонные наборы.

Доля обучающего аудио Часов Содержание
Около 65% 438,000 Английское аудио с английским текстом
Около 18% 126,000 Неанглийское аудио с английским текстом (данные перевода)
Около 17% 117,000 Неанглийское аудио с текстом на том же языке

Источник: карточка модели Whisper OpenAI. В исследовании данные перевода округлены до 125,000 часов.

Две детали помогают объяснить поведение модели. OpenAI отфильтровала тексты, похожие на машинные, например написанные полностью заглавными буквами, поэтому модель научилась писать предложения с пунктуацией. Ранние модели также пытались угадывать имена говорящих, поскольку они часто встречались в веб-расшифровках. OpenAI дообучением уменьшила эту привычку, но пример показывает влияние обучающего текста.

Large-v3 обучалась иначе, примерно на 5 миллионах часов: 1 миллион со слабыми веб-метками и 4 миллиона с метками large-v2, согласно карточке Hugging Face.

Сравнение размеров моделей Whisper

Whisper существует в шести размерах. Малые модели быстрее на скромном оборудовании; большие обычно ошибаются меньше, но требуют больше видеопамяти VRAM. Числа скопированы из README OpenAI.

Размер Параметры Только английский Многоязычная версия Требуемая VRAM Скорость относительно large
tiny 39 M tiny.en tiny ~1 GB ~10x
base 74 M base.en base ~1 GB ~7x
small 244 M small.en small ~2 GB ~4x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M Нет large ~10 GB 1x
turbo 809 M Нет turbo ~6 GB ~8x

OpenAI измеряла скорость на английской речи с серверным GPU A100 и предупреждает, что реальная скорость может значительно различаться. Ноутбук будет медленнее.

Какую модель Whisper выбрать?

Ориентируйтесь на доступную память и назначение текста:

  • Проверка на простом компьютере: tiny или base, около 1 GB VRAM. Ожидайте больше ошибок.
  • Только английский: модель .en. OpenAI сообщает о лучшем результате, особенно у tiny и base.
  • Хорошее качество при разумной скорости: turbo, около 6 GB. Это вариант командной строки по умолчанию.
  • Перевод речи на английский: medium или large. Turbo не обучена переводу и возвращает исходный язык даже при запросе перевода.
  • Самое сложное аудио и лучший возможный результат: large, около 10 GB VRAM.

Версии Whisper: краткая хронология

Название large охватывает три выпуска, а turbo — упрощённая large-v3. Версия важна: результаты зависят от контрольной точки.

Версия Выпуск Что изменилось
Исходные модели (tiny–large) Сентябрь 2022 года Первый открытый выпуск с исследованием
large-v2 Декабрь 2022 года Тот же размер, обучение в 2.5 раза дольше с дополнительной регуляризацией
large-v3 Ноябрь 2023 года 128 Mel-каналов, новый токен кантонского, на 10–20% меньше ошибок, чем v2, на многих языках
turbo (large-v3-turbo) Сентябрь 2024 года Слои декодера сокращены с 32 до 4 ради скорости; перевода нет

Источники: карточка модели Whisper, примечание исследования о large-v2 и карточки Hugging Face для large-v3 и large-v3-turbo.

Сколько языков поддерживает Whisper?

Whisper распознаёт около 99 языков. Детектор языка в исследовании использовал 99 языковых токенов, а текущий токенизатор содержит 100 кодов после добавления кантонского в large-v3. Но поддержка не равна качеству: карточка модели сообщает о сильных результатах примерно на 10 языках.

Качество связано с обучающими данными. Исследование обнаружило, что результат хорошо предсказывается числом часов языка в обучении, а большинство языков имели менее 1,000 часов. Английский, испанский или немецкий обычно распознаются чище языка с малым объёмом ресурсов. В README есть ссылка на график ошибок по языкам.

Не путайте это с показателями продукта. whispertranscribe.ai поддерживает более 130 языков. Это показатель продукта (страница тарифов говорит о более чем 130 языках и акцентах), а не свойство открытой модели Whisper.

Насколько точен Whisper?

Единого показателя нет: результат зависит от размера модели, языка и записи. На чистом читаемом английском large-v2 получила WER 2.7%. Среднее по 14 английским наборам, преимущественно более сложным, составило 12.8%.

WER — доля ошибок относительно проверенного человеком эталона с учётом замен, пропусков и вставок. Меньше — лучше. Числа из таблицы 2 исследования сравнивают Whisper large-v2 с wav2vec 2.0, обученной на аудиокнигах LibriSpeech:

Тестовый набор WER wav2vec 2.0 WER Whisper large-v2
LibriSpeech clean (читаемые аудиокниги) 2.7% 2.7%
Common Voice (речь добровольцев) 29.9% 9.0%
CHiME-6 (шумные записи ужинов) 65.8% 25.5%
Среднее по 14 наборам таблицы 29.3% 12.8%

Важна закономерность. На аудиокнигах модели равны, но на остальных наборах Whisper в среднем допускает на 55.2% меньше ошибок. Объявление OpenAI округляет результат до 50%. В шумовых тестах модели, обученные на LibriSpeech, превосходили Whisper на почти чистом аудио, но отставали при громком шуме паба, когда отношение сигнал/шум падало ниже 10 dB.

Это исследовательские тесты, а не обещание для ваших файлов; заявления продуктов рассматриваются отдельно. Например, whispertranscribe.ai достигает до 99% на чистом аудио, а шум, перебивания и сильные акценты снижают точность.

Каковы ограничения Whisper?

Главная слабость Whisper — возможность создавать гладкий текст, которого никто не произносил. Карточка OpenAI называет это галлюцинацией и связывает со слабым обучением с учителем. Также указаны повторы, неравномерная точность по языкам и акцентам и отсутствие встроенных меток говорящих.

  1. Выдуманный текст. В исследовании 2024 года Careless Whisper около 1% проверенных расшифровок содержали целые фразы или предложения, отсутствующие в аудио. Галлюцинации чаще возникали при длинных паузах.
  2. Повторы. Модель может зациклиться на фразе. Beam search и температурный fallback частично уменьшают проблему, но не устраняют её полностью.
  3. Пропуск первых или последних слов. Исследование называет пропуск нескольких слов на границе фрагмента известной проблемой.
  4. Длинным записям нужны окна. Whisper видит по 30 секунд. Для длинного файла инструмент перемещает окно по предсказанным меткам, поэтому ошибка одного окна влияет на следующее.
  5. Нет меток говорящих. По карточке модели диаризация не была надёжно оценена. Для неё нужен отдельный инструмент.
  6. Не работает в реальном времени по умолчанию. Модель создана для готовых файлов; живым субтитрам нужна дополнительная инженерная работа.
  7. Неравномерность по языкам и акцентам. Карточка отмечает больше ошибок для некоторых акцентов, диалектов и демографических групп.

OpenAI также предостерегает от транскрибации людей без согласия и использования при принятии решений высокого риска.

Где официальные источники расходятся

Некоторые показатели в документах OpenAI различаются из-за округления или смены версии. Проверьте перед цитированием:

Тема Один официальный источник Другой источник Что использовать
Снижение ошибок относительно моделей LibriSpeech Исследование: в среднем на 55.2% меньше Объявление OpenAI: на 50% меньше Цитируйте исследование и называйте сравнение
Неанглийские языки в обучении Исследование: 96 других языков Карточка: 98 языков «Около 99 языков» для распознавания
Часы обучения переводу Карточка: 126,000 Исследование: 125,000 Любое с указанием приблизительности
Параметры turbo README и Hugging Face: 809 M Таблица карточки: 798 M 809 M, число большинства источников
Размер обучающих данных Исходное исследование: 680,000 часов Карточка large-v3: 5 миллионов часов Указывайте версию
Лицензия GitHub: MIT для кода и весов Метаданные large-v3 на Hugging Face: Apache-2.0 Проверьте лицензию скачиваемой копии

Как использовать Whisper: локально, через API или приложение

Есть три практических пути. Локальный запуск бесплатен и оставляет аудио на компьютере. API OpenAI устраняет настройку, но ограничивает размер файла. Размещённое приложение добавляет редактор, метки и экспорт, но является сторонним сервисом со своими условиями.

Открытый Whisper локально API транскрибации OpenAI Размещённое приложение
Настройка Python, PyTorch и FFmpeg Код и ключ API Браузер
Стоимость Бесплатно; ваше оборудование Оплата использования Бесплатный тариф или подписка, зависит от приложения
Лимиты файлов Ваше оборудование 25 MB на файл Устанавливает приложение
Куда идёт аудио Остаётся на компьютере Отправляется OpenAI Отправляется на серверы приложения
Метки говорящих Не встроены Нет в whisper-1 Зависят от приложения
Редактирование и экспорт TXT, SRT, VTT, TSV, JSON из командной строки Возвращается в код; остальное создаёте вы Обычно редактор и экспорт документов и субтитров

Локальный запуск Whisper

README OpenAI приводит установку и базовый запуск:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

Также нужен FFmpeg; README сообщает, что код должен работать на Python 3.8–3.11. Добавьте --language для языка речи или --task translate с многоязычной моделью для английского результата. Веса скачиваются при первом использовании.

Использование API OpenAI

Руководство OpenAI по преобразованию речи в текст ограничивает загрузку 25 MB на файл; более крупные файлы нужно сжать или разделить. По состоянию на ноябрь 2026 года руководство помечает whisper-1 как устаревшую модель и указывает дату отключения 26 февраля 2027 года, предлагая более новые модели транскрибации. Эти новые модели речи OpenAI не являются новыми выпусками открытого семейства Whisper.

Размещённое приложение транскрибации

Если не хочется ничего устанавливать, приложение обрабатывает файлы на своих серверах. Один из вариантов — whispertranscribe.ai, а его бесплатный конвертер аудио в текст позволяет быстро попробовать сервис. Главная страница описывает whispertranscribe.ai как работающий на Whisper и ИИ нового поколения. По страницам продукта доступны:

Есть и ограничения. Файл отправляется в облачный сервис, а не остаётся только на компьютере. Мы не предлагаем API, пользовательский словарь или бота для встреч. Платные тарифы начинаются от $9.99 в месяц при годовой оплате (тарифы); можно начать бесплатно без аккаунта. Подробнее — на странице инструмента Whisper AI и всех возможностей.

Открыт ли Whisper и что разрешает лицензия?

Да. Репозиторий OpenAI сообщает, что код и веса Whisper выпущены под MIT. Это разрешительная лицензия: в целом она допускает использование, копирование, изменение и продажу программ на основе кода при сохранении уведомления об авторском праве и лицензии.

Две оговорки. Копии на других сайтах могут иметь иные метаданные лицензии: страница large-v3 на Hugging Face указывает Apache-2.0. Прочитайте лицензию своей копии. Лицензия распространяется на программу, а не на загружаемые записи: к аудио применяются правила согласия и конфиденциальности. Это общая информация, а не юридическая консультация; официальный источник — текст лицензии MIT.

Кому подходит Whisper?

Whisper подходит разработчикам и пользователям, знакомым с терминалом, которым нужна бесплатная локальная транскрибация без лимита сервиса. Для готового текста с редактором и экспортом размещённое приложение обычно быстрее.

Кто вы Подходящий вариант Почему
Разработчик продукта Открытый Whisper или API Полный контроль процесса
Исследователь с конфиденциальными интервью Открытый Whisper локально Аудио не покидает компьютер
Автор, которому нужны субтитры на этой неделе Размещённое приложение с SRT или VTT Без настройки; готовые файлы для загрузки
Пользователь ноутбука без GPU Маленькая локальная модель или размещённое приложение Большим моделям нужно около 10 GB VRAM

Перед тем как доверять расшифровке Whisper

Этот список составлен по ошибкам из исследования и карточки OpenAI:

  • Выборочно проверьте паузы и тишину на непроизнесённые предложения.
  • Найдите фразы, повторённые несколько раз подряд.
  • Сверьте первые и последние строки с аудио.
  • Проверьте имена, числа и технические термины.
  • Убедитесь в правильном определении языка или задайте его вручную.
  • Для перевода убедитесь, что не используется turbo.
  • При необходимости добавьте метки говорящих отдельным инструментом.
  • Получите необходимые согласия до записи или транскрибации других людей.

Частые вопросы

Бесплатен ли Whisper AI?

Да, OpenAI Whisper можно бесплатно скачать и запустить. Код и веса лицензированы OpenAI по MIT, поэтому платить OpenAI за их использование не нужно. Компьютер предоставляете вы; модели large нужно около 10 GB памяти GPU. Размещённые варианты платные: API OpenAI тарифицирует использование, а приложения устанавливают свои тарифы. Бесплатно не значит просто: потребуются Python, FFmpeg и навыки командной строки.

Может ли Whisper различать говорящих?

Самостоятельно — нет. Whisper записывает сказанное, но не обозначает, кто говорил. Карточка OpenAI сообщает, что диаризация не была надёжно оценена. Для меток Whisper обычно объединяют с отдельным инструментом диаризации или используют приложение с определением говорящих. Например, в whispertranscribe.ai эту функцию можно включить до обработки. Проверяйте метки при похожих голосах.

Может ли Whisper расшифровывать в реальном времени?

Не из коробки. Whisper создан для записанного аудио и обрабатывает его окнами по 30 секунд; карточка OpenAI говорит, что без дополнительной работы использовать его для транскрибации в реальном времени нельзя. Разработчики создали решения с почти реальным временем, подавая короткие фрагменты по мере поступления. Для живых субтитров ищите специальный режим и ожидайте больше правок, чем у готовой записи.

Сколько языков поддерживает Whisper?

Около 99; текущий токенизатор содержит 100 кодов после добавления кантонского в large-v3. Качество сильно различается. Карточка OpenAI сообщает о сильных результатах примерно на 10 языках, а исследование — о менее чем 1,000 часов обучения для большинства языков. Перед использованием редкого языка проверьте короткий фрагмент. Показатели продуктов, например более 130 языков whispertranscribe.ai, относятся к самим продуктам, а не открытой модели.

whispertranscribe.ai — это OpenAI Whisper?

Нет. OpenAI Whisper — открытая модель для самостоятельной загрузки и запуска. whispertranscribe.ai — отдельный браузерный сервис; его главная страница описывает использование Whisper и ИИ нового поколения. Он добавляет функции, которых нет в исходной модели: загрузки до 5 ГБ, импорт ссылок YouTube или Google Drive, определение говорящих и экспорт DOCX, PDF, SRT и VTT. Другие приложения со словом Whisper также принадлежат отдельным компаниям.

Почему Whisper пишет слова, которых никто не произносил?

Он предсказывает текст подобно языковой модели. Карточка OpenAI сообщает, что обучение на больших шумных веб-данных иногда приводит к словам, отсутствующим в аудио: модель сочетает предсказание следующего вероятного слова и транскрибацию услышанного. Исследование 2024 года обнаружило выдуманные фразы примерно в 1% проверенных текстов, чаще около длинных пауз. Сверяйте паузы, тихие и важные участки с аудио.


Нужна расшифровка Whisper без настройки? Загрузите файл или вставьте ссылку в whispertranscribe.ai и получите текст на более чем 130 языках с экспортом DOCX, PDF, SRT и VTT.

Источники

Хотите превратить свои записи в текст?

Расшифровывайте аудио и видео с помощью whispertranscribe.ai.

Начать расшифровку ↗