Редакция whispertranscribe.ai · Обновлено: ноябрь 2026 г. · 13 минут чтения · Категория: точность транскрибации
Насколько точен Whisper? На чистом читаемом английском исследование OpenAI сообщает частоту ошибок слов (WER) 2.5% для Whisper large-v2: приблизительно 97–98 слов из 100 переданы правильно. На сложном аудио результат хуже: 13.6% для телефонных разговоров, 24.9% на шумном ужине и 39.9% на встрече, записанной одним удалённым микрофоном.
Whisper — открытая модель распознавания речи OpenAI и основа многих приложений, включая наше. Это руководство посвящено точности: что измеряет WER, что говорят тесты по типам аудио и языкам, где Whisper ошибается и как проверить его самостоятельно. О самой модели читайте в статье о Whisper AI.
Большинство чисел взяты из исследования Whisper (Radford и соавторы, 2022), где модели тестировались в режиме zero-shot без дообучения на тестовых наборах. Карточка более новой модели large-v3 сообщает на 10–20% меньше ошибок, чем у large-v2, на многих языках, но без полной таблицы по наборам. Статью публикует whispertranscribe.ai. Мы не проводили для неё собственного теста; ни одно число не является нашим результатом.
Точность Whisper кратко
Один тест не даёт полного ответа: тип аудио сильно влияет на результат. Таблица показывает результаты OpenAI для large-v2 с beam search и температурным fallback (таблица 9 приложения) после нормализации текста OpenAI.
| Тип аудио | Тестовый набор | WER Whisper large-v2 | Приблизительная доля правильных слов |
|---|---|---|---|
| Аудиокнига, чёткое чтение | LibriSpeech test-clean | 2.5% | Около 97.5 из 100 |
| Читаемые новости | WSJ | 2.6% | Около 97.4 из 100 |
| Выступления TED | TED-LIUM 3 | 3.7% | Около 96 из 100 |
| Аудиокнига, более сложные голоса | LibriSpeech test-other | 4.9% | Около 95 из 100 |
| Добровольцы с домашними микрофонами | Common Voice 5.1 | 8.2% | Около 92 из 100 |
| Телефонные беседы | Switchboard | 13.6% | Около 86 из 100 |
| Длинные социолингвистические интервью | CORAAL | 14.2% | Около 86 из 100 |
| Телефонные звонки родственников и друзей | CallHome | 16.4% | Около 84 из 100 |
| Встречи, у каждого гарнитура | AMI IHM | 17.4% | Около 83 из 100 |
| Ужины, удалённые микрофоны | CHiME-6 | 24.9% | Около 75 из 100 |
| Встречи, один удалённый настольный микрофон | AMI SDM1 | 39.9% | Около 60 из 100 |
«Доля правильных слов» рассчитана как 100 минус WER и является приблизительным упрощением: WER также учитывает добавленные слова.
Часто приводят 2.7%: это та же модель с более простым жадным декодированием (таблица 2 исследования). Строки AMI описывают одни встречи, записанные двумя способами. Перемещение микрофона от каждого говорящего к центру стола более чем удваивает частоту ошибок.
Что такое WER и как его рассчитывают?
Частота ошибок слов сравнивает расшифровку с проверенным человеком эталоном. Подсчитайте три вида ошибок и разделите на число слов в эталоне:
WER = (замены + пропуски + вставки) ÷ слова в эталоне
- Замена: неверное слово вместо правильного (английское «lunch», обед, вместо «launch», запуск).
- Пропуск: произнесённое слово отсутствует в тексте.
- Вставка: в тексте есть слово, которого никто не произносил.
Ниже русскоязычный вымышленный пример. Число ошибок проверено локальным расчётом расстояния редактирования по словам; для расчёта WER также доступна открытая библиотека jiwer.
| Строка | Текст |
|---|---|
| Эталон (20 слов) | мы перенесли запуск продукта на девятое марта потому что поставщик пропустил два срока и доктор патель хочет новый план испытаний |
| Расшифровка | мы перенесли обед продукта на девятое марта потому поставщик пропустил два срока и доктор баттл хочет новый план испытаний сегодня |
| Ошибки | 2 замены (обед, баттл), 1 пропуск (что), 1 вставка (сегодня) |
| WER | 4 ÷ 20 = 20% |
Три важных свойства WER:
- Может превышать 100%. Число вставок не ограничено; в результатах Fleurs некоторые языки с небольшим объёмом ресурсов превышают 100%.
- Нормализация меняет оценку. «Dr.» и «doctor» считаются ошибкой, если оба текста не обработаны одинаково. OpenAI сообщает, что нормализация снижала WER до 50% на некоторых наборах, главным образом устраняя различия оформления.
- Некоторые языки оцениваются по ошибкам символов (CER). Для китайского, японского, тайского, лаосского и бирманского, где слова не разделяются пробелами, исследование считает символы.
Утверждение о точности без названного тестового набора и метода подсчёта не является измерением, кем бы оно ни было сделано, включая нас.
Насколько точен Whisper на английском?
Whisper очень точен на чистом английском и остаётся полезным на сложном аудио. В исследовании на 12 других английских наборах он допустил на 55.2% меньше ошибок, чем обученная с учителем модель wav2vec 2.0 с почти тем же результатом LibriSpeech.
Длинные записи
Whisper обрабатывает аудио окнами по 30 секунд, поэтому длинные файлы тестировались отдельно (таблица 16 приложения, large-v2):
| Длинный тестовый набор | Содержание | WER |
|---|---|---|
| TED-LIUM 3 | 11 полных выступлений TED | 3.5% |
| Meanwhile | 64 фрагмента поздних телешоу с необычными словами | 5.1% |
| Kincaid46 | 46 разных записей из сравнения 2018 года | 8.8% |
| Earnings-21 | Звонки о финансовых результатах компаний | 9.7% |
| Rev16 | 16 выпусков подкастов | 11.3% |
| Earnings-22 | Другие звонки о результатах, много акцентов | 12.6% |
| CORAAL | 231 полное интервью на афроамериканском английском | 19.6% |
Whisper и транскрибаторы-люди
OpenAI передала 25 записей Kincaid46 четырём человеческим сервисам и одному сервису с компьютерной поддержкой. Сервис с компьютерной поддержкой получил результат на 1.15 процентного пункта лучше Whisper, а полностью человеческие — на долю пункта лучше. Авторы заключили, что результат не идеален, но очень близок к человеческому.
Размер модели важен
Whisper выпускается в нескольких размерах, а приложения не всегда сообщают, какой используют (таблица 9 приложения):
| Модель | Параметры | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
Разница растёт на сложном аудио: около 4 пунктов на чистых аудиокнигах и 23 пунктов на ужине. Более новая модель turbo, оптимизированная large-v3, допускает то, что README OpenAI на GitHub называет минимальным снижением точности, ради значительно большей скорости.
Насколько точен Whisper на других языках?
За пределами английского точность во многом зависит от объёма обучающего аудио на языке. Исследование обнаружило квадрат корреляции 0.83 между логарифмами часов обучения и WER и оценивает снижение WER вдвое при 16-кратном увеличении данных. Большинство из 96 неанглийских языков имели менее 1,000 часов.
Выбранные результаты Fleurs (читаемые предложения, large-v2, таблица 13 приложения):
| Язык | WER Fleurs | Примечание |
|---|---|---|
| Испанский | 3.0% | Самый низкий в таблице |
| Английский | 4.2% | |
| Португальский | 4.3% | |
| Немецкий | 4.5% | |
| Японский | 5.3% | Частота ошибок символов |
| Русский | 5.6% | |
| Французский | 8.3% | |
| Корейский | 14.3% | Отмечен как исключение |
| Китайский | 14.7% | Частота ошибок символов |
| Арабский | 16.0% | |
| Хинди | 21.5% | |
| Иврит | 27.1% | Отмечен как исключение |
| Суахили | 39.3% | |
| Телугу | 99.0% | Отмечен как исключение |
Исследование отмечает, что иврит, телугу, китайский и корейский показали результат хуже прогнозируемого по объёму данных, возможно из-за языковой дистанции, плохо подходящего токенизатора или качества данных. Fleurs содержит читаемую речь, поэтому в разговоре ожидается больше ошибок. В README есть более новый график large-v3 и large-v2 на Common Voice 15 и Fleurs.
Испанские результаты обнадёживают при транскрибации испанского аудио. Для языков с меньшим объёмом ресурсов проверьте короткий фрагмент до начала всего проекта.
Что влияет на точность Whisper?
Важнее всего условия записи. Данные исследования и карточки модели:
| Фактор | Что показывают данные | Что делать |
|---|---|---|
| Фоновый шум | При шуме паба и отношении сигнал/шум ниже 10 dB Whisper превзошёл все 14 моделей сравнения, но все системы ухудшались с ростом шума | Записывайте в тихой комнате вдали от вентиляторов и музыки |
| Расстояние до микрофона | Те же встречи AMI: 17.4% с гарнитурами, 39.9% с одним настольным микрофоном | Держите микрофон рядом с говорящим |
| Беседа и перебивания | Телефонные звонки и ужины: 13.6–24.9% против 2.5% на читаемой речи | Говорите по одному; отдельный микрофон каждому |
| Акценты и диалекты | Карточка сообщает о неравномерной точности; длинные интервью CORAAL — 19.6% | Тестируйте с голосами, похожими на реальные записи |
| Редкие слова и термины | Хороший результат на насыщенном терминами Meanwhile (5.1%), но имена и термины часто ошибочны | Сверяйте имена и термины со списком |
| Языковые ресурсы | WER Fleurs от 3.0% (испанский) до 99.0% (телугу) | Задавайте язык самостоятельно; планируйте больше проверки для языков с малыми ресурсами |
| Размер модели | tiny — 48.0% на CHiME-6, large-v2 — 24.9% | Узнайте используемую модель или выберите самую большую доступную |
| Формат и частота | Код Whisper преобразует всё аудио в моно 16 kHz | WAV 48 kHz не даёт преимущества перед чистым файлом 16 kHz |
Преобразование MP3 в большой WAV не восстанавливает детали. Чистая запись с умеренным битрейтом лучше шумной с высоким.
Известные проблемы Whisper: галлюцинации, повторы и время
OpenAI документирует каждый из этих сбоев; их значимость может быть выше, чем показывает доля WER.
Выдуманный текст
Whisper может записывать слова, которых никто не произносил. Карточка модели предупреждает о тексте, отсутствующем в аудио, вероятно потому, что модель также предсказывает вероятные следующие слова. В разделе ограничений исследования упоминается даже полная галлюцинация — результат, не связанный с аудио.
Независимое исследование Careless Whisper (Koenecke и соавторы, 2024) обработало 13,140 аудиофрагментов через Whisper API OpenAI в апреле и мае 2023 года. Около 1% расшифровок (в среднем 1.4%) содержали целые выдуманные фразы или предложения; 38% из них включали вредное содержание, например насилие или ложные ассоциации. Более длинные паузы, в данном случае у людей с афазией, чаще приводили к таким ошибкам. API с тех пор изменился, поэтому это измерение 2023 года.
Повторения и пропущенные слова
Карточка модели предупреждает о склонности к повторению текста, которую beam search и температурное расписание уменьшают, но не устраняют полностью. Исследование также отмечает пропуск первых или последних слов фрагмента. Изменения декодирования снизили средний WER длинных записей с 11.0% до 10.0%: лучше, но проблема не решена.
Тишина, музыка и слова-паразиты
Выдуманный текст часто появляется на длинных паузах и музыке. Исследование сочло собственный сигнал Whisper об отсутствии речи ненадёжным сам по себе; в открытом коде теперь есть параметр пропуска длинной тишины при обнаружении вероятной галлюцинации.
Смещение времени и длинные файлы
Whisper обрабатывает длинное аудио окнами по 30 секунд, используя предсказанные временные метки для следующего окна; исследование отмечает, что ошибка одного окна может перейти в следующее. Метки отдельных слов в коде помечены как экспериментальные. Для субтитров выборочно проверяйте время около пауз.
При разработке OpenAI также наблюдала попытки угадать имена говорящих, почти всегда неверные. Выпущенные модели дообучили для снижения этой проблемы, но имена всё равно нужно проверять.
10 способов повысить точность Whisper
Большинство улучшений происходит до запуска транскрибации. Примерно по убыванию влияния:
- Расположите микрофон близко. Встречи AMI показали более чем двукратный рост ошибок из-за расстояния.
- Уберите шум у источника. Закройте окна, выключите вентиляторы и музыку.
- Избегайте перебиваний. Один говорящий за раз лучше любой настройки.
- Обрежьте длинные паузы и музыкальные вступления, где часто появляется выдуманный текст. Режьте по паузам, а не посреди предложения.
- Задайте язык самостоятельно. Whisper правильно определял язык в 80.3% случаев для 82 языков Fleurs, поэтому автоопределение может ошибаться на коротких или акцентированных фрагментах.
- Используйте крупнейшую доступную модель, особенно для шумного аудио.
- При самостоятельном запуске задайте имена и термины. Открытый Whisper принимает
--initial_promptс ожидаемым написанием. - Загрузите оригинал. Повторная запись через динамики и многократное сжатие теряют детали.
- Проверьте термины. Найдите все имена, числа, даты и сокращения и сверьте с аудио.
- Проверьте в два прохода. Сначала исправьте ошибки на обычной скорости. Затем найдите признаки галлюцинаций: повторы, предложения во время тишины, заключения вроде «Спасибо за просмотр». Юридические, медицинские и публикуемые материалы человек должен проверить целиком.
Как измерить точность Whisper на своих записях
Лучшая оценка для вашей работы — проверка собственных записей с выделением около 30 минут на процесс. Эти шаги предназначены для самостоятельного выполнения и не являются тестом whispertranscribe.ai.
- Выберите три двухминутных фрагмента, похожих на вашу работу: лёгкий, типичный и сложный.
- Напишите эталон вручную, слово в слово. Сначала решите, сохранять ли «э-э» и записывать числа цифрами или словами.
- Расшифруйте каждый фрагмент проверяемым инструментом и сохраните обычный текст.
- Нормализуйте оба текста одинаково. Нормализатор OpenAI входит в
openai-whisper. Приведённый ниже EnglishTextNormalizer предназначен для английского; для русского используйте подходящие нормализацию и токенизацию, одинаковые для обоих текстов. - Рассчитайте WER с jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Отдельно подсчитайте критические ошибки. Пять неверных слов-паразитов и пять неверных имён клиентов дают одинаковый WER, но последствия различаются.
- Запишите результаты для сравнения инструментов и настроек:
| Фрагмент | Условия | Слов в эталоне | S | D | I | WER | Критические ошибки |
|---|---|---|---|---|---|---|---|
| Фрагмент A | Тихая комната, один говорящий | 310 | |||||
| Фрагмент B | Видеозвонок, два говорящих | 285 | |||||
| Фрагмент C | Кафе, говорящий с акцентом | 296 |
Числа слов приведены для примера. В исходной статье сообщается, что при проверке нормализатора английского OpenAI на вымышленной фразе он сопоставил «Dr.» и «doctor», «two» и «2», но всё равно посчитал «9th» и «ninth» ошибкой. При подготовке перевода этот тест не повторялся. Проверяйте отмеченные различия, прежде чем доверять оценке.
Насколько точен whispertranscribe.ai?
whispertranscribe.ai — веб-инструмент транскрибации с ИИ на основе Whisper, поддерживающий более 130 языков и загрузку до 5 ГБ и 10 часов. Точность достигает 99% на чистом аудио; шум, сильные акценты и перебивания снижают её, как показывают приведённые тесты самого Whisper. Мы не утверждаем, что повторяем или превосходим результаты исследования, и не публиковали собственного теста, поэтому проверьте свои фрагменты по инструкции выше.
- Noise / Low-Quality Audio/Video в выборе языка для многих языков. На шумном файле сравните стандартный и шумовой варианты.
- Более 130 языков, Multilingual Mix и перевод аудио на английский.
- Файлы до 5 ГБ и 10 часов, определение говорящих и временные метки (все возможности).
- Чистый вход: запишите голос в браузере с близким микрофоном или преобразуйте видео в MP3, чтобы загрузить только аудио.
- Экспорт DOCX, PDF, TXT, CSV, SRT и VTT и генератор субтитров с временными метками.
Можно начать бесплатно без аккаунта. Платные тарифы начинаются от $9.99 в месяц при годовой оплате (тарифы).
Частые вопросы
Точен ли Whisper на 99%?
Не в целом. Лучший опубликованный результат Whisper — WER 2.5% на LibriSpeech test-clean, наборе чётко читаемых аудиокниг, что приблизительно соответствует 97.5% правильных слов. На звонках, встречах и в шумных комнатах показатели OpenAI составляют примерно 13–40% WER. Утверждение «99%» имеет смысл только с указанием аудио, на котором оно измерено. Инструменты на Whisper, включая whispertranscribe.ai, следует оценивать на своих записях, а не по рекламной цифре.
Какая модель Whisper самая точная?
Модели large наиболее точны. В исследовании OpenAI large-v2 имела наименьшие ошибки на большинстве наборов, а карточка large-v3 сообщает на 10–20% меньше ошибок, чем large-v2, на многих языках. Turbo — оптимизированная large-v3, которая, по OpenAI, немного теряет точность ради значительно большей скорости. Маленькая tiny намного менее точна на сложном аудио: 48.0% WER на шумном ужине против 24.9% у large-v2.
Почему Whisper пишет непроизнесённые слова?
Whisper может галлюцинировать, поскольку обучен предсказывать вероятный текст наряду с распознаванием звука; карточка предупреждает о тексте, которого нет в аудио. Чаще это бывает на длинной тишине, музыке или шуме. Независимое исследование 2023 года обнаружило выдуманные фразы примерно в 1% расшифровок, причём паузы повышали вероятность. Обрезка тишины, выбор языка и проверка тихих участков снижают риск.
Насколько точен Whisper с акцентами?
Whisper работает с акцентами лучше многих старых систем, но неравномерно. Карточка OpenAI сообщает, что точность различается между акцентами и диалектами одного языка. В исследовании длинные интервью CORAAL на афроамериканском английском получили 19.6% WER против 3.5% полных выступлений TED, хотя условия записи тоже различаются. Надёжнее проверить фрагмент с голосами, похожими на реальные, и выделить больше времени на проверку сильных акцентов.
Точен ли Whisper как человек-транскрибатор?
На английском Whisper близок к лучшим, но не достигает их. OpenAI сравнила его с пятью профессиональными сервисами на 25 записях. У сервиса с компьютерной поддержкой общий WER был на 1.15 пункта ниже, а у четырёх полностью человеческих — на долю пункта ниже. Люди обычно лучше справляются с именами, перебиваниями и неясной речью. Для цитирования, подачи или публикации человек должен сверить текст с записью.
Насколько точен Whisper на других языках?
Результат сильно зависит от языка. На Fleurs large-v2 получила 3.0% WER на испанском, 4.5% на немецком, 8.3% на французском, но 27.1% на иврите и 99.0% на телугу. Китайский и японский оцениваются по ошибкам символов: 14.7% и 5.3%. Исследование обнаружило связь точности с объёмом обучающего аудио языка. Для языков с меньшими ресурсами проверьте короткий фрагмент и выделите больше времени на исправления.
Проверьте точность на своей записи
Тесты описывают чужое аудио. Загрузите фрагмент в whispertranscribe.ai на одном из более чем 130 языков и оцените его по шагам этого руководства. Начните бесплатно без аккаунта или сравните тарифы.
Связанные статьи: Что такое Whisper AI? · Лучшие бесплатные программы транскрибации · Лучшие альтернативы TurboScribe · Как расшифровать видео YouTube · Что такое SRT? · Жёсткие и мягкие субтитры
Источники
- Radford и соавторы, Robust Speech Recognition via Large-Scale Weak Supervision (исследование Whisper, OpenAI, 2022): таблицы 2, 9, 13, 16 и разделы 3–6
- OpenAI, openai/whisper на GitHub: таблица моделей README, примечание о turbo и график WER по языкам
- OpenAI и Hugging Face, карточка модели whisper-large-v3: изменения large-v3, оценённое использование и ограничения
- Koenecke и соавторы, Careless Whisper: Speech-to-Text Hallucination Harms (2024)
- jiwer: открытая библиотека для WER и CER
- Hugging Face, Open ASR Leaderboard: независимое регулярно обновляемое сравнение открытых речевых моделей
