Наскільки точний Whisper AI? WER, реальні межі та поради (2026)

Редакція whispertranscribe.ai · Оновлено: листопад 2026 · Час читання: 13 хвилин · Категорія: Точність транскрибування

Наскільки точний Whisper? На чистій читаній англійській стаття OpenAI повідомляє про 2,5 % частки помилок слів (WER) для Whisper large-v2, тобто приблизно 97–98 правильних слів зі 100. Складніше аудіо дає гірші результати: 13,6 % для телефонних розмов, 24,9 % на шумній вечері та 39,9 % на зустрічі з одним віддаленим мікрофоном.

Whisper — відкрита модель розпізнавання мовлення OpenAI та основа багатьох застосунків транскрибування, включно з нашим. Цей посібник присвячений точності: що вимірює WER, що кажуть тести для різного аудіо й мов, де Whisper помиляється та як перевірити його самостійно. Про історію моделі читайте що таке Whisper AI.

Більшість чисел — зі статті про Whisper (Radford та ін., 2022), де всі моделі тестували без донавчання на тестових наборах, тобто zero-shot. Новіша картка large-v3 повідомляє на 10–20 % менше помилок за large-v2 багатьма мовами, але без повної таблиці за наборами. Статтю публікує whispertranscribe.ai. Ми не проводили власного тесту; жодна цифра тут не є нашим результатом.

Точність Whisper коротко

Жоден окремий набір не відповість на питання, адже аудіо найбільше змінює результат. Таблиця показує результати OpenAI для large-v2 з beam search і температурним резервом (таблиця 9 додатка), оцінені після нормалізації тексту OpenAI.

Тип аудіо Тестовий набір статті Whisper large-v2 WER Приблизна частка правильних слів
Аудіокнига, чіткий читець LibriSpeech test-clean 2,5 % Близько 97,5 зі 100
Читані новини WSJ 2,6 % Близько 97,4 зі 100
Виступи TED TED-LIUM 3 3,7 % Близько 96 зі 100
Аудіокнига, складніші мовці LibriSpeech test-other 4,9 % Близько 95 зі 100
Добровольці з домашніми мікрофонами Common Voice 5.1 8,2 % Близько 92 зі 100
Телефонні розмови Switchboard 13,6 % Близько 86 зі 100
Довгі соціолінгвістичні інтерв'ю CORAAL 14,2 % Близько 86 зі 100
Дзвінки між рідними й друзями CallHome 16,4 % Близько 84 зі 100
Зустрічі, у кожного гарнітура AMI IHM 17,4 % Близько 83 зі 100
Вечері, віддалені мікрофони CHiME-6 24,9 % Близько 75 зі 100
Зустрічі, один віддалений настільний мікрофон AMI SDM1 39,9 % Близько 60 зі 100

«Частка правильних слів» — це 100 мінус WER, спрощення, оскільки WER рахує й додані слова.

Часто наводять 2,7 %: це та сама модель із простішим greedy-декодуванням (таблиця 2 статті). Рядки AMI — ті самі зустрічі, записані двома способами. Перенесення мікрофона від голови кожного мовця на середину столу більш ніж подвоює помилки.

Що таке частка помилок слів (WER) і як її обчислюють?

WER — частка помилок у транскрипті порівняно з перевіреним людиною еталоном. Підрахуйте три типи й поділіть на кількість слів еталона:

WER = (заміни + видалення + вставки) ÷ кількість слів в еталоні

  • Заміна: неправильне слово замість правильного («обід» замість «запуск»).
  • Видалення: сказаного слова немає в транскрипті.
  • Вставка: у транскрипті є слово, якого ніхто не сказав.

Власний приклад, який можна оцінити методом відкритої бібліотеки jiwer:

Рядок Текст
Еталон (22 слова) ми перенесли запуск продукту на березень бо постачальник пропустив два терміни а лікар патель хоче новий план для подальшого тесту цього тижня
Транскрипт ми перенесли обід продукту на березень бо постачальник пропустив терміни а лікар батель хоче новий план для подальшого тесту цього тижня завтра
Помилки 2 заміни (обід, батель), 1 видалення (два), 1 вставка (завтра)
WER 4 ÷ 22 = 18,2 %

Три моменти WER часто дивують:

  1. Показник може перевищити 100 %. Вставки не мають верхньої межі, і декілька малоресурсних мов у результатах Fleurs статті мають понад 100 %.
  2. Нормалізація змінює результат. «Dr.» і «doctor» вважаються помилкою, якщо обидва тексти не очищені однаково. OpenAI каже, що нормалізатор знизив WER до 50 % на деяких наборах переважно завдяки усуненню форматних відмінностей.
  3. Деякі мови використовують частку помилок символів (CER). Для китайської, японської, тайської, лаоської та бірманської, які не розділяють слова пробілами, стаття оцінює символи.

Заява про точність без названого набору й методу оцінювання не є вимірюванням, хто б її не робив, включно з нами.

Наскільки точний Whisper англійською?

Whisper дуже точний на чистій англійській і залишається придатним на складному аудіо. У статті він зробив на 55,2 % менше помилок у 12 інших англійських наборах, ніж навчена з наглядом wav2vec 2.0 з майже таким самим результатом LibriSpeech.

Довгі записи

Whisper читає аудіо 30-секундними вікнами, тому стаття окремо перевірила довгі файли (таблиця 16 додатка, large-v2):

Довгий тестовий набір Вміст WER
TED-LIUM 3 11 повних виступів TED 3,5 %
Meanwhile 64 нічні телесегменти з багатьма незвичними словами 5,1 %
Kincaid46 46 різних записів із порівняння 2018 року 8,8 %
Earnings-21 Дзвінки про результати компаній 9,7 %
Rev16 16 епізодів подкастів 11,3 %
Earnings-22 Інші дзвінки про результати з багатьма акцентами 12,6 %
CORAAL 231 повне інтерв'ю афроамериканською англійською 19,6 %

Whisper проти людей-транскрибаторів

OpenAI замовила транскрибування 25 записів Kincaid46 чотирьом людським сервісам та одному комп'ютерно підтримуваному. Останній отримав результат на 1,15 відсоткового пункта кращий за Whisper, а суто людські сервіси — лише на частку пункта кращий. Висновок статті: не ідеально, але дуже близько до людської точності.

Розмір моделі важливий

Whisper має кілька розмірів, а застосунки не завжди вказують, який використовують (таблиця 9 додатка):

Модель Параметри LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6,7 % 26,1 % 18,3 % 48,0 %
base 74M 4,9 % 19,4 % 15,6 % 40,0 %
small 244M 3,3 % 12,8 % 13,3 % 30,9 %
medium 769M 2,7 % 9,7 % 13,2 % 27,6 %
large-v2 1550M 2,5 % 8,2 % 13,6 % 24,9 %

Розрив зростає зі складністю аудіо: близько 4 пунктів на чистих аудіокнигах і 23 на вечері. Новіша модель turbo, оптимізована large-v3, за README OpenAI на GitHub допускає мінімальне зниження точності заради значно швидшого транскрибування.

Наскільки точний Whisper іншими мовами?

Поза англійською точність насамперед залежить від обсягу навчального аудіо цією мовою. Стаття виявила квадрат кореляції 0,83 між логарифмами годин навчання та WER і оцінює, що WER зменшується вдвічі за кожного 16-кратного збільшення даних. Більшість із 96 неанглійських мов мали менше 1 000 годин.

Вибрані результати Fleurs (читані речення, large-v2, таблиця 13 додатка):

Мова Fleurs WER Примітка
Іспанська 3,0 % Найнижча в таблиці
Англійська 4,2 %
Португальська 4,3 %
Німецька 4,5 %
Японська 5,3 % Частка помилок символів
Російська 5,6 %
Французька 8,3 %
Корейська 14,3 % Позначена як викид
Китайська 14,7 % Частка помилок символів
Арабська 16,0 %
Гінді 21,5 %
Іврит 27,1 % Позначений як викид
Суахілі 39,3 %
Телугу 99,0 % Позначена як викид

Стаття позначає іврит, телугу, китайську й корейську як гірші за прогноз на основі навчальних даних, можливо через мовну відстань, токенізатор, погано пристосований до письма, або якість даних. Fleurs — читане мовлення, тому в розмовах очікуйте вищої помилки. README містить новіший графік large-v3 і large-v2 на Common Voice 15 та Fleurs.

Іспанські результати обнадіюють, якщо ви транскрибуєте іспанське аудіо. Для малоресурсних мов перевірте короткий фрагмент перед усім проєктом.

Що впливає на точність Whisper?

Найважливіші умови запису. Дані зі статті й картки моделі:

Чинник Що показують дані Що робити
Фоновий шум За шуму пабу нижче 10 дБ сигнал/шум Whisper перевершив усі 14 моделей порівняння, але всі погіршувалися зі зростанням шуму Записуйте в тихій кімнаті подалі від вентиляторів і музики
Відстань до мікрофона Ті самі зустрічі AMI: 17,4 % з гарнітурами, 39,9 % з настільним мікрофоном Тримайте мікрофон біля мовця
Розмова й накладання голосів Телефон і вечері дають 13,6–24,9 % проти 2,5 % читаного мовлення Говоріть по черзі; мікрофон на кожного
Акценти й діалекти Картка повідомляє нерівномірну точність; довгі інтерв'ю CORAAL — 19,6 % Тестуйте мовців, схожих на ваших
Рідкісні слова й жаргон Добре на насиченому термінами Meanwhile (5,1 %), але імена й технічні терміни часто помилкові Перевіряйте імена й терміни за списком
Мовні ресурси Fleurs WER від 3,0 % (іспанська) до 99,0 % (телугу) Виберіть мову самі; плануйте більше перевірки малоресурсних мов
Розмір моделі tiny має 48,0 % на CHiME-6, large-v2 — 24,9 % Запитайте модель інструмента або використайте найбільшу доступну
Формат і частота Код Whisper пересемпловує все аудіо до 16 кГц моно WAV 48 кГц не дає переваги над чистим файлом 16 кГц

Перетворення MP3 на великий WAV не відновить втрачених деталей. Чистий запис із помірним бітрейтом кращий за шумний із високим.

Відомі проблеми Whisper: галюцинації, повтори й часові позначки

OpenAI документує кожну з цих помилок, які можуть бути важливішими за їхню частку WER.

Вигаданий текст

Whisper може написати слова, яких ніхто не сказав. Картка моделі зазначає, що прогнози можуть включати невимовлений текст, імовірно через прогнозування наступних слів. У розділі обмежень стаття згадує навіть повну галюцинацію — результат, не пов'язаний з аудіо.

Незалежне дослідження Careless Whisper (Koenecke та ін., 2024) пропустило 13 140 аудіосегментів через Whisper API OpenAI у квітні й травні 2023 року. Приблизно 1 % транскриптів (у середньому 1,4 %) містили цілі вигадані фрази чи речення; 38 % із них містили шкідливий вміст, як насильство або хибні асоціації. Мовці з довшими паузами, тут люди з афазією, спричиняли їх частіше. API з того часу змінився, тож це вимірювання 2023 року.

Цикли повторів і пропущені слова

Картка каже, що Whisper схильний повторювати текст; beam search і температурне планування зменшують, але не усувають проблему. Стаття також зазначає пропуск перших або останніх слів сегмента. Виправлення декодування знизили середній WER довгих записів з 11,0 % до 10,0 %: краще, але не вирішено.

Тиша, музика й заповнювачі

Вигаданий текст часто з'являється в довгій тиші та музиці. Стаття виявила, що власний сигнал Whisper «немає мовлення» ненадійний сам по собі; відкритий код тепер має опцію пропуску довгих пауз при ймовірній галюцинації.

Дрейф часу й довгі файли

Whisper рухається довгим аудіо 30-секундними вікнами й використовує власні прогнозовані позначки для наступного вікна, тому помилка може перейти далі. Часові позначки на рівні слова позначені в коді як експериментальні. Для субтитрів вибірково перевіряйте час біля пауз.

Під час розробки OpenAI також бачила, як Whisper вгадував імена мовців, майже завжди неправильно. Випущені моделі донавчили, щоб зменшити це, але перевіряйте кожне ім'я.

10 способів підвищити точність транскрибування Whisper

Більшість покращень відбувається до запуску транскрибування. Приблизно від найбільшого впливу до найменшого:

  1. Поставте мікрофон близько. Одна лише відстань більш ніж подвоїла помилки на зустрічах AMI.
  2. Приберіть шум у джерелі. Зачиніть вікна, вимкніть вентилятори й музику.
  3. Уникайте одночасного мовлення. Одна людина за раз краща за будь-яке налаштування.
  4. Обріжте довгу тишу й музичні вступи, де часто з'являється вигаданий текст. Ріжте на паузах, а не посеред речення.
  5. Задайте мову самі. Whisper правильно визначив мову у 80,3 % випадків на 82 мовах Fleurs, тому автоматичне визначення помиляється на коротких фрагментах чи акцентах.
  6. Використовуйте найбільшу доступну модель, особливо для шуму.
  7. Додайте імена й терміни в підказку при самостійному запуску. Відкритий Whisper приймає --initial_prompt з очікуваним написанням.
  8. Завантажуйте оригінал. Повторний запис через колонки чи багаторазове стиснення втрачають деталі.
  9. Перевірте терміни. Знайдіть кожне ім'я, число, дату й скорочення та звірте з аудіо.
  10. Перевіряйте двічі. Спочатку виправте помилки на нормальній швидкості. Потім знайдіть ознаки галюцинацій: повтори, речення на тиші, завершення на кшталт «Дякуємо за перегляд». Юридичні, медичні й публічні матеріали має повністю перевірити людина.

Як виміряти точність Whisper на власному аудіо

Найкраща оцінка для вашої роботи — 30-хвилинний тест власних записів. Ці кроки виконуєте ви; це не тест whispertranscribe.ai.

  1. Виберіть три 2-хвилинні фрагменти, схожі на вашу роботу: легкий, типовий і складний.
  2. Напишіть еталон вручну, слово в слово. Спершу визначте правила: залишати чи прибирати «ем», записувати числа цифрами чи словами.
  3. Транскрибуйте кожен фрагмент тестованим інструментом і збережіть звичайний текст.
  4. Нормалізуйте обидва тексти однаково. Нормалізатор OpenAI входить до openai-whisper.
  5. Обчисліть WER за допомогою jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Окремо рахуйте критичні помилки. П'ять неправильних слів-паразитів і п'ять неправильних імен клієнтів дають однаковий WER, але це різні проблеми.
  2. Записуйте результати для порівняння інструментів або налаштувань:
Фрагмент Умови Слів в еталоні S D I WER Критичні помилки
Фрагмент A Тиха кімната, один мовець 310
Фрагмент B Відеодзвінок, два мовці 285
Фрагмент C Кафе, мовець з акцентом 296

Кількість слів умовна. Застереження до кроку 4: англійський нормалізатор OpenAI у прикладі зіставляє «Dr.» із «doctor», «two» з «2», але може вважати «9th» і «ninth» помилкою. Перегляньте відмінності, перш ніж довіряти показнику. Whisper CLI тут не встановлений; приклад коду не тестувався.

Наскільки точний whispertranscribe.ai?

whispertranscribe.ai — вебінструмент AI-транскрибування на Whisper, що підтримує понад 130 мов і файли до 5 ГБ та 10 годин. Точність сягає 99 % на чистому звуку; шум, сильні акценти й накладання голосів її знижують, як показують наведені тести Whisper. Ми не стверджуємо, що досягаємо чи перевищуємо показники статті, і не публікували власного benchmark; перевірте свої фрагменти за наведеними кроками.

Можна почати безкоштовно без облікового запису. Платні плани від 9,99 долара/місяць за річної оплати; див. ціни.

Поширені запитання

Whisper точний на 99 %?

Не загалом. Найкращий опублікований результат Whisper — 2,5 % WER на LibriSpeech test-clean, чітко читаних аудіокнигах, що приблизно відповідає 97,5 % правильних слів. Для дзвінків, зустрічей і шумних кімнат власні дані OpenAI становлять приблизно 13–40 % WER. Заява про 99 % має сенс лише із зазначенням виміряного аудіо. Інструменти на Whisper, включно з whispertranscribe.ai, слід оцінювати на ваших записах, а не за рекламним відсотком.

Яка модель Whisper найточніша?

Моделі large найточніші. У статті OpenAI large-v2 мала найнижчу частку помилок на більшості наборів, а картка large-v3 повідомляє на 10–20 % менше помилок багатьма мовами. Turbo — оптимізована large-v3, що за OpenAI втрачає трохи точності заради значно більшої швидкості. Найменша tiny значно менш точна на складному звуку: 48,0 % WER на шумній вечері проти 24,9 % у large-v2.

Чому Whisper пише невимовлені слова?

Whisper може галюцинувати, бо навчений передбачати ймовірний текст і транскрибувати звук; картка OpenAI попереджає про текст, якого немає в аудіо. Це найчастіше трапляється під час довгої тиші, музики чи шуму. Незалежне вимірювання 2023 року знайшло вигадані фрази приблизно в 1 % транскриптів, частіше біля пауз. Обрізання тиші, вибір мови й перевірка тихих місць зменшують ризик.

Наскільки точний Whisper з акцентами?

Whisper працює з акцентами краще за багато старих систем, але нерівномірно. Картка OpenAI каже, що точність різниться між акцентами й діалектами однієї мови. У статті довгі інтерв'ю афроамериканською англійською CORAAL мали 19,6 % WER проти 3,5 % у повних TED-виступах, хоча умови запису теж різні. Надійно — перевірити фрагмент із мовцями, схожими на ваших, і запланувати додаткову перевірку сильних акцентів.

Whisper такий самий точний, як людина?

Для англійської Whisper близький, але не дорівнює найкращим. OpenAI порівняла його з п'ятьма професійними сервісами на 25 записах. Комп'ютерно підтримуваний сервіс мав загальний WER на 1,15 пункта нижчий, а чотири суто людські — на частку пункта кращий. Люди все ще краще обробляють імена, накладання голосів і нерозбірливе мовлення. Усе, що цитують, подають або публікують, має перевірити людина за записом.

Наскільки точний Whisper неанглійськими мовами?

Це дуже різниться. На Fleurs large-v2 отримала 3,0 % WER іспанською, 4,5 % німецькою та 8,3 % французькою, але 27,1 % івритом і 99,0 % телугу. Китайську та японську оцінюють CER: 14,7 % і 5,3 %. Стаття виявила зв'язок точності з кількістю навчального аудіо. Для малоресурсних мов перевірте короткий фрагмент і виділіть більше часу на виправлення.

Перевірте точність на власному записі

Benchmark описує чуже аудіо. Завантажте фрагмент у whispertranscribe.ai однією з понад 130 мов та оцініть за цими кроками. Почніть безкоштовно без облікового запису або порівняйте плани.

Пов'язані статті: Що таке Whisper AI? · Найкращі безкоштовні програми транскрибування · Найкращі альтернативи TurboScribe · Як транскрибувати відео YouTube · Що таке файл SRT? · Вшиті та вибіркові субтитри

Джерела

Хочете перетворити свої записи на текст?

Розшифровуйте аудіо й відео за допомогою whispertranscribe.ai.

Почати розшифрування ↗