Колко точен е Whisper AI? WER, реални ограничения и съвети (2026)

От редакционния екип на whispertranscribe.ai · Последна актуализация: ноември 2026 г. · 13 минути четене · Категория: Точност на транскрипцията

Колко точен е Whisper? При чист прочетен английски научната публикация на OpenAI отчита 2.5% честота на грешки в думите (WER) за Whisper large-v2 — приблизително 97–98 верни думи от 100. При по-трудно аудио резултатите са по-лоши: 13.6% при телефонни разговори, 24.9% на шумна вечеря и 39.9% на среща, записана с един отдалечен микрофон.

Whisper е моделът с отворен код на OpenAI за разпознаване на реч и двигателят на много приложения за транскрипция, включително нашето. Това ръководство разглежда само точността: какво измерва WER, резултатите по вид аудио и език, грешките на Whisper и как сами да го проверите. За основите на модела вижте какво е Whisper AI.

Повечето числа са от публикацията за Whisper (Radford и съавтори, 2022), която тества моделите без допълнително обучение върху тестовите набори („zero-shot“). По-новата карта на модела large-v3 отчита 10% до 20% по-малко грешки спрямо large-v2 за много езици, но без пълна таблица по набори. whispertranscribe.ai публикува тази статия. Не сме провеждали сравнителен тест за нея и никое число тук не е наш резултат.

Точността на Whisper накратко

Един набор не може да отговори на въпроса, защото най-силно влияе аудиото. Таблицата показва резултатите на OpenAI за large-v2 с beam search и temperature fallback (таблица 9 в приложението), оценени след нормализация на текста от OpenAI.

Тип аудио Тестов набор в публикацията WER на Whisper large-v2 Приблизителен дял верни думи
Аудиокнига, ясно четене LibriSpeech test-clean 2.5% Около 97.5 от 100
Прочетени новини WSJ 2.6% Около 97.4 от 100
Лекции TED TED-LIUM 3 3.7% Около 96 от 100
Аудиокнига, по-трудни говорители LibriSpeech test-other 4.9% Около 95 от 100
Доброволци с домашни микрофони Common Voice 5.1 8.2% Около 92 от 100
Телефонни разговори Switchboard 13.6% Около 86 от 100
Дълги социолингвистични интервюта CORAAL 14.2% Около 86 от 100
Телефонни разговори между семейство и приятели CallHome 16.4% Около 84 от 100
Срещи с микрофон на слушалките на всеки AMI IHM 17.4% Около 83 от 100
Вечери с отдалечени микрофони CHiME-6 24.9% Около 75 от 100
Срещи с един отдалечен настолен микрофон AMI SDM1 39.9% Около 60 от 100

„Дял верни думи“ е 100 минус WER — приблизителна оценка, защото WER брои и добавените думи.

Често се цитира и 2.7%: това е същият модел с по-просто greedy декодиране (таблица 2). Редовете за AMI са едни и същи срещи, записани по два начина. Преместването на микрофона от всеки говорител до средата на масата повече от удвоява грешките.

Какво е честота на грешки в думите (WER) и как се изчислява?

WER е делът грешки в транскрипта спрямо проверен от човек еталон. Пребройте три вида грешки и разделете на думите в еталона:

WER = (замени + пропуски + добавяния) ÷ думи в еталона

  • Замяна: грешна дума вместо правилната (например „обяд“ вместо „обект“).
  • Пропуск: изговорена дума липсва в транскрипта.
  • Добавяне: дума в транскрипта не е била изговорена.

Ето наш пример за онагледяване; той може да се оцени с библиотеката с отворен код jiwer:

Ред Текст
Еталон (22 думи) ние преместихме старта на продукта за девети март защото доставчикът пропусна два крайни срока и доктор Пател иска нов план за тестове
Транскрипт ние преместихме старта продукта за девети март защото доставчикът пропусна два крайни срока и доктор Батъл иска нов проект за тестове днес
Грешки 2 замени (Батъл, проект), 1 пропуск (на), 1 добавяне (днес)
WER 4 ÷ 22 = 18.2%

Три неща за WER често изненадват:

  1. Може да надхвърли 100%. Няма таван за добавянията, а няколко езика с малко ресурси в резултатите Fleurs надвишават 100%.
  2. Нормализацията променя оценката. „Dr.“ срещу „doctor“ се брои за грешка, ако двата текста не се обработят еднакво. Според OpenAI нормализаторът намалява WER до 50% за някои набори, главно чрез премахване на разлики във форматирането.
  3. Някои езици използват честота на грешки по знаци (CER). За китайски, японски, тайски, лаоски и бирмански, които не отделят думите с интервали, публикацията оценява знаците.

Твърдение за точност без посочен набор и метод на оценяване не е измерване, независимо кой го прави — включително ние.

Колко точен е Whisper на английски?

Whisper е много точен при ясен английски и остава използваем при по-труден. В публикацията той прави с 55.2% по-малко грешки в 12 други английски набора от супервизирания wav2vec 2.0 с почти същия резултат в LibriSpeech.

Дълги записи

Whisper чете аудиото на прозорци от по 30 секунди, затова публикацията тества дългите файлове отделно (таблица 16 в приложението, large-v2):

Набор с дълги записи Съдържание WER
TED-LIUM 3 11 цели TED лекции 3.5%
Meanwhile 64 късни телевизионни сегмента с много необичайни думи 5.1%
Kincaid46 46 различни записа от сравнение през 2018 г. 8.8%
Earnings-21 Разговори за финансови резултати 9.7%
Rev16 16 епизода на подкасти 11.3%
Earnings-22 Още разговори за резултати с много акценти 12.6%
CORAAL 231 цели интервюта на афроамерикански английски 19.6%

Whisper срещу хора транскрибатори

OpenAI възлага 25 записа от Kincaid46 на четири изцяло човешки и една компютърно подпомагана услуга. Подпомаганата услуга се представя с 1.15 процентни пункта по-добре от Whisper, а изцяло човешките — само с част от пункт. Изводът на публикацията е, че резултатът не е съвършен, но е много близо до човешкото ниво.

Размерът на модела има значение

Whisper има няколко размера, а приложенията не винаги посочват кой използват (таблица 9 в приложението):

Модел Параметри LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

Разликата расте с трудността: около 4 пункта при чисти аудиокниги и 23 пункта при вечерята. По-новият модел turbo, оптимизиран large-v3, приема минимално влошаване на точността според GitHub README на OpenAI в замяна на много по-бърза транскрипция.

Колко точен е Whisper на други езици?

Извън английския точността зависи най-вече от количеството обучаващо аудио на съответния език. Публикацията намира квадрат на корелацията 0.83 между логаритъма на часовете обучение и логаритъма на WER и оценява, че WER намалява наполовина при всяко 16-кратно увеличение на данните. Повечето от 96-те неанглийски езика имат под 1,000 часа.

Избрани резултати от Fleurs (прочетени изречения, large-v2, таблица 13):

Език Fleurs WER Бележка
Испански 3.0% Най-нисък в таблицата
Английски 4.2%
Португалски 4.3%
Немски 4.5%
Японски 5.3% Честота на грешки по знаци
Руски 5.6%
Френски 8.3%
Корейски 14.3% Отбелязан като отклонение
Китайски 14.7% Честота на грешки по знаци
Арабски 16.0%
Хинди 21.5%
Иврит 27.1% Отбелязан като отклонение
Суахили 39.3%
Телугу 99.0% Отбелязан като отклонение

Публикацията отбелязва, че иврит, телугу, китайски и корейски се представят по-зле от прогнозата според обучаващите данни, вероятно заради езикова отдалеченост, неподходящ токенизатор или качество на данните. Fleurs съдържа прочетена реч, затова очаквайте повече грешки в разговор. README има по-нова диаграма за large-v3 и large-v2 върху Common Voice 15 и Fleurs.

Резултатите за испански са обнадеждаващи, ако транскрибирате испанско аудио. За езици с по-малко ресурси тествайте кратък откъс преди цял проект.

Какво влияе на точността на Whisper?

Условията на запис са най-важни. Данни от публикацията и картата на модела:

Фактор Какво показват данните Какво да направите
Фонов шум При шум в заведение под 10 dB съотношение сигнал/шум Whisper надминава всички 14 сравнени модела, но всички се влошават с увеличаване на шума Записвайте в тиха стая, далеч от вентилатори и музика
Разстояние до микрофона Същите срещи AMI: 17.4% с микрофони на слушалки, 39.9% с един настолен микрофон Дръжте микрофона близо до говорителя
Разговор и застъпване Телефон и вечери дават 13.6% до 24.9% срещу 2.5% за прочетена реч Един говорител наведнъж; отделен микрофон за всеки
Акценти и диалекти Картата отчита неравномерна точност; дългите интервюта CORAAL дават 19.6% Тествайте с говорители, подобни на тези в реалните записи
Редки думи и жаргон Добър резултат за богатия на жаргон Meanwhile (5.1%), но имената и техническите термини остават чести грешки Проверете имена и термини по списък
Езикови ресурси Fleurs WER е от 3.0% (испански) до 99.0% (телугу) Изберете езика сами; предвидете повече преглед при езици с малко ресурси
Размер на модела tiny дава 48.0% за CHiME-6, large-v2 24.9% Попитайте кой модел използва инструментът или използвайте най-големия възможен
Файлов формат и честота Кодът на Whisper преобразува всичко до 16 kHz моно 48 kHz WAV не носи предимство пред чист файл от 16 kHz

Преобразуването на MP3 в голям WAV не възстановява изгубените детайли. Чист запис с умерен битрейт е по-добър от шумен с висок.

Известни проблеми на Whisper: халюцинации, повторения и времеви маркери

OpenAI документира всеки от тези проблеми, които са по-важни, отколкото делът им в WER подсказва.

Халюциниран текст

Whisper може да напише неизговорени думи. Картата на модела предупреждава, че прогнозите може да включват текст, който не присъства в аудиото, вероятно защото моделът предсказва и вероятните следващи думи. Разделът за ограничения в публикацията споменава дори пълна халюцинация — изход без връзка с аудиото.

Независимото изследване Careless Whisper (Koenecke и съавтори, 2024) обработва 13,140 аудиосегмента чрез Whisper API на OpenAI през април и май 2023 г. Около 1% от транскрипциите (средно 1.4%) съдържат цели измислени фрази или изречения, а 38% от тях — вредно съдържание като насилие или неверни асоциации. По-дългите паузи при говорители, тук хора с афазия, водят до повече случаи. API се е променил оттогава; приемайте това за измерване от 2023 г.

Повтарящи се цикли и пропуснати думи

Картата на модела посочва склонност към повторения, която beam search и temperature scheduling намаляват, но не премахват напълно. Публикацията посочва и пропускане на първи или последни думи в сегмент. Поправките в декодирането намаляват средния WER при дълги записи от 11.0% на 10.0% — подобрение, но не пълно решение.

Тишина, музика и паразитни думи

Измислен текст често се появява при дълга тишина и музика. Публикацията установява, че сигналът на Whisper „няма реч“ сам по себе си е ненадежден; кодът с отворен изход вече има опция за пропускане на дълга тишина при вероятна халюцинация.

Отклонение на времевите маркери и дълги файлове

Whisper обработва дългото аудио по един 30-секунден прозорец, използвайки предсказаните времеви маркери за следващия. Затова публикацията отбелязва, че грешка може да се пренесе в следващия прозорец. Времевите маркери по думи са отбелязани като „експериментални“ в кода. При субтитри проверявайте времето около паузите.

По време на разработката OpenAI също наблюдава предположени имена на говорители, които почти винаги са грешни. Публикуваните модели са дообучени, за да се ограничи това, но проверявайте всяко име.

10 начина да подобрите точността на транскрипцията с Whisper

Повечето подобрения идват преди натискане на бутона за транскрипция, приблизително от най-силен към най-слаб ефект:

  1. Поставете микрофона близо. Само разстоянието повече от удвоява грешките в срещите AMI.
  2. Намалете шума при източника. Затворете прозорците, изключете вентилаторите и спрете музиката.
  3. Избягвайте застъпване на речта. Един човек наведнъж е по-добре от всяка настройка.
  4. Изрежете дългата тишина и музикалните въведения, където често се появява измислен текст. Режете при паузи, не по средата на изречение.
  5. Задайте езика сами. Whisper разпознава правилно езика в 80.3% от случаите за 82 езика във Fleurs, така че автоматичното разпознаване може да сгреши при кратки записи или акценти.
  6. Използвайте най-големия наличен модел, особено за шумни записи.
  7. Подайте имена и термини като подсказка при собствено хостване. Whisper с отворен код приема --initial_prompt с очаквания правопис.
  8. Качете оригиналния файл. Презапис през високоговорители или многократна компресия губят детайли.
  9. Проверете термините. Потърсете имена, числа, дати и съкращения и ги сравнете с аудиото.
  10. Прегледайте на два прохода. Първо поправете грешките при нормална скорост. После потърсете признаци на халюцинация: повторения, изречения върху тишина и финални фрази като „Благодаря за гледането“. При правни, медицински или публикувани материали човек трябва да провери всичко.

Как да измерите точността на Whisper върху собственото си аудио

Най-добрата оценка за вашата работа е 30-минутен тест със собствени записи. Следните стъпки са за вас; те не са тест на whispertranscribe.ai.

  1. Изберете три откъса по 2 минути, подобни на реалната ви работа: лесен, типичен и труден.
  2. Напишете еталонен транскрипт на ръка, дума по дума. Първо задайте правила: запазвате ли „ъ“, числата с цифри или думи.
  3. Транскрибирайте всеки откъс с инструмента, който проверявате, и запазете обикновен текст.
  4. Нормализирайте двата текста по един и същи начин. Нормализаторът на OpenAI се предоставя с openai-whisper.
  5. Изчислете WER с jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Бройте критичните грешки отделно. Пет грешни паразитни думи и пет грешни имена на клиенти дават еднакъв WER, но не са един и същ проблем.
  2. Записвайте резултатите, за да сравнявате инструменти и настройки:
Откъс Условия Думи в еталона S D I WER Критични грешки
Откъс A Тиха стая, един говорител 310
Откъс B Видеоразговор, двама говорители 285
Откъс C Кафене, говорител с акцент 296

Броят думи е примерен. Внимание за стъпка 4: английският нормализатор на OpenAI може да съпостави „Dr.“ с „doctor“ и „two“ с „2“, но да отчете „9th“ срещу „ninth“ като грешка. Прочитайте отбелязаните разлики, преди да се доверите на резултата.

Колко точен е whispertranscribe.ai?

whispertranscribe.ai е уеб инструмент за AI транскрипция, базиран на Whisper, с над 130 езика и файлове до 5GB и 10 часа. При чисто аудио точността достига до 99%; фоновият шум, силните акценти и застъпването я намаляват, както показват горните тестове за самия Whisper. Не твърдим, че достигаме или надминаваме числата от публикацията, и не сме публикували собствен сравнителен тест; проверете свои откъси по горните стъпки.

Можете да започнете безплатно без акаунт. Платените планове започват от $9.99/месец при годишно плащане; вижте цените.

Често задавани въпроси

Точен ли е Whisper на 99%?

Не като общо правило. Най-добрият публикуван резултат на Whisper е 2.5% WER на LibriSpeech test-clean — ясно прочетени аудиокниги, което е приблизително 97.5% верни думи. При телефонни разговори, срещи и шумни стаи числата на OpenAI варират от около 13% до 40% WER. Твърдение за „99%“ има смисъл само ако посочва аудиото, върху което е измерено. Инструментите, базирани на Whisper, включително whispertranscribe.ai, трябва да се оценяват с вашите записи, а не с рекламен процент.

Кой модел на Whisper е най-точен?

Големите модели са най-точни. В публикацията на OpenAI large-v2 има най-ниски грешки в повечето набори, а картата на large-v3 отчита 10% до 20% по-малко грешки от large-v2 за много езици. Turbo е оптимизиран large-v3, който според OpenAI губи малко точност срещу значително по-висока скорост. Най-малкият модел tiny е много по-неточен при трудно аудио: 48.0% WER при шумна вечеря срещу 24.9% за large-v2.

Защо Whisper пише неизговорени думи?

Whisper може да халюцинира, защото е обучен да предсказва вероятен текст наред с транскрибирането на звук, а картата на OpenAI предупреждава за текст, който не е в аудиото. Това се случва най-често при дълга тишина, музика или шум. Независимо изследване от 2023 г. открива измислени фрази в около 1% от транскрипциите, като паузите ги правят по-вероятни. Изрязването на тишина, задаването на език и прегледът на тихите части намаляват риска.

Колко точен е Whisper при акценти?

Whisper се справя с акценти по-добре от много по-стари системи, но не равномерно. Картата на OpenAI казва, че точността варира между акценти и диалекти на един език. В публикацията дългите интервюта на афроамерикански английски (CORAAL) дават 19.6% WER срещу 3.5% за цели TED лекции, макар условията на запис също да се различават. Надеждният подход е да тествате откъс с говорители, подобни на тези във вашите записи, и да предвидите повече преглед при силни акценти.

Толкова точен ли е Whisper, колкото човек транскрибатор?

За английски Whisper е близо, но не достига най-добрите. OpenAI го сравнява с пет професионални услуги върху 25 записа. Компютърно подпомагана услуга има общ WER с 1.15 пункта по-нисък, а четири изцяло човешки услуги са по-добри с част от пункт. Хората обикновено се справят по-добре с имена, застъпване и неясна реч. За цитирани, подавани или публикувани материали човек трябва да прегледа транскрипта спрямо записа.

Колко точен е Whisper на езици, различни от английски?

Точността се различава значително. В теста Fleurs large-v2 дава 3.0% WER на испански, 4.5% на немски и 8.3% на френски, но 27.1% на иврит и 99.0% на телугу. Китайският и японският се оценяват по грешки в знаците: 14.7% и 5.3%. Публикацията установява връзка между точността и количеството аудио за обучение на езика. За езици с малко ресурси първо тествайте кратък откъс и предвидете повече време за поправки.

Тествайте точността със собствен запис

Сравнителните тестове описват чуждо аудио. Качете откъс в whispertranscribe.ai на един от над 130 езика и го оценете с описаните стъпки. Започнете безплатно без акаунт или сравнете плановете.

Свързани статии: Какво е Whisper AI? · Най-добър безплатен софтуер за транскрипция · Най-добри алтернативи на TurboScribe · Как да транскрибирате видео от YouTube · Какво е SRT файл? · Вградени срещу отделни субтитри

Източници

Искате ли да превърнете записите си в текст?

Транскрибирайте аудио и видео с whispertranscribe.ai.

Започнете транскрипция ↗