Колико је Whisper AI тачан? WER, стварна ограничења и савети (2026)

Уреднички тим whispertranscribe.ai · Последње ажурирање: новембар 2026. · 13 минута читања · Категорија: Тачност транскрипције

Колико је Whisper тачан? На чистом читаном енглеском OpenAI рад наводи стопу грешке речи (WER) од 2.5% за Whisper large-v2, отприлике 97 до 98 тачних речи од 100. Тежи аудио даје лошији резултат: 13.6% за телефонске разговоре, 24.9% за бучну вечеру и 39.9% за састанак снимљен једним удаљеним микрофоном.

Whisper је OpenAI модел за препознавање говора отвореног кода и основа многих апликација за транскрипцију, укључујући нашу. Овај водич обухвата само тачност: шта WER мери, резултате по аудију и језику, где Whisper греши и како сами да га проверите. За основу модела погледајте шта је Whisper AI.

Већина података долази из рада о Whisper-у (Radford и сарадници, 2022), који је тестирао моделе без дообуке на тестним скуповима („zero-shot“). Новија картица модела large-v3 наводи 10% до 20% мање грешака од large-v2 на многим језицима, али без потпуне табеле по скуповима. whispertranscribe.ai објављује чланак. Нисмо спровели упоредни тест и ниједан број није наш резултат.

Тачност Whisper-а укратко

Један тестни скуп не одговара на питање јер аудио највише мења резултат. Табела приказује OpenAI резултате за large-v2 са beam search и temperature fallback (табела 9 у прилогу), оцењене после OpenAI нормализације текста.

Врста аудија Тестни скуп у раду Whisper large-v2 WER Приближан удео тачних речи
Аудио-књига, јасно читање LibriSpeech test-clean 2.5% Око 97.5 од 100
Читане вести WSJ 2.6% Око 97.4 од 100
TED предавања TED-LIUM 3 3.7% Око 96 од 100
Аудио-књига, тежи говорници LibriSpeech test-other 4.9% Око 95 од 100
Волонтери на кућним микрофонима Common Voice 5.1 8.2% Око 92 од 100
Телефонски разговори Switchboard 13.6% Око 86 од 100
Дуги социолингвистички интервјуи CORAAL 14.2% Око 86 од 100
Телефонски разговори породице и пријатеља CallHome 16.4% Око 84 од 100
Састанци, сваки говорник има микрофон на слушалицама AMI IHM 17.4% Око 83 од 100
Вечере, удаљени микрофони CHiME-6 24.9% Око 75 од 100
Састанци, један удаљени стони микрофон AMI SDM1 39.9% Око 60 од 100

„Удео тачних речи“ је 100 минус WER, приближна рачуница јер WER броји и додате речи.

Често се наводи и 2.7%: исти модел са једноставнијим greedy декодирањем (табела 2). AMI редови су исти састанци снимљени на два начина. Померање микрофона са сваког говорника на средину стола више него удвостручује стопу грешке.

Шта је стопа грешке речи (WER) и како се рачуна?

WER је удео грешака транскрипта у односу на референтни текст који је проверио човек. Избројте три врсте грешака и поделите бројем речи у референци:

WER = (замене + изостављања + додавања) ÷ речи у референци

  • Замена: погрешна реч уместо тачне (нпр. „ручак“ уместо „почетак“).
  • Изостављање: изговорена реч недостаје у транскрипту.
  • Додавање: реч у транскрипту није изговорена.

Ево нашег илустративног примера који се може оценити библиотеком отвореног кода jiwer:

Ред Текст
Референца (22 речи) ми смо померили почетак нашег пројекта за девети март јер је добављач каснио два пута а доктор Пател тражи нов план тестирања
Транскрипт ми смо померили почетак пројекта за девети март јер је добављач каснио два пута а доктор Батл тражи нов програм тестирања данас
Грешке 2 замене (Батл, програм), 1 изостављање (нашег), 1 додавање (данас)
WER 4 ÷ 22 = 18.2%

Три ствари о WER-у често збуњују:

  1. Може прећи 100%. Додавања немају горњу границу, а неки језици са мало ресурса у Fleurs резултатима рада прелазе 100%.
  2. Нормализација мења резултат. „Dr.“ према „doctor“ броји се као грешка ако се оба текста не обраде исто. OpenAI каже да је нормализатор смањио WER до 50% на неким скуповима, углавном уклањањем разлика у форматирању.
  3. Неки језици користе стопу грешке знакова (CER). За кинески, јапански, тајландски, лаоски и бурмански, који не раздвајају речи размацима, рад оцењује знакове.

Тврдња о тачности без именованог скупа и метода оцењивања није мерење, ко год је износио, укључујући нас.

Колико је Whisper тачан на енглеском?

Whisper је врло тачан на јасном енглеском и остаје употребљив на тежем. У раду је направио 55.2% мање грешака на 12 других енглеских скупова од надгледаног wav2vec 2.0 модела са скоро истим LibriSpeech резултатом.

Дуги снимци

Whisper чита аудио у прозорима од по 30 секунди, па је рад засебно тестирао дуге датотеке (табела 16 у прилогу, large-v2):

Тестни скуп дугог аудија Садржај WER
TED-LIUM 3 11 целих TED предавања 3.5%
Meanwhile 64 касна ТВ сегмента са много необичних речи 5.1%
Kincaid46 46 разних снимака из поређења 2018. 8.8%
Earnings-21 Разговори о пословним резултатима 9.7%
Rev16 16 епизода подкаста 11.3%
Earnings-22 Још разговора о резултатима, много акцената 12.6%
CORAAL 231 цео интервју на афроамеричком енглеском 19.6%

Whisper у односу на људске транскрибере

OpenAI је 25 Kincaid46 снимака дао четирима људским и једној рачунарски потпомогнутој услузи. Потпомогнута услуга била је боља од Whisper-а за 1.15 процентних поена, а искључиво људске тек делић поена. Закључак рада је да резултат није савршен, али је веома близу људској тачности.

Величина модела је важна

Whisper постоји у више величина, а апликације не наводе увек коју користе (табела 9 у прилогу):

Модел Параметри LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

Разлика расте са тежином аудија: око 4 поена на чистим аудио-књигама, 23 на вечери. Новији модел turbo, оптимизовани large-v3, прихвата минимално погоршање тачности према OpenAI GitHub README-у за много бржу транскрипцију.

Колико је Whisper тачан на другим језицима?

Изван енглеског тачност највише зависи од количине аудија за обуку на датом језику. Рад налази квадрат корелације од 0.83 између логаритма сати обуке и логаритма WER-а и процењује да се WER преполови са сваким 16-струким повећањем података. Већина од 96 неенглеских језика имала је мање од 1,000 сати.

Изабрани Fleurs резултати (читане реченице, large-v2, табела 13):

Језик Fleurs WER Напомена
Шпански 3.0% Најнижи у табели
Енглески 4.2%
Португалски 4.3%
Немачки 4.5%
Јапански 5.3% Стопа грешке знакова
Руски 5.6%
Француски 8.3%
Корејски 14.3% Означен као одступање
Кинески 14.7% Стопа грешке знакова
Арапски 16.0%
Хинди 21.5%
Хебрејски 27.1% Означен као одступање
Свахили 39.3%
Телугу 99.0% Означен као одступање

Рад издваја хебрејски, телугу, кинески и корејски као лошије од очекиваног према обуци, могуће због језичке удаљености, токенизатора који слабо одговара писмима или квалитета података. Fleurs је читани говор, па очекујте више грешака у разговору. README има новију табелу large-v3 и large-v2 за Common Voice 15 и Fleurs.

Шпански резултати су охрабрујући ако транскрибујете шпански аудио. За језике са мање ресурса прво проверите кратак снимак.

Шта утиче на тачност Whisper-а?

Услови снимања највише значе. Подаци из рада и картице модела:

Фактор Шта показују подаци Шта учинити
Позадински шум При буци локала испод 10 dB односа сигнал/шум Whisper је надмашио свих 14 упоредних модела, али су сви били лошији са више буке Снимајте у тихој соби, даље од вентилатора и музике
Удаљеност микрофона Исти AMI састанци: 17.4% са микрофоном на слушалицама, 39.9% са једним стоним Држите микрофон близу говорника
Разговор и преклапање Телефон и вечере дају 13.6% до 24.9%, према 2.5% за читани говор Један говорник истовремено; микрофон по говорнику
Акценти и дијалекти Картица наводи неуједначену тачност; дуги CORAAL интервјуи дали су 19.6% Тестирајте са говорницима сличним вашим стварним снимцима
Ретке речи и жаргон Добар резултат за Meanwhile пун жаргона (5.1%), али имена и стручни термини остају честе грешке Проверите имена и термине према списку
Језички ресурси Fleurs WER од 3.0% (шпански) до 99.0% (телугу) Сами изаберите језик; планирајте више прегледа за језике са мало ресурса
Величина модела tiny има 48.0% на CHiME-6, large-v2 24.9% Питајте који модел алат користи или изаберите највећи доступан
Формат и фреквенција узорковања Whisper код претвара сав аудио у 16 kHz моно WAV од 48 kHz не доноси више од чистог фајла од 16 kHz

Претварање MP3-а у велики WAV не враћа изгубљене детаље. Чист снимак умереног битрејта бољи је од бучног са високим.

Познати проблеми Whisper-а: халуцинације, понављања и временске ознаке

OpenAI документује сваки од ових проблема, који су важнији него што њихов удео у WER-у показује.

Халуцинирани текст

Whisper може написати неизговорене речи. Картица модела упозорава да предвиђања могу садржати текст који се у аудију не чује, вероватно зато што модел предвиђа и вероватне следеће речи. Одељак ограничења рада помиње и потпуну халуцинацију, излаз без везе са аудијем.

Независна студија Careless Whisper (Koenecke и сарадници, 2024) обрадила је 13,140 аудио-сегмената преко OpenAI Whisper API-ја у априлу и мају 2023. Око 1% транскрипција (просечно 1.4%) садржало је целе измишљене фразе или реченице, а 38% њих штетан садржај попут насиља или лажних повезивања. Говорници са дужим паузама, овде особе са афазијом, имали су више случајева. API се од тада променио; ово је мерење из 2023.

Петље понављања и пропуштене речи

Картица модела наводи склоност понављању, коју beam search и temperature scheduling смањују, али не уклањају потпуно. Рад наводи и прескакање првих или последњих речи сегмента. Исправке декодирања смањиле су просечни WER дугих снимака са 11.0% на 10.0%: боље, али не решено.

Тишина, музика и поштапалице

Измишљени текст често настаје током дуге тишине и музике. Рад је установио да Whisper-ов сигнал „нема говора“ сам није поуздан, а отворени код сада има опцију прескакања дуге тишине када се открије вероватна халуцинација.

Померање временских ознака и дуге датотеке

Whisper обрађује дуги аудио у прозорима од 30 секунди, користећи предвиђене временске ознаке за следећи прозор. Рад наводи да се грешка може пренети у следећи. Временске ознаке по речи означене су као експерименталне у коду. Код титлова проверите време око пауза.

Током развоја OpenAI је видео и нагађање имена говорника које је било готово увек погрешно. Објављени модели су дообучени да то ограниче, али проверите свако име.

10 начина за побољшање тачности Whisper транскрипције

Већина побољшања настаје пре транскрипције, приближно од најјачег ефекта ка најслабијем:

  1. Приближите микрофон. Удаљеност је сама више него удвостручила грешке на AMI састанцима.
  2. Уклоните шум на извору. Затворите прозоре, искључите вентилаторе и зауставите музику.
  3. Избегавајте преклапање говора. Једна особа истовремено боља је од сваке поставке.
  4. Скратите дугу тишину и музичке уводе, где се измишљени текст често јавља. Сеците на паузама, не усред реченице.
  5. Сами подесите језик. Whisper је тачно препознао језик у 80.3% случајева за 82 Fleurs језика, па аутоматска детекција може погрешити код кратких или акцентованих снимака.
  6. Користите највећи доступни модел, посебно за бучне снимке.
  7. Унесите имена и термине као упутство при сопственом хостовању. Отворени Whisper прихвата --initial_prompt са очекиваним писањем.
  8. Отпремите оригиналну датотеку. Поновно снимање преко звучника или вишеструка компресија губе детаље.
  9. Проверите термине. Потражите имена, бројеве, датуме и скраћенице и упоредите са аудијем.
  10. Прегледајте два пута. Прво исправите грешке нормалном брзином. Потом тражите знаке халуцинације: понављане редове, реченице током тишине, одјаве попут „Хвала на гледању“. Код правних, медицинских или објављених материјала човек треба да провери све.

Како измерити тачност Whisper-а на сопственом аудију

Најбоља процена за ваш рад је 30-минутни тест на вашим снимцима. Ово су кораци за вас, не тест whispertranscribe.ai.

  1. Изаберите три исечка од по 2 минута попут стварног рада: лак, типичан и тежак.
  2. Ручно напишите референтни транскрипт, реч по реч. Прво одредите правила: задржавате ли „овај“, пишете ли бројеве цифрама или речима.
  3. Транскрибујте сваки исечак алатом који тестирате и сачувајте обичан текст.
  4. Нормализујте оба текста на исти начин. OpenAI нормализатор долази са openai-whisper.
  5. Израчунајте WER помоћу jiwer-а:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Посебно бројите критичне грешке. Пет погрешних поштапалица и пет погрешних имена клијената дају исти WER, али нису исти проблем.
  2. Бележите резултате за поређење алата или поставки:
Исечак Услови Речи у референци S D I WER Критичне грешке
Исечак A Тиха соба, један говорник 310
Исечак B Видео-позив, два говорника 285
Исечак C Кафић, говорник са акцентом 296

Бројеви речи су примери. Опрез за корак 4: OpenAI енглески нормализатор може изједначити „Dr.“ са „doctor“ и „two“ са „2“, али ипак оценити „9th“ према „ninth“ као грешку. Прочитајте означене разлике пре ослањања на оцену.

Колико је тачан whispertranscribe.ai?

whispertranscribe.ai је веб AI алат за транскрипцију заснован на Whisper-у, са више од 130 језика и датотекама до 5GB и 10 сати. Тачност достиже до 99% на чистом аудију; шум, јаки акценти и преклапање је смањују, као што горњи резултати показују за сам Whisper. Не тврдимо да достижемо или надмашујемо резултате рада и нисмо објавили сопствени тест, па проверите своје исечке горњим корацима.

Можете почети бесплатно без налога. Плаћени планови почињу од $9.99 месечно уз годишње плаћање; погледајте цене.

Честа питања

Да ли је Whisper тачан 99%?

Не уопштено. Најбољи објављени Whisper резултат је 2.5% WER на LibriSpeech test-clean, јасно читаним аудио-књигама, отприлике 97.5% тачних речи. На позивима, састанцима и у бучним собама OpenAI наводи око 13% до 40% WER-а. Тврдња „99%“ има смисла само ако наводи на ком аудију је измерена. Алати засновани на Whisper-у, укључујући whispertranscribe.ai, треба да се процењују на вашим снимцима, не рекламним процентом.

Који Whisper модел је најтачнији?

Велики модели су најтачнији. У OpenAI раду large-v2 има најнижу грешку на већини скупова, а картица large-v3 наводи 10% до 20% мање грешака од large-v2 на многим језицима. Turbo је оптимизовани large-v3 који према OpenAI-ју губи мало тачности за много већу брзину. Најмањи tiny много је нетачнији на тешком аудију: 48.0% WER на бучној вечери према 24.9% за large-v2.

Зашто Whisper пише речи које нису изговорене?

Whisper може да халуцинира јер је обучен да предвиђа вероватан текст поред транскрипције звука, а OpenAI картица упозорава на текст који није у аудију. Најчешће се јавља током дуге тишине, музике или буке. Независна студија из 2023. пронашла је измишљене фразе у око 1% транскрипција, а паузе су повећале вероватноћу. Скраћивање тишине, подешавање језика и преглед тихих делова смањују ризик.

Колико је Whisper тачан код акцената?

Whisper се са акцентима носи боље од многих старијих система, али не једнако. OpenAI картица каже да тачност варира међу акцентима и дијалектима истог језика. У раду су дуги интервјуи на афроамеричком енглеском (CORAAL) имали 19.6% WER према 3.5% за цела TED предавања, мада се разликују и услови снимања. Поуздан приступ је тест са говорницима сличним вашим снимцима и више времена за преглед код јаких акцената.

Да ли је Whisper тачан као човек транскрибер?

На енглеском је близу, али не достиже најбоље. OpenAI га је упоредио са пет професионалних услуга на 25 снимака. Рачунарски потпомогнута услуга имала је укупни WER нижи за 1.15 поена, а четири људске биле су боље за делић поена. Људи обично боље обрађују имена, преклапање и нејасан говор. За цитирање, подношење или објављивање човек треба да провери транскрипт уз снимак.

Колико је Whisper тачан на језицима осим енглеског?

Знатно варира по језику. На Fleurs тесту large-v2 је имао 3.0% WER на шпанском, 4.5% на немачком и 8.3% на француском, али 27.1% на хебрејском и 99.0% на телугу. Кинески и јапански оцењују се по знаковима: 14.7% и 5.3%. Рад је нашао везу тачности са количином аудија за обуку по језику. За језике са мање ресурса прво тестирајте кратак исечак и планирајте више времена за исправке.

Проверите тачност на сопственом снимку

Тестови описују туђи аудио. Отпремите исечак у whispertranscribe.ai на једном од више од 130 језика и оцените га корацима из водича. Почните бесплатно без налога или упоредите планове.

Повезани чланци: Шта је Whisper AI? · Најбољи бесплатни софтвер за транскрипцију · Најбоље TurboScribe алтернативе · Како транскрибовати YouTube видео · Шта је SRT датотека? · Уграђени и одвојени титлови

Извори

Желите ли да претворите снимке у текст?

Транскрибујте аудио и видео снимке уз whispertranscribe.ai.

Започните транскрипцију ↗