Уреднички тим whispertranscribe.ai · Последње ажурирање: новембар 2026. · 13 минута читања · Категорија: Тачност транскрипције
Колико је Whisper тачан? На чистом читаном енглеском OpenAI рад наводи стопу грешке речи (WER) од 2.5% за Whisper large-v2, отприлике 97 до 98 тачних речи од 100. Тежи аудио даје лошији резултат: 13.6% за телефонске разговоре, 24.9% за бучну вечеру и 39.9% за састанак снимљен једним удаљеним микрофоном.
Whisper је OpenAI модел за препознавање говора отвореног кода и основа многих апликација за транскрипцију, укључујући нашу. Овај водич обухвата само тачност: шта WER мери, резултате по аудију и језику, где Whisper греши и како сами да га проверите. За основу модела погледајте шта је Whisper AI.
Већина података долази из рада о Whisper-у (Radford и сарадници, 2022), који је тестирао моделе без дообуке на тестним скуповима („zero-shot“). Новија картица модела large-v3 наводи 10% до 20% мање грешака од large-v2 на многим језицима, али без потпуне табеле по скуповима. whispertranscribe.ai објављује чланак. Нисмо спровели упоредни тест и ниједан број није наш резултат.
Тачност Whisper-а укратко
Један тестни скуп не одговара на питање јер аудио највише мења резултат. Табела приказује OpenAI резултате за large-v2 са beam search и temperature fallback (табела 9 у прилогу), оцењене после OpenAI нормализације текста.
| Врста аудија | Тестни скуп у раду | Whisper large-v2 WER | Приближан удео тачних речи |
|---|---|---|---|
| Аудио-књига, јасно читање | LibriSpeech test-clean | 2.5% | Око 97.5 од 100 |
| Читане вести | WSJ | 2.6% | Око 97.4 од 100 |
| TED предавања | TED-LIUM 3 | 3.7% | Око 96 од 100 |
| Аудио-књига, тежи говорници | LibriSpeech test-other | 4.9% | Око 95 од 100 |
| Волонтери на кућним микрофонима | Common Voice 5.1 | 8.2% | Око 92 од 100 |
| Телефонски разговори | Switchboard | 13.6% | Око 86 од 100 |
| Дуги социолингвистички интервјуи | CORAAL | 14.2% | Око 86 од 100 |
| Телефонски разговори породице и пријатеља | CallHome | 16.4% | Око 84 од 100 |
| Састанци, сваки говорник има микрофон на слушалицама | AMI IHM | 17.4% | Око 83 од 100 |
| Вечере, удаљени микрофони | CHiME-6 | 24.9% | Око 75 од 100 |
| Састанци, један удаљени стони микрофон | AMI SDM1 | 39.9% | Око 60 од 100 |
„Удео тачних речи“ је 100 минус WER, приближна рачуница јер WER броји и додате речи.
Често се наводи и 2.7%: исти модел са једноставнијим greedy декодирањем (табела 2). AMI редови су исти састанци снимљени на два начина. Померање микрофона са сваког говорника на средину стола више него удвостручује стопу грешке.
Шта је стопа грешке речи (WER) и како се рачуна?
WER је удео грешака транскрипта у односу на референтни текст који је проверио човек. Избројте три врсте грешака и поделите бројем речи у референци:
WER = (замене + изостављања + додавања) ÷ речи у референци
- Замена: погрешна реч уместо тачне (нпр. „ручак“ уместо „почетак“).
- Изостављање: изговорена реч недостаје у транскрипту.
- Додавање: реч у транскрипту није изговорена.
Ево нашег илустративног примера који се може оценити библиотеком отвореног кода jiwer:
| Ред | Текст |
|---|---|
| Референца (22 речи) | ми смо померили почетак нашег пројекта за девети март јер је добављач каснио два пута а доктор Пател тражи нов план тестирања |
| Транскрипт | ми смо померили почетак пројекта за девети март јер је добављач каснио два пута а доктор Батл тражи нов програм тестирања данас |
| Грешке | 2 замене (Батл, програм), 1 изостављање (нашег), 1 додавање (данас) |
| WER | 4 ÷ 22 = 18.2% |
Три ствари о WER-у често збуњују:
- Може прећи 100%. Додавања немају горњу границу, а неки језици са мало ресурса у Fleurs резултатима рада прелазе 100%.
- Нормализација мења резултат. „Dr.“ према „doctor“ броји се као грешка ако се оба текста не обраде исто. OpenAI каже да је нормализатор смањио WER до 50% на неким скуповима, углавном уклањањем разлика у форматирању.
- Неки језици користе стопу грешке знакова (CER). За кинески, јапански, тајландски, лаоски и бурмански, који не раздвајају речи размацима, рад оцењује знакове.
Тврдња о тачности без именованог скупа и метода оцењивања није мерење, ко год је износио, укључујући нас.
Колико је Whisper тачан на енглеском?
Whisper је врло тачан на јасном енглеском и остаје употребљив на тежем. У раду је направио 55.2% мање грешака на 12 других енглеских скупова од надгледаног wav2vec 2.0 модела са скоро истим LibriSpeech резултатом.
Дуги снимци
Whisper чита аудио у прозорима од по 30 секунди, па је рад засебно тестирао дуге датотеке (табела 16 у прилогу, large-v2):
| Тестни скуп дугог аудија | Садржај | WER |
|---|---|---|
| TED-LIUM 3 | 11 целих TED предавања | 3.5% |
| Meanwhile | 64 касна ТВ сегмента са много необичних речи | 5.1% |
| Kincaid46 | 46 разних снимака из поређења 2018. | 8.8% |
| Earnings-21 | Разговори о пословним резултатима | 9.7% |
| Rev16 | 16 епизода подкаста | 11.3% |
| Earnings-22 | Још разговора о резултатима, много акцената | 12.6% |
| CORAAL | 231 цео интервју на афроамеричком енглеском | 19.6% |
Whisper у односу на људске транскрибере
OpenAI је 25 Kincaid46 снимака дао четирима људским и једној рачунарски потпомогнутој услузи. Потпомогнута услуга била је боља од Whisper-а за 1.15 процентних поена, а искључиво људске тек делић поена. Закључак рада је да резултат није савршен, али је веома близу људској тачности.
Величина модела је важна
Whisper постоји у више величина, а апликације не наводе увек коју користе (табела 9 у прилогу):
| Модел | Параметри | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
Разлика расте са тежином аудија: око 4 поена на чистим аудио-књигама, 23 на вечери. Новији модел turbo, оптимизовани large-v3, прихвата минимално погоршање тачности према OpenAI GitHub README-у за много бржу транскрипцију.
Колико је Whisper тачан на другим језицима?
Изван енглеског тачност највише зависи од количине аудија за обуку на датом језику. Рад налази квадрат корелације од 0.83 између логаритма сати обуке и логаритма WER-а и процењује да се WER преполови са сваким 16-струким повећањем података. Већина од 96 неенглеских језика имала је мање од 1,000 сати.
Изабрани Fleurs резултати (читане реченице, large-v2, табела 13):
| Језик | Fleurs WER | Напомена |
|---|---|---|
| Шпански | 3.0% | Најнижи у табели |
| Енглески | 4.2% | |
| Португалски | 4.3% | |
| Немачки | 4.5% | |
| Јапански | 5.3% | Стопа грешке знакова |
| Руски | 5.6% | |
| Француски | 8.3% | |
| Корејски | 14.3% | Означен као одступање |
| Кинески | 14.7% | Стопа грешке знакова |
| Арапски | 16.0% | |
| Хинди | 21.5% | |
| Хебрејски | 27.1% | Означен као одступање |
| Свахили | 39.3% | |
| Телугу | 99.0% | Означен као одступање |
Рад издваја хебрејски, телугу, кинески и корејски као лошије од очекиваног према обуци, могуће због језичке удаљености, токенизатора који слабо одговара писмима или квалитета података. Fleurs је читани говор, па очекујте више грешака у разговору. README има новију табелу large-v3 и large-v2 за Common Voice 15 и Fleurs.
Шпански резултати су охрабрујући ако транскрибујете шпански аудио. За језике са мање ресурса прво проверите кратак снимак.
Шта утиче на тачност Whisper-а?
Услови снимања највише значе. Подаци из рада и картице модела:
| Фактор | Шта показују подаци | Шта учинити |
|---|---|---|
| Позадински шум | При буци локала испод 10 dB односа сигнал/шум Whisper је надмашио свих 14 упоредних модела, али су сви били лошији са више буке | Снимајте у тихој соби, даље од вентилатора и музике |
| Удаљеност микрофона | Исти AMI састанци: 17.4% са микрофоном на слушалицама, 39.9% са једним стоним | Држите микрофон близу говорника |
| Разговор и преклапање | Телефон и вечере дају 13.6% до 24.9%, према 2.5% за читани говор | Један говорник истовремено; микрофон по говорнику |
| Акценти и дијалекти | Картица наводи неуједначену тачност; дуги CORAAL интервјуи дали су 19.6% | Тестирајте са говорницима сличним вашим стварним снимцима |
| Ретке речи и жаргон | Добар резултат за Meanwhile пун жаргона (5.1%), али имена и стручни термини остају честе грешке | Проверите имена и термине према списку |
| Језички ресурси | Fleurs WER од 3.0% (шпански) до 99.0% (телугу) | Сами изаберите језик; планирајте више прегледа за језике са мало ресурса |
| Величина модела | tiny има 48.0% на CHiME-6, large-v2 24.9% | Питајте који модел алат користи или изаберите највећи доступан |
| Формат и фреквенција узорковања | Whisper код претвара сав аудио у 16 kHz моно | WAV од 48 kHz не доноси више од чистог фајла од 16 kHz |
Претварање MP3-а у велики WAV не враћа изгубљене детаље. Чист снимак умереног битрејта бољи је од бучног са високим.
Познати проблеми Whisper-а: халуцинације, понављања и временске ознаке
OpenAI документује сваки од ових проблема, који су важнији него што њихов удео у WER-у показује.
Халуцинирани текст
Whisper може написати неизговорене речи. Картица модела упозорава да предвиђања могу садржати текст који се у аудију не чује, вероватно зато што модел предвиђа и вероватне следеће речи. Одељак ограничења рада помиње и потпуну халуцинацију, излаз без везе са аудијем.
Независна студија Careless Whisper (Koenecke и сарадници, 2024) обрадила је 13,140 аудио-сегмената преко OpenAI Whisper API-ја у априлу и мају 2023. Око 1% транскрипција (просечно 1.4%) садржало је целе измишљене фразе или реченице, а 38% њих штетан садржај попут насиља или лажних повезивања. Говорници са дужим паузама, овде особе са афазијом, имали су више случајева. API се од тада променио; ово је мерење из 2023.
Петље понављања и пропуштене речи
Картица модела наводи склоност понављању, коју beam search и temperature scheduling смањују, али не уклањају потпуно. Рад наводи и прескакање првих или последњих речи сегмента. Исправке декодирања смањиле су просечни WER дугих снимака са 11.0% на 10.0%: боље, али не решено.
Тишина, музика и поштапалице
Измишљени текст често настаје током дуге тишине и музике. Рад је установио да Whisper-ов сигнал „нема говора“ сам није поуздан, а отворени код сада има опцију прескакања дуге тишине када се открије вероватна халуцинација.
Померање временских ознака и дуге датотеке
Whisper обрађује дуги аудио у прозорима од 30 секунди, користећи предвиђене временске ознаке за следећи прозор. Рад наводи да се грешка може пренети у следећи. Временске ознаке по речи означене су као експерименталне у коду. Код титлова проверите време око пауза.
Током развоја OpenAI је видео и нагађање имена говорника које је било готово увек погрешно. Објављени модели су дообучени да то ограниче, али проверите свако име.
10 начина за побољшање тачности Whisper транскрипције
Већина побољшања настаје пре транскрипције, приближно од најјачег ефекта ка најслабијем:
- Приближите микрофон. Удаљеност је сама више него удвостручила грешке на AMI састанцима.
- Уклоните шум на извору. Затворите прозоре, искључите вентилаторе и зауставите музику.
- Избегавајте преклапање говора. Једна особа истовремено боља је од сваке поставке.
- Скратите дугу тишину и музичке уводе, где се измишљени текст често јавља. Сеците на паузама, не усред реченице.
- Сами подесите језик. Whisper је тачно препознао језик у 80.3% случајева за 82 Fleurs језика, па аутоматска детекција може погрешити код кратких или акцентованих снимака.
- Користите највећи доступни модел, посебно за бучне снимке.
- Унесите имена и термине као упутство при сопственом хостовању. Отворени Whisper прихвата
--initial_promptса очекиваним писањем. - Отпремите оригиналну датотеку. Поновно снимање преко звучника или вишеструка компресија губе детаље.
- Проверите термине. Потражите имена, бројеве, датуме и скраћенице и упоредите са аудијем.
- Прегледајте два пута. Прво исправите грешке нормалном брзином. Потом тражите знаке халуцинације: понављане редове, реченице током тишине, одјаве попут „Хвала на гледању“. Код правних, медицинских или објављених материјала човек треба да провери све.
Како измерити тачност Whisper-а на сопственом аудију
Најбоља процена за ваш рад је 30-минутни тест на вашим снимцима. Ово су кораци за вас, не тест whispertranscribe.ai.
- Изаберите три исечка од по 2 минута попут стварног рада: лак, типичан и тежак.
- Ручно напишите референтни транскрипт, реч по реч. Прво одредите правила: задржавате ли „овај“, пишете ли бројеве цифрама или речима.
- Транскрибујте сваки исечак алатом који тестирате и сачувајте обичан текст.
- Нормализујте оба текста на исти начин. OpenAI нормализатор долази са
openai-whisper. - Израчунајте WER помоћу jiwer-а:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Посебно бројите критичне грешке. Пет погрешних поштапалица и пет погрешних имена клијената дају исти WER, али нису исти проблем.
- Бележите резултате за поређење алата или поставки:
| Исечак | Услови | Речи у референци | S | D | I | WER | Критичне грешке |
|---|---|---|---|---|---|---|---|
| Исечак A | Тиха соба, један говорник | 310 | |||||
| Исечак B | Видео-позив, два говорника | 285 | |||||
| Исечак C | Кафић, говорник са акцентом | 296 |
Бројеви речи су примери. Опрез за корак 4: OpenAI енглески нормализатор може изједначити „Dr.“ са „doctor“ и „two“ са „2“, али ипак оценити „9th“ према „ninth“ као грешку. Прочитајте означене разлике пре ослањања на оцену.
Колико је тачан whispertranscribe.ai?
whispertranscribe.ai је веб AI алат за транскрипцију заснован на Whisper-у, са више од 130 језика и датотекама до 5GB и 10 сати. Тачност достиже до 99% на чистом аудију; шум, јаки акценти и преклапање је смањују, као што горњи резултати показују за сам Whisper. Не тврдимо да достижемо или надмашујемо резултате рада и нисмо објавили сопствени тест, па проверите своје исечке горњим корацима.
- Noise / Low-Quality Audio/Video опције у избору језика за многе језике. За бучну датотеку упоредите стандардну и опцију за шум.
- Више од 130 језика, Multilingual Mix и превод аудија на енглески.
- Датотеке до 5GB и 10 сати, откривање говорника и временске ознаке (све функције).
- Чист улаз: снимите у прегледачу уз близак микрофон и потребан пристанак или претворите видео у MP3 да отпремите само аудио.
- Извоз у DOCX, PDF, TXT, CSV, SRT и VTT, плус генератор титлова са временом.
Можете почети бесплатно без налога. Плаћени планови почињу од $9.99 месечно уз годишње плаћање; погледајте цене.
Честа питања
Да ли је Whisper тачан 99%?
Не уопштено. Најбољи објављени Whisper резултат је 2.5% WER на LibriSpeech test-clean, јасно читаним аудио-књигама, отприлике 97.5% тачних речи. На позивима, састанцима и у бучним собама OpenAI наводи око 13% до 40% WER-а. Тврдња „99%“ има смисла само ако наводи на ком аудију је измерена. Алати засновани на Whisper-у, укључујући whispertranscribe.ai, треба да се процењују на вашим снимцима, не рекламним процентом.
Који Whisper модел је најтачнији?
Велики модели су најтачнији. У OpenAI раду large-v2 има најнижу грешку на већини скупова, а картица large-v3 наводи 10% до 20% мање грешака од large-v2 на многим језицима. Turbo је оптимизовани large-v3 који према OpenAI-ју губи мало тачности за много већу брзину. Најмањи tiny много је нетачнији на тешком аудију: 48.0% WER на бучној вечери према 24.9% за large-v2.
Зашто Whisper пише речи које нису изговорене?
Whisper може да халуцинира јер је обучен да предвиђа вероватан текст поред транскрипције звука, а OpenAI картица упозорава на текст који није у аудију. Најчешће се јавља током дуге тишине, музике или буке. Независна студија из 2023. пронашла је измишљене фразе у око 1% транскрипција, а паузе су повећале вероватноћу. Скраћивање тишине, подешавање језика и преглед тихих делова смањују ризик.
Колико је Whisper тачан код акцената?
Whisper се са акцентима носи боље од многих старијих система, али не једнако. OpenAI картица каже да тачност варира међу акцентима и дијалектима истог језика. У раду су дуги интервјуи на афроамеричком енглеском (CORAAL) имали 19.6% WER према 3.5% за цела TED предавања, мада се разликују и услови снимања. Поуздан приступ је тест са говорницима сличним вашим снимцима и више времена за преглед код јаких акцената.
Да ли је Whisper тачан као човек транскрибер?
На енглеском је близу, али не достиже најбоље. OpenAI га је упоредио са пет професионалних услуга на 25 снимака. Рачунарски потпомогнута услуга имала је укупни WER нижи за 1.15 поена, а четири људске биле су боље за делић поена. Људи обично боље обрађују имена, преклапање и нејасан говор. За цитирање, подношење или објављивање човек треба да провери транскрипт уз снимак.
Колико је Whisper тачан на језицима осим енглеског?
Знатно варира по језику. На Fleurs тесту large-v2 је имао 3.0% WER на шпанском, 4.5% на немачком и 8.3% на француском, али 27.1% на хебрејском и 99.0% на телугу. Кинески и јапански оцењују се по знаковима: 14.7% и 5.3%. Рад је нашао везу тачности са количином аудија за обуку по језику. За језике са мање ресурса прво тестирајте кратак исечак и планирајте више времена за исправке.
Проверите тачност на сопственом снимку
Тестови описују туђи аудио. Отпремите исечак у whispertranscribe.ai на једном од више од 130 језика и оцените га корацима из водича. Почните бесплатно без налога или упоредите планове.
Повезани чланци: Шта је Whisper AI? · Најбољи бесплатни софтвер за транскрипцију · Најбоље TurboScribe алтернативе · Како транскрибовати YouTube видео · Шта је SRT датотека? · Уграђени и одвојени титлови
Извори
- Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision (the Whisper paper, OpenAI, 2022): Tables 2, 9, 13, and 16 and Sections 3 to 6
- OpenAI, openai/whisper on GitHub: README model table, turbo note, and per-language WER chart
- OpenAI and Hugging Face, whisper-large-v3 model card: large-v3 changes, evaluated use, and limitations
- Koenecke et al., Careless Whisper: Speech-to-Text Hallucination Harms (2024)
- jiwer: open-source library for WER and CER
- Hugging Face, Open ASR Leaderboard: independent, regularly updated comparison of open speech models
