Redakcja whispertranscribe.ai · Ostatnia aktualizacja: listopad 2026 · Czas czytania: 13 minut · Kategoria: Dokładność transkrypcji
Jak dokładny jest Whisper? Dla czystego czytanego angielskiego praca OpenAI podaje wskaźnik błędów słów (WER) 2.5% dla Whisper large-v2, czyli poprawnych jest około 97–98 słów na 100. Trudniejsze audio wypada gorzej: 13.6% dla rozmów telefonicznych, 24.9% podczas hałaśliwej kolacji i 39.9% na spotkaniu nagranym jednym odległym mikrofonem.
Whisper to otwarty model rozpoznawania mowy OpenAI i silnik wielu aplikacji transkrypcyjnych, także naszej. Poradnik dotyczy wyłącznie dokładności: co mierzy WER, jakie są wyniki według audio i języka, gdzie Whisper zawodzi i jak go przetestować. Tło modelu opisujemy w artykule czym jest Whisper AI.
Większość liczb pochodzi z pracy Whisper (Radford i in., 2022), w której każdy model testowano „zero-shot”, bez dostrajania na zbiorach testowych. Nowsza karta modelu large-v3 podaje 10–20% mniej błędów niż large-v2 w wielu językach, lecz bez pełnej tabeli według zbiorów. Artykuł publikuje whispertranscribe.ai. Nie przeprowadziliśmy własnego testu porównawczego i żadna podana liczba nie jest naszym wynikiem.
Dokładność Whisper w skrócie
Żaden pojedynczy zbiór testowy nie odpowiada na pytanie, ponieważ rodzaj audio najmocniej zmienia wynik. Tabela pokazuje wyniki large-v2 OpenAI z beam search i temperature fallback (tabela 9 dodatku), ocenione po normalizacji tekstu OpenAI.
| Rodzaj audio | Zbiór testowy w pracy | WER Whisper large-v2 | Przybliżony udział poprawnych słów |
|---|---|---|---|
| Audiobook, wyraźny lektor | LibriSpeech test-clean | 2.5% | Około 97.5 na 100 |
| Czytany tekst wiadomości | WSJ | 2.6% | Około 97.4 na 100 |
| Wystąpienia TED | TED-LIUM 3 | 3.7% | Około 96 na 100 |
| Audiobook, trudniejsi mówcy | LibriSpeech test-other | 4.9% | Około 95 na 100 |
| Wolontariusze z domowymi mikrofonami | Common Voice 5.1 | 8.2% | Około 92 na 100 |
| Rozmowy telefoniczne | Switchboard | 13.6% | Około 86 na 100 |
| Długie wywiady socjolingwistyczne | CORAAL | 14.2% | Około 86 na 100 |
| Rozmowy telefoniczne rodziny i znajomych | CallHome | 16.4% | Około 84 na 100 |
| Spotkania, każdy ma mikrofon nagłowny | AMI IHM | 17.4% | Około 83 na 100 |
| Kolacje, odległe mikrofony | CHiME-6 | 24.9% | Około 75 na 100 |
| Spotkania, jeden odległy mikrofon stołowy | AMI SDM1 | 39.9% | Około 60 na 100 |
„Udział poprawnych słów” to 100 minus WER jako przybliżenie, ponieważ WER liczy także słowa dodane.
Często cytuje się 2.7%: to ten sam model z prostszym dekodowaniem greedy (tabela 2 pracy). Wiersze AMI dotyczą tych samych spotkań nagranych na dwa sposoby. Przesunięcie mikrofonu od głowy każdego mówcy na środek stołu ponad dwukrotnie zwiększa wskaźnik błędów.
Czym jest wskaźnik błędów słów (WER) i jak go obliczyć?
WER to udział błędów transkrypcji względem referencji sprawdzonej przez człowieka. Policz trzy rodzaje błędów i podziel przez liczbę słów referencji:
WER = (zastąpienia + pominięcia + wstawienia) ÷ liczba słów referencji
- Zastąpienie: błędne słowo zamiast właściwego („lunch” zamiast „launch”).
- Pominięcie: wypowiedziane słowo nieobecne w transkrypcji.
- Wstawienie: słowo w transkrypcji, którego nikt nie wypowiedział.
Oto własny przykład, który można ocenić otwartą biblioteką jiwer:
| Wiersz | Tekst |
|---|---|
| Referencja (22 słowa) | przenieśliśmy premierę produktu na dziewiątego marca bo dostawca nie dotrzymał dwóch terminów a doktor patel chce nowego planu testów w tym tygodniu |
| Transkrypcja | przenieśliśmy kolację produktu na dziewiątego marca bo dostawca nie dotrzymał dwóch terminów doktor badal chce nowego planu testów w tym tygodniu dzisiaj |
| Błędy | 2 zastąpienia (kolację, badal), 1 pominięcie (a), 1 wstawienie (dzisiaj) |
| WER | 4 ÷ 22 = 18.2% |
Trzy rzeczy dotyczące WER często zaskakują:
- Może przekroczyć 100%. Wstawienia nie mają górnego limitu, a kilka języków o małych zasobach w wynikach Fleurs przekracza 100%.
- Normalizacja zmienia wynik. „Dr.” i „doctor” liczą się jako błąd, chyba że oba teksty oczyszczono tak samo. OpenAI podaje, że normalizacja zmniejszyła WER w niektórych zbiorach nawet o 50%, głównie przez usunięcie różnic formatowania.
- Niektóre języki używają błędu znaków (CER). Dla chińskiego, japońskiego, tajskiego, laotańskiego i birmańskiego, które nie oddzielają słów spacjami, praca ocenia znaki.
Deklaracja dokładności bez nazwanego zbioru testowego i metody oceny nie jest pomiarem, niezależnie od autora, także nas.
Jak dokładny jest Whisper po angielsku?
Whisper jest bardzo dokładny przy czystym angielskim i pozostaje użyteczny przy trudniejszym. W pracy popełnił 55.2% mniej błędów w 12 innych angielskich zbiorach niż nadzorowany model wav2vec 2.0 o niemal takim samym wyniku LibriSpeech.
Długie nagrania
Whisper czyta audio w 30-sekundowych oknach, więc w pracy osobno testowano długie pliki (tabela 16 dodatku, large-v2):
| Długi zbiór testowy | Zawartość | WER |
|---|---|---|
| TED-LIUM 3 | 11 pełnych wystąpień TED | 3.5% |
| Meanwhile | 64 nocne segmenty telewizyjne z wieloma nietypowymi słowami | 5.1% |
| Kincaid46 | 46 mieszanych nagrań z porównania z 2018 r. | 8.8% |
| Earnings-21 | Rozmowy o wynikach firm | 9.7% |
| Rev16 | 16 odcinków podcastów | 11.3% |
| Earnings-22 | Kolejne rozmowy o wynikach, wiele akcentów | 12.6% |
| CORAAL | 231 pełnych wywiadów w afroamerykańskiej odmianie angielskiego | 19.6% |
Whisper a ludzie transkrybujący
OpenAI zleciło transkrypcję 25 nagrań Kincaid46 czterem usługom ludzkim i jednej wspomaganej komputerowo. Usługa wspomagana uzyskała wynik o 1.15 punktu procentowego lepszy od Whisper, a w pełni ludzkie usługi tylko o ułamek punktu lepszy. Wniosek pracy: nie jest idealnie, ale wynik jest bardzo bliski dokładności człowieka.
Rozmiar modelu ma znaczenie
Whisper ma kilka rozmiarów, a aplikacje nie zawsze podają używany (tabela 9 dodatku):
| Model | Parametry | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
Różnica rośnie wraz z trudnością audio: około 4 punktów dla czystych audiobooków, 23 dla kolacji. Nowszy model turbo, zoptymalizowany large-v3, według README na GitHubie OpenAI przyjmuje minimalny spadek dokładności w zamian za znacznie szybszą transkrypcję.
Jak dokładny jest Whisper w innych językach?
Poza angielskim dokładność zależy głównie od ilości audio treningowego w danym języku. W pracy stwierdzono kwadrat korelacji 0.83 między logarytmem godzin treningu a logarytmem WER i oszacowano, że WER zmniejsza się o połowę przy każdym 16-krotnym wzroście danych. Większość z 96 języków innych niż angielski miała mniej niż 1,000 godzin.
Wybrane wyniki Fleurs (czytane zdania, large-v2, tabela 13 dodatku):
| Język | WER Fleurs | Uwaga |
|---|---|---|
| Hiszpański | 3.0% | Najniższy w tabeli |
| Angielski | 4.2% | |
| Portugalski | 4.3% | |
| Niemiecki | 4.5% | |
| Japoński | 5.3% | Wskaźnik błędów znaków |
| Rosyjski | 5.6% | |
| Francuski | 8.3% | |
| Koreański | 14.3% | Wskazany jako odstający |
| Chiński | 14.7% | Wskaźnik błędów znaków |
| Arabski | 16.0% | |
| Hindi | 21.5% | |
| Hebrajski | 27.1% | Wskazany jako odstający |
| Suahili | 39.3% | |
| Telugu | 99.0% | Wskazany jako odstający |
Praca wskazuje hebrajski, telugu, chiński i koreański jako słabsze niż przewidywała ilość danych, być może z powodu odległości językowej, tokenizera źle dopasowanego do pisma lub jakości danych. Fleurs to czytana mowa, więc w rozmowie można oczekiwać wyższego WER. README zawiera nowszy wykres large-v3 i large-v2 dla Common Voice 15 i Fleurs.
Wyniki hiszpańskiego są obiecujące, jeśli transkrybujesz hiszpańskie audio. Dla języków o mniejszych zasobach przetestuj krótki klip przed całym projektem.
Co wpływa na dokładność Whisper?
Warunki nagrania są najważniejsze. Dowody z pracy i karty modelu:
| Czynnik | Co pokazują dowody | Co zrobić |
|---|---|---|
| Hałas w tle | Przy hałasie pubu i stosunku sygnału do szumu poniżej 10 dB Whisper pokonał wszystkie 14 modeli porównawczych, ale każdy pogarszał się wraz ze wzrostem hałasu | Nagrywaj w cichym pokoju, z dala od wentylatorów i muzyki |
| Odległość mikrofonu | Te same spotkania AMI: 17.4% przy mikrofonach nagłownych, 39.9% przy jednym stołowym | Trzymaj mikrofon blisko osoby mówiącej |
| Rozmowa i nakładanie głosów | Rozmowy telefoniczne i kolacje mają 13.6–24.9%, wobec 2.5% dla czytanej mowy | Jedna osoba mówi naraz; jeden mikrofon na mówcę |
| Akcenty i dialekty | Karta modelu podaje nierówną dokładność między akcentami; długie wywiady CORAAL miały 19.6% | Testuj na osobach brzmiących jak mówcy z rzeczywistych nagrań |
| Rzadkie słowa i żargon | Dobry wynik na pełnym żargonu Meanwhile (5.1%), ale nazwy i terminy nadal często są błędne | Sprawdź nazwy i terminy z listą |
| Zasoby językowe | WER Fleurs od 3.0% (hiszpański) do 99.0% (telugu) | Wybierz język samodzielnie; zaplanuj więcej korekty dla języków o małych zasobach |
| Rozmiar modelu | tiny ma 48.0% na CHiME-6, large-v2 24.9% | Zapytaj, jakiego modelu używa narzędzie, lub użyj największego dostępnego |
| Format i próbkowanie | Kod Whisper przetwarza całe audio do mono 16 kHz | WAV 48 kHz nie daje przewagi nad czystym plikiem 16 kHz |
Konwersja MP3 do dużego WAV nie przywraca utraconych szczegółów. Czyste nagranie o umiarkowanym bitrate jest lepsze od hałaśliwego o wysokim.
Znane problemy Whisper: halucynacje, powtórzenia i czas
OpenAI opisuje każdy z tych błędów, których znaczenie może być większe niż ich udział w WER.
Halucynowany tekst
Whisper może pisać słowa, których nikt nie wypowiedział. Karta modelu podaje, że przewidywania mogą zawierać tekst niewypowiedziany w audio, prawdopodobnie dlatego, że model przewiduje też prawdopodobne kolejne słowa. Ograniczenia pracy wymieniają nawet „całkowitą halucynację”, czyli wynik niezwiązany z audio.
Niezależne badanie Careless Whisper (Koenecke i in., 2024) przetworzyło 13,140 segmentów przez Whisper API OpenAI w kwietniu i maju 2023 r. Około 1% transkrypcji (średnio 1.4%) zawierało całe wymyślone frazy lub zdania, a 38% z nich szkodliwe treści, takie jak przemoc lub fałszywe skojarzenia. Częściej dotyczyło to osób z dłuższymi pauzami, tutaj osób z afazją. API zmieniło się od tego czasu, więc traktuj wynik jako pomiar z 2023 r.
Pętle powtórzeń i pominięte słowa
Karta modelu mówi, że Whisper ma tendencję do generowania powtarzalnego tekstu, a beam search i harmonogram temperatury ograniczają to nieidealnie. Praca wymienia też pomijanie pierwszych lub ostatnich słów segmentu. Poprawki dekodowania zmniejszyły średni WER długich nagrań z 11.0% do 10.0%: lepiej, ale problem pozostał.
Cisza, muzyka i wypełniacze
Wymyślony tekst często pojawia się podczas długiej ciszy i muzyki. W pracy stwierdzono, że sam sygnał Whisper „brak mowy” nie jest niezawodny, a otwarty kod ma teraz opcję pomijania długiej ciszy po wykryciu prawdopodobnej halucynacji.
Przesuwanie znaczników czasu i długie pliki
Whisper przechodzi przez długie audio po jednym 30-sekundowym oknie, używając własnych przewidywanych znaczników czasu do umieszczenia następnego. Praca zauważa więc, że błąd jednego okna może przejść do kolejnego. Znaczniki czasu poszczególnych słów oznaczono w kodzie jako „eksperymentalne”. Przy napisach sprawdzaj czas wokół pauz.
Podczas tworzenia OpenAI zauważyło też, że Whisper zgadywał nazwiska mówców niemal zawsze błędnie. Wydane modele dostrojono, aby to ograniczyć, ale sprawdzaj każde nazwisko w tekście.
10 sposobów poprawy dokładności transkrypcji Whisper
Większość poprawy następuje przed naciśnięciem transkrypcji. Orientacyjnie od największego efektu:
- Umieść mikrofon blisko. Sama odległość ponad dwukrotnie zwiększyła WER na spotkaniach AMI.
- Ogranicz hałas u źródła. Zamknij okna, wyłącz wentylatory, wstrzymaj muzykę.
- Unikaj nakładania głosów. Jedna osoba naraz jest lepsza niż dowolne ustawienie.
- Przytnij długą ciszę i muzyczne wstępy, gdzie najczęściej pojawia się wymyślony tekst. Tnij w przerwach, nie w środku zdania.
- Ustaw język samodzielnie. Whisper poprawnie rozpoznał język w 80.3% przypadków dla 82 języków Fleurs, więc automatyka może zawieść na krótkich lub akcentowanych klipach.
- Użyj największego dostępnego modelu, zwłaszcza przy hałasie.
- Podaj nazwy i terminy w promptcie przy samodzielnym hostowaniu. Otwarty Whisper przyjmuje
--initial_promptz oczekiwaną pisownią. - Prześlij oryginalny plik. Ponowne nagrywanie przez głośniki i wielokrotna kompresja usuwają szczegóły.
- Sprawdź terminy. Wyszukaj każdą nazwę, liczbę, datę i skrót, a następnie zweryfikuj z audio.
- Sprawdzaj w dwóch przebiegach. Najpierw popraw błędy w normalnym tempie. Potem szukaj oznak halucynacji: powtórzonych wierszy, zdań podczas ciszy, zakończeń typu „Dziękuję za obejrzenie”. Materiały prawne, medyczne lub publikowane powinien w całości sprawdzić człowiek.
Jak zmierzyć dokładność Whisper na własnym audio
Najlepsze oszacowanie dla Twojej pracy to 30-minutowy test własnych nagrań. Te kroki wykonujesz samodzielnie; to nie test whispertranscribe.ai.
- Wybierz trzy klipy po 2 minuty podobne do rzeczywistej pracy: łatwy, typowy i trudny.
- Napisz ręcznie transkrypcję referencyjną, słowo po słowie. Ustal zasady: zachować lub usunąć „yyy”, cyfry lub słowa dla liczb.
- Transkrybuj każdy klip testowanym narzędziem i zapisz zwykły tekst.
- Znormalizuj oba teksty w ten sam sposób. Normalizator OpenAI jest dostarczany z
openai-whisper. - Oblicz WER za pomocą jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Policz błędy krytyczne osobno. Pięć błędnych wypełniaczy i pięć błędnych nazw klientów daje ten sam WER, ale nie jest tym samym problemem.
- Zapisuj wyniki, aby porównać narzędzia lub ustawienia:
| Klip | Warunki | Słowa referencji | S | D | I | WER | Błędy krytyczne |
|---|---|---|---|---|---|---|---|
| Klip A | Cichy pokój, jeden mówca | 310 | |||||
| Klip B | Rozmowa wideo, dwóch mówców | 285 | |||||
| Klip C | Kawiarnia, mówca z akcentem | 296 |
Liczby słów są przykładowe. Uwaga do kroku 4: angielski normalizator OpenAI może zrównać „Dr.” z „doctor” i „two” z „2”, ale różnice takie jak „9th” i „ninth” nadal liczyć jako błąd. Przeczytaj oznaczone różnice przed uznaniem wyniku.
Jak dokładny jest whispertranscribe.ai?
whispertranscribe.ai to internetowe narzędzie AI oparte na Whisper, obsługujące ponad 130 języków i pliki do 5GB oraz 10 godzin. Dokładność sięga do 99% przy czystym audio; hałas, silne akcenty i nakładające się głosy ją obniżają, jak pokazują powyższe wyniki samego Whisper. Nie twierdzimy, że dorównujemy wynikom pracy lub je przewyższamy, i nie opublikowaliśmy własnego testu; sprawdź więc własne klipy powyższymi krokami.
- Opcje Noise / Low-Quality Audio/Video w wyborze języka dla wielu języków. Dla zaszumionego pliku porównaj opcję standardową i opcję redukcji problemów z audio.
- Ponad 130 języków, Multilingual Mix i tłumaczenie audio na angielski.
- Pliki do 5GB i 10 godzin, wykrywanie mówców i znaczniki czasu (wszystkie funkcje).
- Czyste wejście: nagrywaj w przeglądarce z bliskim mikrofonem lub zamień wideo na MP3, aby przesłać tylko audio. Przed nagrywaniem uzyskaj wymaganą zgodę.
- Eksport do DOCX, PDF, TXT, CSV, SRT i VTT oraz generator napisów z czasem wyświetlania.
Możesz zacząć bezpłatnie bez konta. Płatne plany zaczynają się od $9.99/mies. przy płatności rocznej; zobacz cennik.
Często zadawane pytania
Czy Whisper jest dokładny w 99%?
Nie ogólnie. Najlepszy opublikowany wynik Whisper to WER 2.5% na LibriSpeech test-clean, zbiorze wyraźnie czytanych audiobooków, czyli około 97.5% poprawnych słów. Dla telefonów, spotkań i hałaśliwych sal liczby OpenAI wynoszą około 13–40% WER. Deklaracja „99%” ma sens tylko z określeniem zmierzonego audio. Narzędzia oparte na Whisper, również whispertranscribe.ai, oceniaj na własnych nagraniach, nie według procentu w nagłówku.
Który model Whisper jest najdokładniejszy?
Modele large są najdokładniejsze. W pracy OpenAI large-v2 miał najniższe błędy na większości zbiorów, a karta large-v3 podaje 10–20% mniej błędów niż large-v2 w wielu językach. Turbo jest zoptymalizowanym large-v3, który według OpenAI traci niewiele dokładności w zamian za większą szybkość. Najmniejszy tiny wypada znacznie słabiej na trudnym audio: 48.0% WER przy hałaśliwej kolacji wobec 24.9% dla large-v2.
Dlaczego Whisper zapisuje niewypowiedziane słowa?
Whisper może halucynować, ponieważ uczy się przewidywać prawdopodobny tekst oraz transkrybować dźwięk, a karta modelu OpenAI ostrzega przed tekstem nieobecnym w audio. Zdarza się to często podczas długiej ciszy, muzyki lub hałasu. Niezależne badanie z 2023 r. wykryło halucynowane frazy w około 1% transkrypcji, a pauzy zwiększały ryzyko. Przycięcie ciszy, ustawienie języka i sprawdzenie cichych fragmentów ogranicza ryzyko.
Jak dokładny jest Whisper przy akcentach?
Whisper radzi sobie z akcentami lepiej niż wiele starszych systemów, lecz nierównomiernie. Karta OpenAI mówi, że dokładność różni się między akcentami i dialektami jednego języka. W pracy długie wywiady w afroamerykańskiej odmianie angielskiego (CORAAL) miały WER 19.6% wobec 3.5% pełnych wystąpień TED, choć warunki nagrania również się różniły. Najpewniej jest przetestować klip z mówcami podobnymi do rzeczywistych i przeznaczyć więcej czasu na korektę silnych akcentów.
Czy Whisper jest tak dokładny jak człowiek transkrybujący?
Dla angielskiego zbliża się, ale nie dorównuje najlepszym. OpenAI porównało go z pięcioma profesjonalnymi usługami na 25 nagraniach. Usługa wspomagana komputerowo miała łączny WER o 1.15 punktu niższy od Whisper, a cztery całkowicie ludzkie usługi były lepsze o ułamek punktu. Ludzie nadal zwykle lepiej radzą sobie z nazwami, nakładaniem głosów i niewyraźną mową. Materiał cytowany, składany lub publikowany powinien sprawdzić człowiek względem nagrania.
Jak dokładny jest Whisper poza angielskim?
Bardzo różnie zależnie od języka. W teście Fleurs large-v2 uzyskał WER 3.0% po hiszpańsku, 4.5% po niemiecku i 8.3% po francusku, ale 27.1% po hebrajsku i 99.0% w telugu. Chiński i japoński oceniano wskaźnikiem błędów znaków: 14.7% i 5.3%. W pracy stwierdzono związek dokładności z ilością audio treningowego dla języka. Dla języków o mniejszych zasobach najpierw przetestuj krótki klip i zaplanuj więcej czasu na poprawki.
Przetestuj dokładność na własnym nagraniu
Wyniki testów opisują cudze audio. Prześlij klip do whispertranscribe.ai w jednym z ponad 130 języków i oceń go według kroków z poradnika. Zacznij bezpłatnie bez konta lub porównaj plany.
Powiązane artykuły: Czym jest Whisper AI? · Najlepsze bezpłatne oprogramowanie do transkrypcji · Najlepsze alternatywy dla TurboScribe · Jak transkrybować wideo YouTube · Czym jest plik SRT? · Napisy twarde a miękkie
Źródła
- Radford i in., Robust Speech Recognition via Large-Scale Weak Supervision (praca Whisper, OpenAI, 2022): tabele 2, 9, 13 i 16 oraz sekcje 3–6
- OpenAI, openai/whisper na GitHubie: tabela modeli README, uwaga o turbo i wykres WER języków
- OpenAI i Hugging Face, karta modelu whisper-large-v3: zmiany large-v3, oceniane zastosowanie i ograniczenia
- Koenecke i in., Careless Whisper: Speech-to-Text Hallucination Harms (2024)
- jiwer: otwarta biblioteka do WER i CER
- Hugging Face, Open ASR Leaderboard: niezależne, regularnie aktualizowane porównanie otwartych modeli mowy
