Cât de precis este Whisper AI? WER, limite reale și sfaturi (2026)

De echipa editorială whispertranscribe.ai · Actualizat: noiembrie 2026 · Timp de citire: 13 min · Categorie: Precizia transcrierii

Cât de precis este Whisper? Pentru engleză citită clar, studiul OpenAI raportează o rată a erorilor de cuvinte (WER) de 2.5% pentru Whisper large-v2, adică aproximativ 97–98 de cuvinte corecte din 100. Audio-ul mai dificil produce rezultate mai slabe: 13.6% în apeluri telefonice, 24.9% la o cină zgomotoasă și 39.9% într-o ședință înregistrată cu un singur microfon îndepărtat.

Whisper este modelul de recunoaștere a vorbirii cu sursă deschisă al OpenAI și motorul multor aplicații de transcriere, inclusiv al nostru. Acest ghid privește precizia: ce măsoară WER, rezultatele după tipul audio și limbă, erorile Whisper și cum îl testezi singur. Pentru context, vezi ce este Whisper AI.

Majoritatea cifrelor provin din studiul Whisper (Radford și colaboratorii, 2022), care a testat modelele „zero-shot”, fără reglaj fin pe seturile de test. Fișa modelului large-v3 raportează cu 10–20% mai puține erori decât large-v2 în multe limbi, fără un tabel complet pe fiecare set. whispertranscribe.ai publică acest articol. Nu am efectuat un test comparativ pentru el; cifrele nu sunt rezultate ale unui test propriu.

Precizia Whisper pe scurt

Un singur set nu răspunde la întrebare, deoarece tipul audio influențează puternic rezultatul. Tabelul arată rezultatele OpenAI pentru large-v2 cu beam search și temperature fallback (tabelul 9 din anexă), evaluate după normalizarea textului OpenAI.

Tip audio Setul de test din studiu WER Whisper large-v2 Proporția aproximativă a cuvintelor corecte
Carte audio, lectură clară LibriSpeech test-clean 2.5% Aproximativ 97.5 din 100
Text de știri citit WSJ 2.6% Aproximativ 97.4 din 100
Prelegeri TED TED-LIUM 3 3.7% Aproximativ 96 din 100
Carte audio, vorbitori mai dificili LibriSpeech test-other 4.9% Aproximativ 95 din 100
Voluntari cu microfoane de acasă Common Voice 5.1 8.2% Aproximativ 92 din 100
Conversații telefonice Switchboard 13.6% Aproximativ 86 din 100
Interviuri sociolingvistice lungi CORAAL 14.2% Aproximativ 86 din 100
Apeluri între familie și prieteni CallHome 16.4% Aproximativ 84 din 100
Ședințe, fiecare cu microfon pe căști AMI IHM 17.4% Aproximativ 83 din 100
Cine, microfoane îndepărtate CHiME-6 24.9% Aproximativ 75 din 100
Ședințe, un microfon de masă îndepărtat AMI SDM1 39.9% Aproximativ 60 din 100

„Proporția corectă” este 100 minus WER, o aproximație deoarece WER include și cuvintele adăugate.

Este citată adesea cifra 2.7%: același model cu decodare greedy mai simplă (tabelul 2 din studiu). Rândurile AMI descriu aceleași ședințe înregistrate în două feluri. Mutarea microfonului de la fiecare vorbitor în mijlocul mesei dublează rata erorilor.

Ce este rata erorilor de cuvinte (WER) și cum se calculează?

WER este proporția erorilor dintr-o transcriere față de o referință verificată de om. Adună trei tipuri de eroare și împarte la numărul cuvintelor din referință:

WER = (substituiri + omisiuni + inserări) ÷ cuvintele din referință

  • Substituire: un cuvânt greșit în locul celui corect (de exemplu „masa” în loc de „casa”).
  • Omisiune: un cuvânt rostit care lipsește din transcriere.
  • Inserare: un cuvânt din transcriere pe care nimeni nu l-a spus.

Iată un exemplu creat pentru ilustrare, folosind calculul WER și biblioteca deschisă jiwer:

Rând Text
Referință (22 de cuvinte) am mutat lansarea produsului în nouă martie deoarece furnizorul a ratat două termene iar doctorul patel dorește un nou plan de testare
Transcriere am mutat masa produsului în nouă martie deoarece furnizorul a ratat două termene doctorul badal dorește un nou plan de testare azi
Erori 2 substituiri (masa, badal), 1 omisiune (iar), 1 inserare (azi)
WER 4 ÷ 22 = 18.2%

Trei aspecte WER surprind adesea:

  1. Poate depăși 100%. Inserările nu au plafon, iar câteva limbi cu resurse reduse din rezultatele Fleurs depășesc 100%.
  2. Normalizarea schimbă scorul. „Dr.” și „doctor” se consideră diferite dacă textele nu sunt curățate identic. OpenAI spune că normalizarea a redus WER cu până la 50% în unele seturi, în principal eliminând diferențele de formatare.
  3. Unele limbi folosesc rata erorilor de caractere (CER). Pentru chineză, japoneză, thailandeză, laoțiană și birmană, unde cuvintele nu sunt separate prin spații, studiul evaluează caracterele.

O afirmație despre precizie fără set de test și metodă de evaluare precizate nu este o măsurătoare, indiferent cine o face, inclusiv noi.

Cât de precis este Whisper în engleză?

Whisper este foarte precis pentru engleza clară și rămâne utilizabil pe audio dificil. În studiu a avut cu 55.2% mai puține erori pe alte 12 seturi englezești decât un model wav2vec 2.0 supervizat cu scor LibriSpeech aproape identic.

Înregistrări lungi

Whisper citește audio în ferestre de 30 de secunde, așa că studiul a testat separat fișiere lungi (tabelul 16 din anexă, large-v2):

Set pentru înregistrări lungi Conținut WER
TED-LIUM 3 11 prelegeri TED complete 3.5%
Meanwhile 64 de segmente TV nocturne cu multe cuvinte neobișnuite 5.1%
Kincaid46 46 de înregistrări variate dintr-o comparație din 2018 8.8%
Earnings-21 Apeluri privind rezultatele companiilor 9.7%
Rev16 16 episoade de podcast 11.3%
Earnings-22 Alte apeluri privind rezultate, cu multe accente 12.6%
CORAAL 231 de interviuri complete în engleză afro-americană 19.6%

Whisper comparat cu transcriptorii umani

OpenAI a cerut transcrierea a 25 de înregistrări Kincaid46 de către patru servicii umane și unul asistat de computer. Serviciul asistat a obținut un WER cu 1.15 puncte procentuale mai bun decât Whisper, iar cele umane au fost mai bune cu o fracțiune de punct. Studiul concluzionează că rezultatul nu este perfect, dar este foarte apropiat de precizia umană.

Dimensiunea modelului contează

Whisper există în mai multe dimensiuni, iar aplicațiile nu spun întotdeauna pe care o folosesc (tabelul 9 din anexă):

Model Parametri LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

Diferența crește odată cu dificultatea audio: aproximativ 4 puncte la cărți audio clare și 23 la cina zgomotoasă. Modelul mai nou turbo, un large-v3 optimizat, acceptă o degradare minimă a preciziei, conform README-ului GitHub al OpenAI, pentru o transcriere mult mai rapidă.

Cât de precis este Whisper în alte limbi?

În afara englezei, precizia depinde în principal de cantitatea de audio de antrenare în limba respectivă. Studiul a găsit o corelație pătratică de 0.83 între logaritmul orelor de antrenare și logaritmul WER și estimează că WER se înjumătățește la fiecare creștere de 16 ori a datelor. Majoritatea celor 96 de limbi în afara englezei aveau sub 1.000 de ore.

Rezultate Fleurs selectate (propoziții citite, large-v2, tabelul 13 din anexă):

Limbă WER Fleurs Observație
Spaniolă 3.0% Cel mai mic din tabel
Engleză 4.2%
Portugheză 4.3%
Germană 4.5%
Japoneză 5.3% Rata erorilor de caractere
Rusă 5.6%
Franceză 8.3%
Coreeană 14.3% Valoare atipică
Chineză 14.7% Rata erorilor de caractere
Arabă 16.0%
Hindi 21.5%
Ebraică 27.1% Valoare atipică
Swahili 39.3%
Telugu 99.0% Valoare atipică

Studiul semnalează rezultate pentru ebraică, telugu, chineză și coreeană mai slabe decât ar fi indicat datele de antrenare, posibil din cauza distanței lingvistice, a unui tokenizator nepotrivit acelor scrieri sau a calității datelor. Fleurs conține vorbire citită, deci în conversații pot apărea mai multe erori. README conține o diagramă mai nouă pentru large-v3 și large-v2 pe Common Voice 15 și Fleurs.

Rezultatele în spaniolă sunt încurajatoare dacă transcrii audio în spaniolă. Pentru limbi cu resurse reduse, testează un fragment scurt înaintea întregului proiect.

Ce influențează precizia Whisper?

Condițiile de înregistrare contează cel mai mult. Dovezi din studiu și fișa modelului:

Factor Ce arată dovezile Ce poți face
Zgomot de fundal În zgomot de pub sub 10 dB raport semnal-zgomot, Whisper a depășit toate cele 14 modele comparate, dar toate s-au degradat odată cu zgomotul Înregistrează într-o cameră liniștită, departe de ventilatoare și muzică
Distanța microfonului Aceleași ședințe AMI: 17.4% cu microfoane pe căști, 39.9% cu un microfon pe masă Ține microfonul aproape de vorbitor
Conversații și suprapuneri Apelurile și cinele au 13.6–24.9%, față de 2.5% la vorbire citită O persoană vorbește pe rând; câte un microfon pentru fiecare
Accente și dialecte Fișa modelului raportează precizie neuniformă între accente; interviurile lungi CORAAL au 19.6% Testează cu vorbitori asemănători celor din înregistrările reale
Cuvinte rare și jargon Rezultat bun pe setul Meanwhile cu jargon (5.1%), dar numele și termenii tehnici rămân surse de erori Verifică numele și termenii cu o listă
Resurse lingvistice Fleurs WER variază de la 3.0% (spaniolă) la 99.0% (telugu) Alege limba manual și alocă mai mult timp de verificare limbilor cu resurse reduse
Dimensiunea modelului tiny are 48.0% pe CHiME-6, large-v2 24.9% Întreabă ce model folosește instrumentul sau folosește cel mai mare disponibil
Format și rată de eșantionare Codul Whisper convertește toate fișierele la 16 kHz mono Un WAV la 48 kHz nu aduce beneficii față de unul curat la 16 kHz

Conversia unui MP3 într-un WAV mare nu recuperează detaliile pierdute. O înregistrare curată la bitrate moderat este mai bună decât una zgomotoasă la bitrate mare.

Probleme cunoscute: halucinații, repetiții și marcaje de timp

OpenAI documentează fiecare dintre aceste erori, a căror importanță poate depăși ponderea în WER.

Text inventat

Whisper poate scrie cuvinte pe care nimeni nu le-a spus. Fișa modelului avertizează că predicțiile pot include text nerostit în audio, probabil deoarece modelul prezice și cuvintele următoare probabile. Secțiunea despre limite a studiului menționează chiar halucinații complete, fără legătură cu audio-ul.

Un studiu independent, Careless Whisper (Koenecke și colaboratorii, 2024), a procesat 13.140 de segmente prin API-ul Whisper al OpenAI în aprilie și mai 2023. Aproximativ 1% dintre transcrieri (1.4% în medie) conțineau expresii sau propoziții inventate, iar 38% dintre acestea includeau conținut dăunător, precum violență sau asocieri false. Pauzele mai lungi, în acest caz la persoane cu afazie, au crescut frecvența. API-ul s-a schimbat între timp, deci tratează rezultatul ca o măsurătoare din 2023.

Bucle de repetiție și cuvinte omise

Fișa modelului spune că Whisper tinde să genereze text repetitiv; beam search și programarea temperaturii reduc problema fără să o elimine. Studiul menționează și omiterea primelor sau ultimelor cuvinte dintr-un segment. Corecțiile de decodare au redus WER mediu pentru audio lung de la 11.0% la 10.0%, fără rezolvare completă.

Tăcere, muzică și cuvinte de umplutură

Textul inventat apare frecvent în timpul tăcerilor lungi și al muzicii. Studiul a constatat că semnalul propriu de absență a vorbirii nu este fiabil singur, iar codul deschis are acum o opțiune de a sări tăcerile lungi când detectează o posibilă halucinație.

Deriva marcajelor de timp și fișierele lungi

Whisper parcurge audio lung în ferestre de 30 de secunde, folosind marcajele proprii prezise pentru a plasa următoarea fereastră. Studiul observă că o eroare se poate propaga în fereastra următoare. Marcajele la nivel de cuvânt sunt marcate „experimental” în cod. Pentru subtitrări, verifică punctual sincronizarea în jurul pauzelor.

În timpul dezvoltării, OpenAI a observat că Whisper ghicea numele vorbitorilor aproape întotdeauna greșit. Modelele publicate au fost ajustate pentru a reduce problema, dar verifică orice nume din text.

10 moduri de a îmbunătăți precizia transcrierii Whisper

Majoritatea îmbunătățirilor se fac înainte de transcriere. Aproximativ în ordinea efectului:

  1. Pune microfonul aproape. Distanța singură a dublat rata erorilor în ședințele AMI.
  2. Redu zgomotul la sursă. Închide ferestrele și ventilatoarele și oprește muzica.
  3. Evită suprapunerea vocilor. O persoană pe rând ajută mai mult decât orice setare.
  4. Elimină tăcerile lungi și introducerile muzicale, unde apare frecvent text inventat. Taie la pauze, nu în mijlocul frazei.
  5. Setează limba manual. Whisper a identificat corect limba în 80.3% dintre cazuri pe 82 de limbi Fleurs; detectarea automată poate greși pe fragmente scurte sau cu accent.
  6. Folosește cel mai mare model disponibil, mai ales pentru înregistrări zgomotoase.
  7. Furnizează nume și termeni în prompt dacă găzduiești singur modelul. Whisper cu sursă deschisă acceptă ortografiile așteptate prin --initial_prompt.
  8. Încarcă fișierul original. Reînregistrarea prin difuzoare sau recomprimarea repetată elimină detalii.
  9. Verifică termenii. Caută fiecare nume, număr, dată și acronim și compară cu audio-ul.
  10. Revizuiește în două treceri. Corectează întâi la viteză normală. Apoi caută semne de halucinație: rânduri repetate, propoziții peste tăcere, încheieri precum „Mulțumim că ați urmărit”. Pentru lucrări juridice, medicale sau publicate, o persoană trebuie să verifice totul.

Cum măsori precizia Whisper pe propriul audio

Cea mai bună estimare pentru munca ta este un test de 30 de minute pe propriile înregistrări. Pașii sunt pentru a fi executați de tine; nu reprezintă un test whispertranscribe.ai.

  1. Alege trei fragmente de câte 2 minute similare muncii reale: unul ușor, unul tipic și unul dificil.
  2. Scrie manual o transcriere de referință, cuvânt cu cuvânt. Stabilește întâi regulile: păstrezi sau elimini „ăă”, scrii numerele ca cifre sau cuvinte.
  3. Transcrie fiecare fragment cu instrumentul testat și salvează text simplu.
  4. Normalizează ambele texte identic. Normalizatorul OpenAI vine cu openai-whisper.
  5. Calculează WER cu jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Numără separat erorile critice. Cinci cuvinte de umplutură greșite și cinci nume de clienți greșite dau același WER, dar nu reprezintă aceeași problemă.
  2. Notează rezultatele pentru a compara instrumentele sau setările:
Fragment Condiții Cuvinte în referință S D I WER Erori critice
Fragment A Cameră liniștită, un vorbitor 310
Fragment B Apel video, doi vorbitori 285
Fragment C Cafenea, vorbitor cu accent 296

Numărul de cuvinte este orientativ. Atenție la pasul 4: normalizatorul englez OpenAI poate trata diferit abrevierile și formele numerelor. Citește diferențele marcate înainte să te bazezi pe scor.

Cât de precis este whispertranscribe.ai?

whispertranscribe.ai este un instrument AI de transcriere în browser bazat pe Whisper, cu peste 130 de limbi și încărcări de până la 5 GB și 10 ore. Precizia poate ajunge la 99% pe audio clar; zgomotul, accentele puternice și vorbirea suprapusă o reduc, așa cum arată testele Whisper de mai sus. Nu susținem că egalăm sau depășim cifrele studiului și nu am publicat un test comparativ propriu, așa că testează fragmentele tale cu pașii de mai sus.

  • Opțiuni Noise / Low-Quality Audio/Video în selectorul de limbă pentru multe limbi. Pentru un fișier zgomotos, încearcă varianta standard și cea pentru zgomot și compară.
  • Peste 130 de limbi, opțiunea Multilingual Mix și traducerea audio în engleză.
  • Fișiere de până la 5 GB și 10 ore, detectarea vorbitorilor și marcaje de timp (toate funcțiile).
  • Intrare clară: obține consimțământul necesar și permisiunea organizatorului, apoi înregistrează în browser cu microfonul aproape sau convertește video în MP3 pentru a încărca doar audio-ul.
  • Exporturi DOCX, PDF, TXT, CSV, SRT și VTT, plus un generator de subtitrări pentru text temporizat.

Poți începe gratuit fără cont. Planurile plătite încep de la 9,99 USD/lună cu facturare anuală; vezi prețurile.

Întrebări frecvente

Whisper are precizie de 99%?

Nu în general. Cel mai bun rezultat publicat al Whisper este o rată a erorilor de cuvinte de 2.5% pe LibriSpeech test-clean, un set de cărți audio citite clar, echivalent cu aproximativ 97.5% cuvinte corecte. Pentru apeluri, ședințe și camere zgomotoase, cifrele OpenAI variază de la aproximativ 13% la 40% WER. O afirmație de „99%” este relevantă numai dacă precizează audio-ul măsurat. Evaluează instrumentele bazate pe Whisper, inclusiv whispertranscribe.ai, pe propriile înregistrări, nu pe un procent din titlu.

Care model Whisper este cel mai precis?

Modelele large sunt cele mai precise. În studiul OpenAI, large-v2 a avut cele mai mici rate de eroare pe majoritatea seturilor, iar fișa large-v3 raportează cu 10–20% mai puține erori decât large-v2 în multe limbi. Turbo este un large-v3 optimizat care, potrivit OpenAI, pierde puțină precizie în schimbul unei viteze mult mai mari. Cel mai mic model, tiny, este mult mai puțin precis pe audio dificil: 48.0% WER la o cină zgomotoasă față de 24.9% pentru large-v2.

De ce scrie Whisper cuvinte care nu au fost spuse?

Whisper poate halucina deoarece este antrenat să prezică text probabil, pe lângă transcriere, iar fișa OpenAI avertizează că poate produce text absent din audio. Se întâmplă mai ales în tăceri lungi, muzică sau zgomot. Un studiu independent din 2023 a găsit expresii inventate în aproximativ 1% dintre transcrieri, pauzele crescând probabilitatea. Eliminarea tăcerii, setarea limbii și verificarea pasajelor liniștite reduc riscul.

Cât de precis este Whisper pentru accente?

Whisper gestionează accentele mai bine decât multe sisteme vechi, dar nu uniform. Fișa OpenAI spune că precizia variază între accentele și dialectele aceleiași limbi. În studiu, interviurile lungi în engleză afro-americană (CORAAL) au avut 19.6% WER, față de 3.5% pentru prelegeri TED complete, deși și condițiile de înregistrare diferă. Testează un fragment cu vorbitori asemănători celor reali și alocă mai mult timp de verificare pentru accente puternice.

Este Whisper la fel de precis ca un transcriptor uman?

Pentru engleză, Whisper se apropie de cei mai buni, dar nu îi egalează. OpenAI l-a comparat cu cinci servicii profesionale pe 25 de înregistrări. Un serviciu asistat de computer a avut WER agregat mai mic cu 1.15 puncte, iar patru servicii exclusiv umane au fost mai bune cu fracțiuni de punct. Oamenii tind să gestioneze mai bine numele, vorbirea suprapusă și neclară. Pentru orice conținut citat, depus oficial sau publicat, o persoană ar trebui să verifice transcrierea cu înregistrarea.

Cât de precis este Whisper în alte limbi decât engleza?

Variază mult. Pe Fleurs, large-v2 a avut WER de 3.0% în spaniolă, 4.5% în germană și 8.3% în franceză, dar 27.1% în ebraică și 99.0% în telugu. Chineza și japoneza sunt evaluate prin rata erorilor de caractere: 14.7% și 5.3%. Studiul a constatat că precizia urmărește cantitatea de audio de antrenare pe limbă. Pentru limbile cu resurse reduse, testează întâi un fragment și rezervă mai mult timp pentru corectare.

Testează precizia pe propria înregistrare

Testele comparative descriu audio-ul altor persoane. Încarcă un fragment în whispertranscribe.ai în oricare dintre cele peste 130 de limbi și evaluează-l cu pașii din acest ghid. Începe gratuit fără cont sau compară planurile.

Articole conexe: Ce este Whisper AI? · Cele mai bune programe gratuite de transcriere · Cele mai bune alternative TurboScribe · Cum transcrii un video YouTube · Ce este un fișier SRT? · Subtitrări integrate sau separate

Referințe

Vrei să îți transformi înregistrările în text?

Transcrie fișiere audio și video cu whispertranscribe.ai.

Începe transcrierea ↗