whispertranscribe.ai toimetus · Viimati uuendatud: november 2026 · Lugemisaeg 13 minutit · Kategooria: Transkribeerimise täpsus
Kui täpne on Whisper? Selge loetud inglise keele puhul annab OpenAI uurimus Whisper large-v2 sõnaveamääraks (WER) 2.5%, seega on umbes 97–98 sõna sajast õiged. Raskem heli annab halvema tulemuse: telefonikõnedes 13.6%, mürasel õhtusöögil 24.9% ja ühe kauge mikrofoniga salvestatud koosolekul 39.9%.
Whisper on OpenAI avatud lähtekoodiga kõnetuvastusmudel ja paljude transkribeerimisrakenduste, sealhulgas meie oma, alus. See juhend käsitleb ainult täpsust: mida WER mõõdab, mida näitavad võrdlustestid heli ja keele järgi, kus Whisper eksib ja kuidas seda ise testida. Mudeli tausta kohta vaadake selgitust mis on Whisper AI.
Enamik arve pärineb Whisperi uurimusest (Radford jt, 2022), kus iga mudelit testiti „zero-shot“ meetodil ilma testandmetel peenhäälestamata. Uuem large-v3 mudelikaart teatab paljudes keeltes 10% kuni 20% vähem vigu kui large-v2, kuid ei esita täielikku andmestikupõhist tabelit. Artikli avaldab whispertranscribe.ai. Me ei teinud selle jaoks võrdlustesti ja ükski arv ei ole meie enda testitulemus.
Whisperi täpsus lühidalt
Ükski testandmestik ei vasta küsimusele üksi, sest heli muudab tulemust kõige rohkem. Tabel näitab OpenAI large-v2 tulemusi beam searchi ja temperature fallbackiga (lisa tabel 9), hinnatuna pärast OpenAI tekstinormaliseerijat.
| Helitüüp | Uurimuse testandmestik | Whisper large-v2 WER | Ligikaudne õigete sõnade osakaal |
|---|---|---|---|
| Audioraamat, selge lugeja | LibriSpeech test-clean | 2.5% | Umbes 97.5 sajast |
| Ette loetud uudised | WSJ | 2.6% | Umbes 97.4 sajast |
| TEDi ettekanded | TED-LIUM 3 | 3.7% | Umbes 96 sajast |
| Audioraamat, raskemad kõnelejad | LibriSpeech test-other | 4.9% | Umbes 95 sajast |
| Vabatahtlikud kodumikrofonidega | Common Voice 5.1 | 8.2% | Umbes 92 sajast |
| Telefonivestlused | Switchboard | 13.6% | Umbes 86 sajast |
| Pikad sotsiolingvistilised intervjuud | CORAAL | 14.2% | Umbes 86 sajast |
| Pere ja sõprade telefonikõned | CallHome | 16.4% | Umbes 84 sajast |
| Koosolekud, igal inimesel peakomplekti mikrofon | AMI IHM | 17.4% | Umbes 83 sajast |
| Õhtusöögid, kaugmikrofonid | CHiME-6 | 24.9% | Umbes 75 sajast |
| Koosolekud, üks kauge lauamikrofon | AMI SDM1 | 39.9% | Umbes 60 sajast |
„Õigete sõnade osakaal“ on 100 miinus WER, mis on ligikaudne, sest WER arvestab ka lisatud sõnu.
Sageli näeb arvu 2.7%: see on sama mudel lihtsama greedy decodinguga (uurimuse tabel 2). AMI read on samad koosolekud, mis salvestati kahel viisil. Mikrofoni liigutamine iga kõneleja pea juurest laua keskele rohkem kui kahekordistab veamäära.
Mis on sõnaveamäär (WER) ja kuidas seda arvutatakse?
Sõnaveamäär on transkriptsiooni valede sõnade osakaal võrreldes inimese kontrollitud võrdlustekstiga. Loendage kolm veatüüpi ja jagage võrdlusteksti sõnade arvuga:
WER = (asendused + väljajätud + lisandused) ÷ võrdlusteksti sõnade arv
- Asendus: õige sõna asemel vale sõna („laud“ sõna „raud“ asemel).
- Väljajätt: öeldud sõna puudub transkriptsioonist.
- Lisandus: transkriptsioonis on sõna, mida keegi ei öelnud.
Siin on meie näide, mida hinnatakse avatud lähtekoodiga jiweri teegiga:
| Rida | Tekst |
|---|---|
| Võrdlustekst (22 sõna) | viisime toote esitluse märtsi üheksandale päevale sest tarnija ületas kaks tähtaega ja doktor kask soovib uut testiplaani enne järgmist ühise meeskonna koosolekut |
| Transkriptsioon | viisime projekti esitluse märtsi üheksandale päevale sest tarnija ületas tähtaega ja doktor kask soovib uut tööplaani enne järgmist ühise meeskonna koosolekut täna |
| Vead | 2 asendust (projekti, tööplaani), 1 väljajätt (kaks), 1 lisandus (täna) |
| WER | 4 ÷ 22 = 18.2% |
Kolm WERi omadust üllatavad inimesi:
- See võib ületada 100%. Lisandustel pole ülempiiri ja mõned väheste ressurssidega keeled uurimuse Fleursi tulemustes ületavad 100%.
- Normaliseerimine muudab tulemust. „Dr.“ ja „doktor“ loetakse veaks, kui mõlemat teksti ei puhastata samal viisil. OpenAI ütleb, et normaliseerija vähendas mõnes andmestikus WERi kuni 50%, enamasti vorminduserinevuste eemaldamisega.
- Mõned keeled kasutavad märgiveamäära (CER). Hiina, jaapani, tai, lao ja birma keele puhul, kus sõnu ei eraldata tühikutega, hindab uurimus selle asemel märke.
Täpsusväide ilma nimetatud testandmestiku ja hindamismeetodita ei ole mõõtmine, ükskõik kes selle esitab, meie kaasa arvatud.
Kui täpne on Whisper inglise keeles?
Selges inglise keeles on Whisper väga täpne ja jääb kasutatavaks ka raskema kõne korral. Uurimuses tegi see 12 muus ingliskeelses andmestikus 55.2% vähem vigu kui juhendatud wav2vec 2.0 mudel, mille LibriSpeechi tulemus oli peaaegu sama.
Pikad salvestised
Whisper loeb heli 30-sekundiliste akendena, seega uuriti pikki faile eraldi (lisa tabel 16, large-v2):
| Pikkade salvestiste testandmestik | Sisu | WER |
|---|---|---|
| TED-LIUM 3 | 11 tervet TEDi ettekannet | 3.5% |
| Meanwhile | 64 hilisõhtust telesegmenti rohkete ebatavaliste sõnadega | 5.1% |
| Kincaid46 | 46 segasalvestist 2018. aasta võrdlusest | 8.8% |
| Earnings-21 | Ettevõtete majandustulemuste kõned | 9.7% |
| Rev16 | 16 taskuhäälingu osa | 11.3% |
| Earnings-22 | Veel tulemuskõnesid, palju aktsente | 12.6% |
| CORAAL | 231 täielikku intervjuud afroameerika inglise keeles | 19.6% |
Whisper võrreldes inimtranskribeerijatega
OpenAI lasi 25 Kincaid46 salvestist transkribeerida neljal inimteenusel ja ühel arvuti abil töötaval teenusel. Arvuti abil töötav teenus oli Whisperist 1.15 protsendipunkti võrra parem, täielikult inimtööga teenused vaid murdosa punkti võrra paremad. Uurimuse järeldus: tulemus pole täiuslik, kuid on inimtaseme täpsusele väga lähedal.
Mudeli suurus on oluline
Whisperil on mitu suurust ja rakendused ei ütle alati, millist nad kasutavad (lisa tabel 9):
| Mudel | Parameetrid | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39M | 6.7% | 26.1% | 18.3% | 48.0% |
| base | 74M | 4.9% | 19.4% | 15.6% | 40.0% |
| small | 244M | 3.3% | 12.8% | 13.3% | 30.9% |
| medium | 769M | 2.7% | 9.7% | 13.2% | 27.6% |
| large-v2 | 1550M | 2.5% | 8.2% | 13.6% | 24.9% |
Vahe kasvab heli raskemaks muutudes: selgete audioraamatute puhul umbes 4 punkti, õhtusöögil 23 punkti. Uuem turbo mudel, optimeeritud large-v3, kasutab OpenAI GitHubi README järgi palju kiirema transkribeerimise eest minimaalset täpsuskadu.
Kui täpne on Whisper teistes keeltes?
Väljaspool inglise keelt sõltub täpsus peamiselt sellest, kui palju oli Whisperil selle keele treeningheli. Uurimus leidis treeningtundide logaritmi ja WERi logaritmi ruutkorrelatsiooniks 0.83 ning hindab, et iga 16-kordne andmete kasv vähendab WERi poole võrra. Enamikul 96 mitteinglise keelest oli vähem kui 1,000 tundi.
Valitud Fleursi tulemused (loetud laused, large-v2, lisa tabel 13):
| Keel | Fleursi WER | Märkus |
|---|---|---|
| Hispaania | 3.0% | Tabeli madalaim |
| Inglise | 4.2% | |
| Portugali | 4.3% | |
| Saksa | 4.5% | |
| Jaapani | 5.3% | Märgiveamäär |
| Vene | 5.6% | |
| Prantsuse | 8.3% | |
| Korea | 14.3% | Märgitud erandiks |
| Hiina | 14.7% | Märgiveamäär |
| Araabia | 16.0% | |
| Hindi | 21.5% | |
| Heebrea | 27.1% | Märgitud erandiks |
| Suahiili | 39.3% | |
| Telugu | 99.0% | Märgitud erandiks |
Uurimus märgib, et heebrea, telugu, hiina ja korea keel toimisid treeningandmete põhjal ennustatust halvemini, võimalik, et keelelise kauguse, kirjasüsteemidele halvasti sobiva tokenisaatori või andmekvaliteedi tõttu. Fleurs sisaldab loetud kõnet, seega oodake vestluses kõrgemat veamäära. README sisaldab uuemat large-v3 ja large-v2 graafikut Common Voice 15 ja Fleursi kohta.
Hispaania tulemused on julgustavad, kui transkribeerite hispaaniakeelset heli tekstiks. Vähemate ressurssidega keelte puhul testige enne kogu projekti lühikest lõiku.
Mis mõjutab Whisperi täpsust?
Salvestustingimused on kõige olulisemad. Tõendid uurimusest ja mudelikaardilt:
| Tegur | Mida tõendid näitavad | Mida teha |
|---|---|---|
| Taustamüra | Alla 10 dB signaali-müra suhtega pubimüras ületas Whisper kõik 14 võrdlusmudelit, kuid müra kasvades halvenesid kõik | Salvestage vaikses ruumis, ventilaatoritest ja muusikast eemal |
| Mikrofoni kaugus | Samad AMI koosolekud: peakomplekti mikrofonidega 17.4%, ühe lauamikrofoniga 39.9% | Hoidke mikrofon kõneleja lähedal |
| Vestlus ja kattuv kõne | Telefonikõnede ja õhtusöökide tulemus on 13.6% kuni 24.9%, loetud kõnel 2.5% | Üks kõneleja korraga; üks mikrofon kõneleja kohta |
| Aktsendid ja murded | Mudelikaart teatab ebaühtlasest täpsusest; pikad CORAALi intervjuud said 19.6% | Testige kõnelejatega, kes kõlavad nagu tegelikel salvestistel |
| Haruldased sõnad ja erialaterminid | Hea tulemus terminirikkas Meanwhile'i andmestikus (5.1%), kuid nimed ja tehnilised terminid on jätkuvalt sagedased vead | Kontrollige nimesid ja termineid loendi järgi |
| Keeleressursid | Fleursi WER ulatub 3.0%st (hispaania) kuni 99.0%ni (telugu) | Valige keel ise; väheste ressurssidega keelte jaoks planeerige rohkem kontrolli |
| Mudeli suurus | tiny saab CHiME-6 puhul 48.0%, large-v2 24.9% | Küsige, millist mudelit tööriist kasutab, või kasutage suurimat võimalikku |
| Failivorming ja diskreetimissagedus | Whisperi kood teisendab kogu heli 16 kHz monoks | 48 kHz WAV ei anna puhta 16 kHz faili ees midagi juurde |
MP3 teisendamine suureks WAViks ei taasta kaotatud üksikasju. Mõõduka bitikiirusega puhas salvestis on parem kui kõrge bitikiirusega mürane salvestis.
Whisperi teadaolevad probleemid: hallutsinatsioonid, kordused ja ajatemplid
OpenAI dokumenteerib need vead, mis on olulisemad, kui nende osakaal WERis näitab.
Väljamõeldud tekst
Whisper võib kirjutada sõnu, mida keegi ei öelnud. Mudelikaart ütleb, et ennustused võivad sisaldada teksti, mida sisendhelis tegelikult ei räägita, tõenäoliselt seetõttu, et mudel ennustab ka tõenäolisi järgmisi sõnu. Uurimuse piirangute osa mainib isegi täielikku hallutsinatsiooni, heliga mitteseotud väljundit.
Sõltumatu uuring Careless Whisper (Koenecke jt, 2024) töötles aprillis ja mais 2023 OpenAI Whisper APIga 13,140 helisegmenti. Umbes 1% transkriptsioonidest (keskmiselt 1.4%) sisaldas terviklikke väljamõeldud fraase või lauseid ning 38% neist sisaldas kahjulikku sisu, näiteks vägivalda või valeseoseid. Pikemate pausidega kõnelejad, selles uuringus afaasiaga inimesed, põhjustasid neid sagedamini. API on sellest ajast muutunud, seega käsitlege seda 2023. aasta mõõtmisena.
Kordussilmused ja väljajäetud sõnad
Mudelikaardi järgi kaldub Whisper korduvat teksti looma, mida beam search ja temperatuuri ajastamine vähendavad, kuid mitte täielikult. Uurimus loetleb ka segmendi esimeste või viimaste sõnade vahelejätmist. Dekodeerimisparandused vähendasid pikkade salvestiste keskmist WERi 11.0%lt 10.0%ni: parem, kuid mitte lahendatud.
Vaikus, muusika ja täitesõnad
Väljamõeldud teksti ilmub sageli pika vaikuse ja muusika ajal. Uurimus leidis, et Whisperi enda „no speech“ signaal pole üksinda usaldusväärne, ning avatud lähtekoodis on nüüd võimalus tõenäolise hallutsinatsiooni korral pikad vaikused vahele jätta.
Ajatemplite nihkumine ja pikad failid
Whisper liigub pikas helis 30-sekundiliste akende kaupa ja kasutab järgmise akna paigutamiseks enda ennustatud ajatempleid, seega võib uurimuse järgi ühe akna viga järgmisse kanduda. Sõnataseme ajatemplid on koodis märgitud eksperimentaalseks. Subtiitrite puhul kontrollige pauside ümbruse ajastust.
Arenduse ajal nägi OpenAI ka Whisperit kõnelejate nimesid oletamas, mis olid peaaegu alati valed. Avaldatud mudeleid peenhäälestati selle piiramiseks, kuid kontrollige iga nime tekstis.
10 viisi Whisperi transkriptsiooni täpsuse parandamiseks
Enamik paranemist tekib enne transkribeerimise käivitamist. Ligikaudu suurimast mõjust väikseimani:
- Asetage mikrofon lähedale. Ainuüksi kaugus rohkem kui kahekordistas AMI koosolekute veamäära.
- Vähendage müra allikas. Sulgege aknad, lülitage ventilaatorid välja, peatage muusika.
- Vältige kattuvat kõnet. Üks inimene korraga on parem kui ükskõik milline säte.
- Lõigake pikad vaikused ja muusikalised sissejuhatused, kus väljamõeldud tekst kõige sagedamini ilmub. Lõigake pauside, mitte lause keskelt.
- Määrake keel ise. Whisper tuvastas keele õigesti 80.3% kordadest 82 Fleursi keele seas, seega võib automaattuvastus lühikeste või aktsendiga lõikude puhul eksida.
- Kasutage suurimat saadaolevat mudelit, eriti müraste salvestiste puhul.
- Oma serveris andke nimed ja terminid viipena. Avatud Whisper aktsepteerib
--initial_promptvalikut oodatud kirjapildiga. - Laadige üles algne fail. Kõlarite kaudu uuesti salvestamine või korduv pakkimine kaotab üksikasju.
- Kontrollige termineid. Otsige üles iga nimi, arv, kuupäev ja lühend ning kontrollige heli järgi.
- Vaadake üle kahes etapis. Esmalt parandage vead tavakiirusel. Seejärel otsige hallutsinatsiooni märke: korduvad read, laused vaikuse ajal, lõpetused nagu „Täname vaatamast.“ Juriidilise, meditsiinilise või avaldatava töö puhul laske inimesel kõik üle vaadata.
Kuidas mõõta Whisperi täpsust oma helil
Parim hinnang teie töö jaoks on 30-minutine test oma salvestistel. Need sammud on teile endale; need ei ole whispertranscribe.ai test.
- Valige kolm 2-minutilist lõiku, mis sarnanevad tegeliku tööga: üks lihtne, üks tavaline ja üks raske.
- Kirjutage võrdlustekst käsitsi, sõna-sõnalt. Määrake reeglid: kas jätta „ee“ alles või välja, kirjutada arvud numbrite või sõnadena.
- Transkribeerige iga lõik testitava tööriistaga ja salvestage lihttekst.
- Normaliseerige mõlemad tekstid ühtemoodi. OpenAI normaliseerija on kaasas paketiga
openai-whisper. - Arvutage WER jiweriga:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Loendage kriitilised vead eraldi. Viis valet täitesõna ja viis valet kliendinime annavad sama WERi, kuid pole sama probleem.
- Pange tulemused kirja, et saaksite tööriistu või sätteid võrrelda:
| Lõik | Tingimused | Võrdlusteksti sõnu | S | D | I | WER | Kriitilised vead |
|---|---|---|---|---|---|---|---|
| Lõik A | Vaikne ruum, üks kõneleja | 310 | |||||
| Lõik B | Videokõne, kaks kõnelejat | 285 | |||||
| Lõik C | Kohvik, aktsendiga kõneleja | 296 |
Sõnade arvud on näited. Ettevaatus 4. sammu juures: inglise keele normaliseerija võib arvude ja lühendite kirjapilte käsitleda erinevalt. Enne tulemuse usaldamist lugege märgitud erinevused läbi.
Kui täpne on whispertranscribe.ai?
whispertranscribe.ai on veebipõhine AI transkribeerimistööriist, mis kasutab Whisperit, toetab 130+ keelt ning kuni 5GB ja 10 tunni pikkusi faile. Selge heli korral ulatub täpsus 99%ni; taustamüra, tugevad aktsendid ja kattuv kõne vähendavad seda, nagu Whisperi enda ülaltoodud võrdlustestid näitavad. Me ei väida, et saavutame või ületame uurimuse tulemusi, ega ole avaldanud oma võrdlustesti, seega testige oma lõike ülaltoodud sammudega.
- Noise / Low-Quality Audio/Video valikud paljude keelte valijas. Mürase faili korral proovige tavalist ja müravalikut ning võrrelge.
- 130+ keelt, Multilingual Mix ja heli tõlkimine inglise keelde.
- Failid kuni 5GB ja 10 tundi, kõnelejate tuvastamine ja ajatemplid (kõik funktsioonid).
- Puhas sisend: salvestage brauseris, mikrofon lähedal, või teisendage video MP3ks, et laadida ainult heli.
- Ekspordid DOCX, PDF, TXT, CSV, SRT ja VTT ning subtiitrite generaator ajastatud subtiitrite jaoks.
Võite alustada tasuta ilma kontota. Tasulised paketid algavad $9.99/kuu aastamaksega; vaadake hindu.
Korduma kippuvad küsimused
Kas Whisper on 99% täpne?
Mitte üldiselt. Whisperi parim avaldatud tulemus on 2.5% sõnaveamäär LibriSpeech test-cleanis, selgelt loetud audioraamatute kogumis, mis tähendab umbes 97.5% õigeid sõnu. Telefonikõnedes, koosolekutel ja mürastes ruumides on OpenAI enda arvud umbes 13% kuni 40% WER. „99%“ väitel on tähendus vaid siis, kui nimetatakse mõõdetud heli. Whisperil põhinevaid tööriistu, sealhulgas whispertranscribe.ai, tuleb hinnata teie salvestiste, mitte reklaamprotsendi järgi.
Milline Whisperi mudel on kõige täpsem?
Suured mudelid on kõige täpsemad. OpenAI uurimuses oli large-v2 enamikul testandmestikel madalaima veamääraga ja large-v3 mudelikaart teatab paljudes keeltes 10% kuni 20% vähem vigu kui large-v2. Turbo on optimeeritud large-v3, mis OpenAI järgi kaotab suurema kiiruse eest vaid veidi täpsust. Väikseim tiny on raske heli korral palju vähem täpne: mürasel õhtusöögil 48.0% WER võrreldes large-v2 24.9%ga.
Miks Whisper kirjutab sõnu, mida ei öeldud?
Whisper võib hallutsineerida, sest seda on treenitud nii tõenäolist teksti ennustama kui heli transkribeerima, ja OpenAI mudelikaart hoiatab väljundi eest, mida helis ei ole. Seda juhtub sagedamini pika vaikuse, muusika või müra ajal. 2023. aasta sõltumatu uuring leidis väljamõeldud fraase umbes 1% transkriptsioonidest ja pausid suurendasid tõenäosust. Vaikuse lõikamine, keele määramine ja vaiksete kohtade kontroll vähendavad riski.
Kui täpne on Whisper aktsentidega?
Whisper käsitleb aktsente paremini kui paljud vanemad süsteemid, kuid mitte ühtlaselt. OpenAI mudelikaardi järgi erineb täpsus sama keele aktsentide ja murrete vahel. Uurimuses said pikad afroameerika inglise keele intervjuud (CORAAL) 19.6% WERi, võrreldes täielike TEDi ettekannete 3.5%ga, kuigi ka salvestustingimused erinevad. Usaldusväärne on testida lõiku kõnelejatega, kes sarnanevad tegelikele salvestistele, ning tugevate aktsentide puhul planeerida lisakontrolli.
Kas Whisper on sama täpne kui inimtranskribeerija?
Inglise keeles jõuab Whisper lähedale, kuid ei saavuta parimat. OpenAI võrdles seda viie professionaalse teenusega 25 salvestisel. Arvuti abil töötava teenuse koond-WER oli Whisperist 1.15 punkti madalam ja neli täielikult inimtööl põhinevat teenust olid murdosa punkti võrra paremad. Inimesed käsitlevad nimesid, kattuvat kõnet ja ebaselget kõnet endiselt tavaliselt paremini. Kõik, mida tsiteeritakse, esitatakse või avaldatakse, tuleks inimesel salvestise järgi üle vaadata.
Kui täpne on Whisper muudes keeltes peale inglise keele?
See erineb keele järgi suuresti. Fleursi testis sai large-v2 hispaania keeles 3.0% WERi, saksa keeles 4.5% ja prantsuse keeles 8.3%, kuid heebrea keeles 27.1% ja telugu keeles 99.0%. Hiina ja jaapani keelt hinnatakse märgiveamääraga: 14.7% ja 5.3%. Uurimus leidis, et täpsus on seotud keele treeningheli hulgaga. Vähemate ressurssidega keelte puhul testige esmalt lühikest lõiku ja varuge parandusteks rohkem aega.
Testige täpsust oma salvestisel
Võrdlustestid kirjeldavad teiste inimeste heli. Laadige lõik whispertranscribe.ai-sse ühes 130+ keelest ja hinnake seda selle juhendi sammudega. Alustage tasuta ilma kontota või võrrelge pakette.
Seotud artiklid: Mis on Whisper AI? · Parim tasuta transkribeerimistarkvara · Parimad TurboScribe'i alternatiivid · Kuidas YouTube'i videot transkribeerida · Mis on SRT-fail? · Püsivad ja valikulised subtiitrid
Allikad
- Radford jt, Robust Speech Recognition via Large-Scale Weak Supervision (Whisperi uurimus, OpenAI, 2022): tabelid 2, 9, 13 ja 16 ning jaotised 3 kuni 6
- OpenAI, openai/whisper GitHubis: README mudelitabel, turbo märkus ja keelepõhine WER-graafik
- OpenAI ja Hugging Face, whisper-large-v3 mudelikaart: large-v3 muudatused, hinnatud kasutus ja piirangud
- Koenecke jt, Careless Whisper: Speech-to-Text Hallucination Harms (2024)
- jiwer: avatud lähtekoodiga WERi ja CERi teek
- Hugging Face, Open ASR Leaderboard: sõltumatu, regulaarselt uuendatav avatud kõnemudelite võrdlus
