Kaj je Whisper AI? Kako deluje model OpenAI za prepoznavanje govora

Uredništvo whispertranscribe.ai · Nazadnje posodobljeno novembra 2026 · 13 minut branja

Kaj je Whisper AI? Pri večini iskanj gre za OpenAI Whisper, odprtokodni model za prepoznavanje govora, ki ga je OpenAI objavil septembra 2022. Posneti govor pretvori v besedilo, prepozna govorjeni jezik in lahko druge jezike prevede v angleščino. OpenAI ga je učil na 680.000 urah spletnega zvoka ter kodo in uteži izdal pod licenco MIT.

Kratko razkritje: izdelujemo whispertranscribe.ai. whispertranscribe.ai je spletno orodje za transkripcijo z umetno inteligenco, ki pretvarja zvok in video v besedilo v več kot 130 jezikih. V tem vodiču jasno ločujemo model od izdelkov, zgrajenih okoli njega; vsaka številka o modelu izvira iz prispevka, repozitorija ali kartice modela OpenAI.

Hiter odgovor: kaj je Whisper AI?

Whisper je model za pretvorbo govora v besedilo, ne aplikacija ali podjetje. Prenesete ga lahko iz GitHub repozitorija OpenAI in zaženete v svojem računalniku ali uporabite storitev, ki ga zažene za vas.

  • Izdelovalec: OpenAI. Raziskovalni članek Robust Speech Recognition via Large-Scale Weak Supervision je bil objavljen na arXiv 6. decembra 2022.
  • Kaj počne: prepisuje govor, zazna jezik, prevaja govor v angleščino in doda časovne oznake segmentov.
  • Česa ne omogoča neposredno: označevanja govorcev ali transkripcije v živo. Kartica modela OpenAI pravi, da ga brez dodatnega dela ni mogoče uporabljati za transkripcijo v realnem času.
  • Velikosti: šest, od tiny (39 milijonov parametrov) do large (1.550 milijonov).
  • Cena: prenos in zagon sta brezplačna; strojno opremo zagotovite sami.

»Whisper AI« lahko pomeni tri različne stvari

Ime se uporablja ohlapno in te tri pomene je lahko zamenjati.

Kaj ljudje imenujejo »Whisper AI« Kaj je to Kdo ga izdeluje Kako ga uporabljate
OpenAI Whisper Odprtokodni model za prepoznavanje govora OpenAI Prenesete kodo in uteži ter jih sami zaženete
whisper-1 Gostovani model API OpenAI za transkripcijo OpenAI Pošljete zvočne datoteke v API OpenAI in plačate po uporabi
Aplikacije z »Whisper« v imenu Izdelki za transkripcijo, kot sta whisperai.com in whispertranscribe.ai (to spletno mesto) Ločena podjetja V njihovih aplikacijah naložite ali posnamete zvok

Izdelki v tretji vrstici niso sam model in niso zamenljivi. Vsako podjetje določa svoje funkcije, omejitve, cene in pogoje zasebnosti. V tem članku »Whisper« pomeni model OpenAI.

Kako Whisper deluje?

Whisper je Transformer tipa encoder-decoder. Encoder pretvori 30 sekund zvoka v številčno predstavitev, decoder pa zapiše ustrezno besedilo po posameznih tokenih, ki jih usmerjajo posebni tokeni za določitev naloge.

Prispevek o Whisperju opisuje postopek:

  1. Prevzorčenje. Zvok se pretvori na 16.000 Hz.
  2. Razdelitev na 30-sekundna okna. Model vedno obravnava 30 sekund naenkrat. Krajši posnetki se dopolnijo.
  3. Izdelava spektrograma. Vsako okno postane 80-kanalni log-Mel spektrogram, prikaz spreminjanja zvočne energije po frekvencah, izračunan na 25-milisekundnih okvirih vsakih 10 milisekund. Large-v3 je prešel na 128 kanalov.
  4. Kodiranje. Spektrogram obdelata dve konvolucijski plasti in sklad blokov Transformer.
  5. Dekodiranje. Decoder najprej napove jezik ali token »brez govora«. Nato določi nalogo prepisovanja ali prevajanja, vključitev časovnih oznak in nazadnje besedilo.

Tudi časovne oznake se napovejo kot tokeni, zaokroženi na najbližjih 20 milisekund. Tako en model obvlada zaznavanje jezika, prepis, prevod in časovno usklajevanje.

Na čem je bil Whisper učen?

Prvotni modeli so se učili iz 680.000 ur internetnega zvoka z ustreznimi prepisi. OpenAI to imenuje »weak supervision«, ker prepisi niso bili ročno pregledani kot podatkovne zbirke za primerjalne preizkuse.

Delež učnega zvoka Ure Vsebina
Približno 65% 438.000 Angleški zvok z angleškimi prepisi
Približno 18% 126.000 Neangleški zvok z angleškimi prepisi (prevajalski podatki)
Približno 17% 117.000 Neangleški zvok s prepisi v istem jeziku

Vir: kartica modela Whisper OpenAI. Prispevek delež prevajanja zaokroži na 125.000 ur.

Dve podrobnosti pojasnita veliko vedenja modela. OpenAI je odstranil prepise, ki so bili videti strojno ustvarjeni, na primer besedilo samo z velikimi črkami, zato se je model naučil pisati stavke z ločili. Zgodnji modeli so tudi ugibali imena govorcev, ker so jih mnogi spletni prepisi vsebovali. OpenAI je to navado zmanjšal z dodatnim učenjem, kar kaže, kako tesno model posnema učna besedila.

Large-v3 je bil učen drugače, na približno 5 milijonih ur: 1 milijon s šibkimi spletnimi oznakami in 4 milijone, označene z large-v2, glede na njegovo kartico modela Hugging Face.

Primerjava velikosti modela Whisper

Whisper ima šest velikosti. Manjši modeli so hitrejši na skromni strojni opremi; večji delajo manj napak, vendar potrebujejo več video pomnilnika (VRAM). Številke so iz README OpenAI.

Velikost Parametri Različica samo za angleščino Večjezična različica Potreben VRAM Hitrost glede na large
tiny 39 M tiny.en tiny ~1 GB ~10x
base 74 M base.en base ~1 GB ~7x
small 244 M small.en small ~2 GB ~4x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M Brez large ~10 GB 1x
turbo 809 M Brez turbo ~6 GB ~8x

OpenAI je hitrosti meril na angleškem govoru z GPU A100 v podatkovnem centru in opozarja, da se lahko v praksi precej razlikujejo. Prenosnik bo počasnejši.

Kateri model Whisper izbrati?

Izhajajte iz razpoložljivega pomnilnika in namena prepisa:

  • Preizkus na osnovnem računalniku: tiny ali base, približno 1 GB VRAM. Pričakujte več napak.
  • Samo angleščina: uporabite model .en. OpenAI navaja boljše rezultate, zlasti pri tiny in base.
  • Dobra kakovost in razumna hitrost: turbo, približno 6 GB. Je privzeti model v ukazni vrstici.
  • Prevod govora v angleščino: medium ali large. Turbo ni učen za prevajanje in vrne izvirni jezik tudi ob zahtevi po prevodu.
  • Najtežji zvok in najboljši možni rezultat: large, približno 10 GB VRAM.

Različice Whisper: kratka časovnica

»Large« vključuje tri izdaje, turbo pa je okleščeni large-v3. Različica je pomembna, ker se rezultati razlikujejo glede na checkpoint.

Različica Izdaja Kaj se je spremenilo
Prvotni modeli (tiny do large) September 2022 Prva odprtokodna izdaja s prispevkom
large-v2 December 2022 Enaka velikost, 2.5-krat daljše učenje z dodatno regularizacijo
large-v3 November 2023 128 Mel kanalov, nov kantonski token, 10% do 20% manj napak kot v2 v mnogih jezikih
turbo (large-v3-turbo) September 2024 Plasti decoderja zmanjšane z 32 na 4 za hitrost; brez prevajanja

Viri: kartica modela Whisper, opomba prispevka o large-v2 ter kartici Hugging Face za large-v3 in large-v3-turbo.

Koliko jezikov podpira Whisper?

Whisper prepozna približno 99 jezikov. Detektor v prispevku je uporabljal 99 jezikovnih tokenov, sedanji tokenizer pa po dodatku kantonščine v large-v3 navaja 100 jezikovnih kod. Podpora ne pomeni enake kakovosti: kartica modela navaja močne rezultate v približno 10 jezikih.

Kakovost sledi učnim podatkom. Prispevek je ugotovil močno povezavo med uspešnostjo jezika in številom ur učenja; večina jezikov je imela manj kot 1.000 ur. Angleščina, španščina ali nemščina so običajno čistejše od jezika z malo podatki. README vsebuje povezavo do grafa napak po jezikih.

Ne zamenjujte tega s številom v izdelku. whispertranscribe.ai podpira več kot 130 jezikov. Ta številka opisuje podporo izdelka; cenik navaja »130+ languages & accents«. Ni lastnost odprtokodnega modela Whisper.

Kako natančen je Whisper?

Enotne številke ni, saj je natančnost odvisna od velikosti modela, jezika in posnetka. Pri jasno brani angleščini je large-v2 dosegel 2.7% stopnjo besednih napak (WER). V povprečju 14 angleških testnih zbirk, večinoma zahtevnejših, je znašala 12.8%.

WER je delež napačnih besed glede na referenčni prepis človeka, vključno z zamenjanimi, izpuščenimi in dodanimi besedami. Nižje je bolje. Številke iz tabele 2 primerjajo Whisper large-v2 z modelom wav2vec 2.0, učenim na zbirki zvočnih knjig LibriSpeech:

Testna zbirka wav2vec 2.0 WER Whisper large-v2 WER
LibriSpeech clean (brane zvočne knjige) 2.7% 2.7%
Common Voice (govor prostovoljcev) 29.9% 9.0%
CHiME-6 (hrupni posnetki večerij) 65.8% 25.5%
Povprečje vseh 14 zbirk v tabeli 29.3% 12.8%

Pomemben je vzorec. Pri zvočnih knjigah sta modela izenačena, Whisper pa je pri drugih zbirkah veliko boljši in v povprečju naredi 55.2% manj napak. OpenAI v objavi to zaokroži na 50%. V testih hrupa so modeli, učeni na LibriSpeech, presegli Whisper pri skoraj čistem zvoku, a zaostali pri močnejšem hrupu lokala pod razmerjem signal-šum 10 dB.

To so raziskovalni benchmarki, ne obljuba za vaše datoteke; trditve izdelkov so ločene. whispertranscribe.ai na primer pri čistem zvoku dosega do 99% natančnost, ki jo zmanjšajo hrup, prekrivanje govorcev in močni naglasi.

Kakšne so omejitve Whisperja?

Glavna slabost je, da lahko napiše tekoče besedilo, ki ga ni nihče izgovoril. Kartica modela OpenAI to imenuje halucinacija in povezuje s šibko nadzorovanim učenjem. Navaja tudi ponavljanje, neenakomerno natančnost po jezikih in naglasih ter pomanjkanje vgrajenih oznak govorcev.

  1. Halucinirano besedilo. V študiji iz leta 2024 Careless Whisper so raziskovalci ugotovili, da je približno 1% pregledanih prepisov vsebovalo cele fraze ali stavke, ki jih ni bilo v zvoku. Pogosteje so se pojavili pri dolgih premorih.
  2. Ponavljanje. Model se lahko ujame v ponavljanje fraze. Beam search in temperature fallback to po kartici modela nekoliko zmanjšata, vendar ne odpravita.
  3. Manjkajoče prve ali zadnje besede. Prispevek navaja izpuščanje začetnih ali zadnjih besed segmenta kot znano napako.
  4. Dolgi posnetki potrebujejo razdelitev na okna. Whisper vidi 30 sekund naenkrat. Pri daljših datotekah orodje pomika okno s predvidenimi časovnimi oznakami, zato lahko napaka vpliva na naslednje okno.
  5. Ni oznak govorcev. Diarizacija, ugotavljanje kdo je govoril in kdaj, po kartici modela ni bila temeljito ocenjena. Potrebno je ločeno orodje.
  6. Privzeto ni realnega časa. Zasnovan je za posnete datoteke; podnapisi v živo potrebujejo dodatno programsko rešitev.
  7. Neenakomernost po jeziku in naglasu. Kartica modela navaja višje stopnje napak pri nekaterih naglasih, narečjih in demografskih skupinah.

OpenAI tudi opozarja pred prepisovanjem ljudi brez njihovega soglasja in uporabo za odločitve z velikim tveganjem.

Kje se uradni viri razlikujejo?

Nekatere številke v dokumentih OpenAI se razlikujejo, večinoma zaradi zaokroževanja ali sprememb različic. To preverite pred citiranjem:

Tema En uradni vir pravi Drugi pravi Kaj uporabiti
Zmanjšanje napak glede na modele LibriSpeech Prispevek: povprečno 55.2% manj napak Objava OpenAI: 50% manj napak Citirajte prispevek in poimenujte primerjavo
Učni jeziki poleg angleščine Prispevek: 96 drugih jezikov Kartica modela: 98 jezikov »Približno 99 jezikov« za prepoznavanje
Učne ure za prevajanje Kartica modela: 126.000 Prispevek: 125.000 Katero koli, označeno kot približno
Število parametrov turbo README in Hugging Face: 809 M Tabela kartice modela: 798 M 809 M, ki ga uporablja večina virov
Obseg učnih podatkov Prvotni prispevek: 680.000 ur Kartica large-v3: 5 milijonov ur Navedite različico, ki jo mislite
Licenca GitHub: MIT za kodo in uteži Metapodatki Hugging Face large-v3: Apache-2.0 Preverite licenčno datoteko prenesene kopije

Kako uporabljati Whisper: lasten zagon, API ali aplikacija

Na voljo so tri praktične poti. Lasten zagon Whisperja je brezplačen in zvok ostane v vašem računalniku. API OpenAI odpravi nastavljanje, vendar omejuje velikost datoteke. Gostovana transkripcijska aplikacija doda urejanje, oznake govorcev in izvoze, a je storitev tretje osebe s svojimi pogoji.

Lasten odprtokodni Whisper Transkripcijski API OpenAI Gostovana aplikacija za transkripcijo
Nastavitev Python, PyTorch in FFmpeg Koda in ključ API Brskalnik
Strošek Brezplačno; lastna strojna oprema Plačilo po uporabi Brezplačna raven ali naročnina, odvisno od aplikacije
Omejitve datotek Vaša strojna oprema 25 MB na datoteko Določi aplikacija
Kam gre zvok Ostane v računalniku Pošlje se OpenAI Pošlje se na strežnike aplikacije
Oznake govorcev Niso vgrajene Ne pri whisper-1 Odvisno od aplikacije
Urejanje in izvozi TXT, SRT, VTT, TSV, JSON iz ukazne vrstice Vrnjeno vaši kodi; ostalo izdelate sami Običajno urejevalnik in izvozi dokumentov ter podnapisov

Zaženite Whisper v svojem računalniku

README OpenAI navaja ukaz za namestitev in osnovni zagon:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

Potrebujete tudi nameščen FFmpeg; README pravi, da bi morala koda delovati v Pythonu 3.8 do 3.11. Dodajte --language za določitev govornega jezika ali --task translate z večjezičnim modelom za angleščino. Uteži modela se prenesejo ob prvi uporabi.

Uporabite API OpenAI

Vodnik OpenAI za pretvorbo govora v besedilo omejuje nalaganje na 25 MB na datoteko, zato večje datoteke stisnite ali razdelite. Ob preverjanju novembra 2026 je vodnik označeval whisper-1 kot opuščen z datumom ukinitve 26. februarja 2027 ter razvijalce usmerjal k novejšim modelom za transkripcijo. Ti novejši modeli so govorni modeli OpenAI, ne nove izdaje odprtokodne družine Whisper.

Uporabite gostovano aplikacijo za transkripcijo

Če ne želite ničesar namestiti, gostovana aplikacija obdela datoteke na svojih strežnikih. whispertranscribe.ai je ena možnost, njen brezplačni pretvornik zvoka v besedilo pa je hiter način za preizkus. Naša domača stran opisuje whispertranscribe.ai kot storitev, ki uporablja Whisper in umetno inteligenco naslednje generacije. Po naših straneh izdelka ponuja:

Obstajajo tudi kompromisi. Datoteka se pošlje v storitev v oblaku, namesto da ostane v računalniku. Ne ponujamo API-ja, prilagojenega besedišča ali bota za sestanke. Plačljivi paketi se začnejo pri $9.99 na mesec ob letnem obračunu (cene), začnete pa lahko brezplačno brez računa. Podrobnosti sta na straneh Whisper AI transcription tool in vse funkcije.

Je Whisper odprtokoden in kaj dovoljuje licenca?

Da. Repozitorij OpenAI navaja, da so koda in uteži modela Whisper izdane pod licenco MIT. MIT je permisivna licenca: na splošno dovoljuje uporabo, kopiranje, spreminjanje in prodajo programske opreme na podlagi kode, če ohranite obvestilo o avtorskih pravicah in licenci.

Dve opozorili: kopije na drugih mestih imajo lahko drugačne licenčne metapodatke; stran large-v3 na Hugging Face navaja Apache-2.0. Preberite licenco, priloženo kopiji, ki jo uporabljate. Licenca zajema programsko opremo, ne posnetkov, ki jih vanjo vnesete. Za zvok še vedno veljajo pravila o soglasju in zasebnosti. To so splošne informacije, ne pravni nasvet; uradni vir je besedilo licence MIT.

Komu je Whisper namenjen?

Whisper ustreza razvijalcem in vsem, ki znajo uporabljati terminal ter želijo brezplačno in zasebno transkripcijo brez fiksne omejitve. Če želite končni prepis z urejevalnikom in izvozi, je gostovana aplikacija običajno hitrejša.

Ste … Primerna izbira Zakaj
Razvijalec, ki izdeluje produkt Odprtokodni Whisper ali API Popoln nadzor nad postopkom
Raziskovalec z občutljivimi intervjuji Odprtokodni Whisper, zagnan lokalno Zvok ne zapusti računalnika
Ustvarjalec, ki ta teden potrebuje podnapise Gostovana aplikacija z izvozom SRT ali VTT Brez nastavljanja; časovno usklajene datoteke za nalaganje
Uporabnik prenosnika brez GPU Manjši model lokalno ali gostovana aplikacija Veliki modeli potrebujejo približno 10 GB VRAM

Preden zaupate prepisu Whisper: kontrolni seznam

Seznam temelji na napakah, opisanih v prispevku in kartici modela OpenAI:

  • Preverite premore in tihe dele glede stavkov, ki jih ni nihče povedal.
  • Poiščite fraze, ki se ponovijo večkrat zapored.
  • Primerjajte prve in zadnje vrstice datoteke z zvokom.
  • Preverite imena, številke in strokovne izraze.
  • Potrdite pravilno zaznani jezik ali ga nastavite ročno.
  • Za prevajanje se prepričajte, da niste uporabili turbo.
  • Po potrebi dodajte oznake govorcev z ločenim orodjem.
  • Pridobite soglasje pred snemanjem ali prepisovanjem drugih ljudi.

Pogosta vprašanja

Je Whisper AI brezplačen?

Da, OpenAI Whisper lahko brezplačno prenesete in zaženete. OpenAI kodo in uteži licencira pod MIT, zato za uporabo ne plačate OpenAI. Računalnik zagotovite sami, veliki model pa potrebuje približno 10 GB pomnilnika GPU. Gostovane možnosti stanejo: API OpenAI zaračunava po uporabi, transkripcijske aplikacije imajo svoje pakete. »Brezplačno« ne pomeni enostavno; potrebujete Python, FFmpeg in nekaj znanja ukazne vrstice.

Ali Whisper prepozna različne govorce?

Ne sam. Whisper zapiše povedano, vendar ne označi govorca. Kartica modela OpenAI pravi, da sposobnosti, kot je diarizacija, niso bile temeljito ocenjene. Za oznake ljudje običajno združijo Whisper z ločenim orodjem za diarizacijo ali uporabljajo aplikacijo z zaznavanjem govorcev. whispertranscribe.ai ima na primer možnost, ki jo lahko vklopite pred prepisom. Pri podobnih glasovih oznake vedno preverite.

Ali lahko Whisper prepisuje v realnem času?

Ne brez dodatnega dela. Whisper je zasnovan za posneti zvok in ga obdeluje v 30-sekundnih oknih; kartica modela OpenAI pravi, da ga brez prilagoditev ni mogoče uporabiti za transkripcijo v realnem času. Razvijalci so okoli njega zgradili skoraj sprotna orodja, ki dovajajo kratke dele, ko prihajajo. Za podnapise v živo poiščite orodje z namenskim načinom in pričakujte več popravljanja kot pri prepisu končnega posnetka.

Koliko jezikov podpira Whisper?

Whisper prepozna približno 99 jezikov, sedanji tokenizer pa po dodatku kantonščine v large-v3 navaja 100 jezikovnih kod. Kakovost močno niha. Kartica modela OpenAI poroča o močnih rezultatih v približno 10 jezikih, prispevek pa je ugotovil, da je večina jezikov imela manj kot 1.000 ur učnega zvoka. Pred zanašanjem na manj pogost jezik preizkusite kratek posnetek. Številke izdelkov, kot več kot 130 jezikov whispertranscribe.ai, opisujejo podporo izdelka, ne odprtokodnega modela.

Je whispertranscribe.ai enak OpenAI Whisper?

Ne. OpenAI Whisper je odprtokodni model, ki ga prenesete in zaženete sami. whispertranscribe.ai je ločena storitev transkripcije v brskalniku; njena domača stran jo opisuje kot storitev na osnovi Whisper in umetne inteligence naslednje generacije. Dodaja funkcije, ki jih osnovni model ne vključuje, na primer nalaganje do 5GB, uvoz povezave z YouTube ali Google Drive, zaznavanje govorcev ter izvoze DOCX, PDF, SRT in VTT. Druge aplikacije z »Whisper« v imenu so ločeni izdelki različnih podjetij.

Zakaj Whisper včasih napiše besede, ki jih ni nihče rekel?

Ker napoveduje besedilo podobno kot jezikovni model. Kartica modela OpenAI navaja, da lahko učenje na velikih in šumnih spletnih podatkih ustvari besede, ki jih v zvoku ni. OpenAI pojasnjuje, da model združuje napovedovanje naslednje verjetne besede s prepisovanjem slišanega. Študija iz leta 2024 je našla cele izmišljene fraze v približno 1% pregledanih prepisov, pogosteje ob dolgih premorih. Premore, tihe dele in vse pomembno preverite glede na zvok.


Želite prepis Whisper brez nastavljanja? Naložite datoteko ali prilepite povezavo v whispertranscribe.ai ter pridobite besedilo v več kot 130 jezikih z izvozi DOCX, PDF, SRT in VTT.

Viri

Želite svoje posnetke pretvoriti v besedilo?

Prepišite zvočne in videoposnetke z orodjem whispertranscribe.ai.

Začnite s prepisom ↗