Što je Whisper AI? Kako radi OpenAI model za prepoznavanje govora

Autor: uredništvo whispertranscribe.ai · Ažurirano: studeni 2026. · Vrijeme čitanja: 13 minuta

Što je Whisper AI? U većini pretraživanja znači OpenAI Whisper, model otvorenog koda za prepoznavanje govora koji je OpenAI objavio u rujnu 2022. Pretvara snimljeni govor u tekst, prepoznaje govorni jezik i može druge jezike prevesti na engleski. OpenAI ga je trenirao na 680,000 sati web zvuka i objavio kod i težine pod MIT licencom.

Napomena: mi stvaramo whispertranscribe.ai. whispertranscribe.ai web je alat za AI transkripciju koji pretvara zvuk i video u tekst na više od 130 jezika. Ovaj vodič jasno razlikuje model od proizvoda izgrađenih oko njega, a svaka brojka o modelu dolazi iz OpenAI-jeva rada, repozitorija ili kartice modela.

Kratki odgovor: što je Whisper AI?

Whisper je model za govor u tekst, a ne aplikacija ili tvrtka. Možete ga preuzeti iz OpenAI-jeva GitHub repozitorija i pokrenuti na vlastitom računalu ili koristiti uslugu koja ga pokreće za vas.

  • Izradio: OpenAI. Znanstveni rad Robust Speech Recognition via Large-Scale Weak Supervision objavljen je na arXivu 6. prosinca 2022.
  • Što radi: transkribira govor, otkriva jezik, prevodi govor na engleski i dodaje vremenske oznake segmenata.
  • Što ne radi odmah: označavanje govornika ili transkripciju uživo. OpenAI-jeva kartica modela kaže da se ne može koristiti za transkripciju u stvarnom vremenu bez dodatnog rada.
  • Veličine: šest, od tiny (39 milijuna parametara) do large (1,550 milijuna).
  • Cijena: besplatno preuzimanje i pokretanje. Vi osiguravate hardver.

«Whisper AI» može značiti tri različite stvari

Naziv se koristi široko i ta je tri značenja lako pomiješati.

Što ljudi nazivaju «Whisper AI» Što je Tko izrađuje Kako se koristi
OpenAI Whisper Model otvorenog koda za prepoznavanje govora OpenAI Preuzmete kod i težine te ih sami pokrenete
whisper-1 OpenAI-jev hostirani API model za transkripciju OpenAI Šaljete audiodatoteke OpenAI API-ju i plaćate po upotrebi
Aplikacije s «Whisper» u nazivu Proizvodi za transkripciju poput whisperai.com i whispertranscribe.ai (ova stranica) Zasebne tvrtke Učitavate ili snimate zvuk u njihovim aplikacijama

Proizvodi u trećem retku nisu sam model niti su zamjenjivi. Svaka tvrtka određuje svoje značajke, ograničenja, cijene i pravila privatnosti. U ovom članku «Whisper» znači OpenAI model.

Kako Whisper radi?

Whisper je Transformer s enkoderom i dekoderom. Enkoder pretvara 30 sekundi zvuka u numerički prikaz, a dekoder piše odgovarajući tekst jedan po jedan token, vođen posebnim tokenima koji određuju zadatak.

Rad o Whisperu opisuje postupak:

  1. Promjena frekvencije uzorkovanja. Zvuk se pretvara na 16,000 Hz.
  2. Podjela u prozore od 30 sekundi. Model uvijek obrađuje po 30 sekundi. Kraći isječci dopunjuju se.
  3. Izrada spektrograma. Svaki prozor postaje log-Mel spektrogram s 80 kanala, prikaz promjene zvučne energije po frekvencijama, izračunat na okvirima od 25 milisekundi svakih 10 milisekundi. (Large-v3 prešao je na 128 kanala.)
  4. Kodiranje. Dva konvolucijska sloja i niz Transformer blokova obrađuju spektrogram.
  5. Dekodiranje. Dekoder prvo predviđa jezik ili token «nema govora». Zatim slijede zadatak (transkripcija ili prijevod), odluka o vremenskim oznakama i naposljetku tekst.

Vremenske oznake također se predviđaju kao tokeni, zaokruženi na najbližih 20 milisekundi. Tako jedan model obrađuje otkrivanje jezika, transkripciju, prijevod i vremensko označavanje.

Na čemu je Whisper treniran?

Izvorni modeli učili su iz 680,000 sati internetskog zvuka s odgovarajućim transkriptima. OpenAI to naziva «slabim nadzorom» jer transkripti nisu ručno provjeravani kao referentni skupovi.

Udio zvuka za treniranje Sati Sadržaj
Oko 65% 438,000 Engleski zvuk s engleskim transkriptima
Oko 18% 126,000 Zvuk na drugim jezicima s engleskim transkriptima (podaci za prijevod)
Oko 17% 117,000 Zvuk na drugim jezicima s transkriptima na istom jeziku

Izvor: OpenAI-jeva kartica modela Whisper. Rad zaokružuje udio prijevoda na 125,000 sati.

Dva detalja objašnjavaju mnogo o ponašanju Whispera. OpenAI je filtrirao transkripte koji su izgledali strojno, poput teksta samo velikim slovima, pa je model naučio pisati rečenice s interpunkcijom. Rani modeli također su pogađali imena govornika jer su ih mnogi web transkripti sadržavali. OpenAI je finim podešavanjem uklonio tu naviku, ali ona pokazuje koliko model odražava tekst za treniranje.

Large-v3 treniran je drukčije, na oko 5 milijuna sati: 1 milijun sa slabim web oznakama i 4 milijuna koje je označio large-v2, prema kartici modela na Hugging Faceu.

Usporedba veličina Whisper modela

Whisper dolazi u šest veličina. Manji modeli rade brže na skromnijem hardveru; veći rade manje pogrešaka, ali trebaju više videomemorije (VRAM). Brojke su preuzete iz OpenAI README-a.

Veličina Parametri Samo engleski Višejezična verzija Potreban VRAM Brzina prema large
tiny 39 M tiny.en tiny ~1 GB ~10x
base 74 M base.en base ~1 GB ~7x
small 244 M small.en small ~2 GB ~4x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M Nema large ~10 GB 1x
turbo 809 M Nema turbo ~6 GB ~8x

OpenAI je mjerio brzine na engleskom govoru s A100 GPU-om za podatkovne centre i kaže da stvarna brzina može znatno varirati. Prijenosnik će biti sporiji.

Koji Whisper model odabrati?

Krenite od dostupne memorije i namjene transkripta:

  • Testiranje na osnovnom računalu: tiny ili base, oko 1 GB VRAM-a. Očekujte više pogrešaka.
  • Samo engleski: koristite .en model. OpenAI kaže da su bolji, osobito tiny i base.
  • Dobra kvaliteta uz razumnu brzinu: turbo, oko 6 GB. Zadan je u naredbenom retku.
  • Prijevod govora na engleski: medium ili large. Turbo nije treniran za prijevod i vraća izvorni jezik čak i kad zatražite prijevod.
  • Najteži zvuk i najbolji mogući rezultat: large, oko 10 GB VRAM-a.

Verzije Whispera: kratka kronologija

«Large» obuhvaća tri izdanja, a turbo je smanjeni large-v3. Verzija je važna jer se rezultati razlikuju prema kontrolnoj točki modela.

Verzija Objavljena Promjene
Izvorni modeli (tiny do large) Rujan 2022. Prvo izdanje otvorenog koda s radom
large-v2 Prosinac 2022. Ista veličina, treniran 2.5 puta dulje s dodatnom regularizacijom
large-v3 Studeni 2023. 128 Mel kanala, novi kantonski token, 10% do 20% manje pogrešaka od v2 na mnogim jezicima
turbo (large-v3-turbo) Rujan 2024. Slojevi dekodera smanjeni s 32 na 4 radi brzine; nema prijevoda

Izvori: kartica modela Whisper, fusnota rada o large-v2 i Hugging Face kartice za large-v3 i large-v3-turbo.

Koliko jezika Whisper podržava?

Whisper prepoznaje oko 99 jezika. Detektor jezika u radu koristio je 99 jezičnih tokena, a sadašnji tokenizator navodi 100 jezičnih kodova nakon što je large-v3 dodao kantonski. Podrška nije isto što i kvaliteta: kartica modela navodi snažne rezultate na oko 10 jezika.

Kvaliteta prati podatke za treniranje. Rad je utvrdio da broj sati jezika vrlo dobro predviđa rezultat i da je većina jezika imala manje od 1,000 sati. Engleski, španjolski ili njemački obično će dati čišći rezultat od jezika s malo podataka. README povezuje grafikon pogrešaka po jezicima ako želite provjeriti svoj.

Ne miješajte ovo s brojkama proizvoda. whispertranscribe.ai podržava više od 130 jezika. To je podrška našeg proizvoda (stranica cijena kaže «130+ languages & accents»), a ne svojstvo Whisper modela otvorenog koda.

Koliko je Whisper točan?

Ne postoji jedna brojka točnosti jer ovisi o veličini modela, jeziku i snimci. Na čistom čitanom engleskom large-v2 imao je stopu pogrešaka riječi (WER) od 2.7%. Prosjek na 14 engleskih testnih skupova, uglavnom težih, bio je 12.8%.

WER je udio pogrešnih riječi, uključujući zamjene, izostanke i dodatke, mjeren prema ljudskom referentnom transkriptu. Manje je bolje. Brojke iz tablice 2 rada uspoređuju Whisper large-v2 s modelom wav2vec 2.0 treniranim na skupu audioknjiga LibriSpeech:

Testni skup wav2vec 2.0 WER Whisper large-v2 WER
LibriSpeech clean (čitane audioknjige) 2.7% 2.7%
Common Voice (govor koji su snimili korisnici) 29.9% 9.0%
CHiME-6 (bučne snimke večere) 65.8% 25.5%
Prosjek svih 14 skupova u tablici 29.3% 12.8%

Važan je obrazac. Modeli su izjednačeni na testu audioknjiga, ali Whisper mnogo bolje prolazi na ostalima, s prosječno 55.2% manje pogrešaka. OpenAI-jeva objava to zaokružuje na «50% manje pogrešaka». U testovima buke modeli trenirani na LibriSpeechu nadmašili su Whisper na gotovo čistom zvuku, ali zaostali kad se pozadinska buka poput one u pubu pojačala ispod omjera signala i šuma od 10 dB.

To su istraživačka mjerila, ne obećanje za vaše datoteke, a tvrdnje proizvoda su zasebne. whispertranscribe.ai, primjerice, doseže do 99% točnosti na čistom zvuku, dok je buka, preklapanje i jaki naglasci smanjuju.

Koja su ograničenja Whispera?

Glavna slabost jest da može napisati tečan tekst koji nitko nije izgovorio. OpenAI-jeva kartica modela to naziva halucinacijom i povezuje sa slabim nadzorom pri treniranju. Navodi i ponavljanje, neujednačenu točnost među jezicima i naglascima te nedostatak ugrađenih oznaka govornika.

  1. Izmišljeni tekst. U studiji iz 2024. Careless Whisper istraživači su pronašli cijele fraze ili rečenice odsutne iz zvuka u oko 1% provjerenih transkripcija. Halucinacije su bile češće uz duge pauze u govoru.
  2. Petlje ponavljanja. Model može zapeti ponavljajući frazu. Beam search i temperature fallback to donekle smanjuju, kaže kartica, ali ne potpuno.
  3. Nedostaju prve ili zadnje riječi. Rad navodi preskakanje prvih ili zadnjih nekoliko riječi segmenta kao poznatu pogrešku.
  4. Duge snimke trebaju prozore. Whisper vidi samo 30 sekundi odjednom. Za dulje datoteke alat transcribe pomiče prozor prema predviđenim oznakama pa pogreška može poremetiti sljedeći.
  5. Nema oznaka govornika. Diarizacija, utvrđivanje tko je kada govorio, nije temeljito procijenjena prema kartici. Za to trebate zaseban alat.
  6. Nije u stvarnom vremenu prema zadanim postavkama. Izrađen je za snimljene datoteke. Titlovanje uživo treba dodatni razvoj.
  7. Neujednačen po jeziku i naglasku. Kartica navodi više stope pogrešaka za neke naglaske, dijalekte i demografske skupine.

OpenAI također upozorava protiv transkribiranja ljudi bez pristanka i korištenja za visokorizične odluke.

Gdje se službeni izvori razlikuju

Neke brojke razlikuju se među OpenAI dokumentima, uglavnom zbog zaokruživanja ili verzije. Provjerite prije citiranja:

Tema Jedan službeni izvor kaže Drugi kaže Što koristiti
Smanjenje pogrešaka prema LibriSpeech modelima Rad: prosječno 55.2% manje pogrešaka OpenAI objava: 50% manje Citirajte rad i navedite usporedbu
Jezici podataka za treniranje osim engleskog Rad: 96 drugih jezika Kartica: 98 jezika «Oko 99 jezika» za prepoznavanje
Sati treniranja prijevoda Kartica: 126,000 Rad: 125,000 Bilo koji uz oznaku približnosti
Broj turbo parametara README i Hugging Face: 809 M Tablica kartice: 798 M 809 M, broj koji većina izvora koristi
Veličina podataka za treniranje Izvorni rad: 680,000 sati Kartica large-v3: 5 milijuna sati Navedite verziju
Licenca GitHub: MIT za kod i težine Metapodaci Hugging Face large-v3: Apache-2.0 Provjerite licencu kopije koju preuzimate

Kako koristiti Whisper: samostalno, API-jem ili aplikacijom

Postoje tri praktična puta. Samostalno pokretanje besplatno je i zadržava zvuk na računalu. OpenAI API uklanja postavljanje, ali ograničava veličinu datoteke. Hostirana aplikacija dodaje uređivanje, oznake govornika i izvoz, ali je usluga treće strane s vlastitim uvjetima.

Pokrenuti Whisper otvorenog koda OpenAI API za transkripciju Hostirana aplikacija
Postavljanje Python, PyTorch i FFmpeg Kod i API ključ Preglednik
Cijena Besplatno; vaš hardver Plaćanje po upotrebi Besplatna razina ili pretplata, ovisi o aplikaciji
Ograničenja datoteke Vaš hardver 25 MB po datoteci Određuje svaka aplikacija
Kamo ide zvuk Ostaje na računalu Šalje se OpenAI-ju Šalje se poslužiteljima aplikacije
Oznake govornika Nisu ugrađene Ne u whisper-1 Ovisi o aplikaciji
Uređivanje i izvoz TXT, SRT, VTT, TSV, JSON iz naredbenog retka Vraća se vašem kodu; ostalo sami izrađujete Obično uređivač i izvoz dokumenata i titlova

Pokrenite Whisper na vlastitom računalu

OpenAI README daje naredbu za instalaciju i osnovno pokretanje:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

Potreban je i instaliran FFmpeg, a README kaže da bi kod trebao raditi na Pythonu 3.8 do 3.11. Dodajte --language za govorni jezik ili --task translate s višejezičnim modelom za engleski. Težine modela preuzimaju se pri prvoj upotrebi. Ove naredbe Whisper CLI-ja nismo testirali za vodič.

Koristite OpenAI API

OpenAI vodič za govor u tekst ograničava učitavanje na 25 MB po datoteci, pa veće komprimirajte ili podijelite. Prema provjeri u studenome 2026., vodič označava whisper-1 zastarjelim i navodi datum gašenja 26. veljače 2027., usmjeravajući programere na novije modele. Oni su OpenAI govorni modeli, ne nova izdanja obitelji Whisper otvorenog koda.

Koristite hostiranu aplikaciju za transkripciju

Ako ne želite ništa instalirati, hostirana aplikacija obrađuje datoteke na svojim poslužiteljima. whispertranscribe.ai jedna je opcija, a njezin besplatni pretvarač zvuka u tekst brz je način da je isprobate. Naša početna stranica opisuje whispertranscribe.ai kao alat temeljen na Whisperu i AI-ju sljedeće generacije. Prema našim stranicama proizvoda nudi:

Postoje i kompromisi. Datoteka odlazi u oblak umjesto da ostane na računalu. Ne nudimo API, prilagođeni rječnik ni bota za sastanke. Plaćeni planovi počinju od $9.99 mjesečno uz godišnju naplatu (cijene), a možete početi besplatno bez računa. Za detalje pogledajte Whisper AI alat za transkripciju ili sve značajke.

Je li Whisper otvorenog koda i što licenca dopušta?

Da. OpenAI repozitorij navodi da su kod i težine Whispera objavljeni pod MIT licencom. MIT je permisivna licenca. Općenito dopušta korištenje, kopiranje, izmjenu i prodaju softvera izgrađenog na kodu, uz zadržavanje obavijesti o autorskim pravima i licenci.

Dva upozorenja. Kopije na drugim stranicama mogu imati različite metapodatke o licenci; Hugging Face stranica za large-v3 navodi Apache-2.0. Pročitajte licencu kopije koju koristite. Licenca pokriva softver, ne snimke koje unosite. Pravila pristanka i privatnosti i dalje vrijede: prije snimanja pribavite potrebne pristanke i dopuštenje organizatora. Ovo su opće informacije, ne pravni savjet; tekst MIT licence službeni je izvor.

Kome je Whisper namijenjen?

Whisper odgovara programerima i svima koji se snalaze u terminalu i žele besplatnu, privatnu transkripciju bez ograničenja broja datoteka. Ako želite gotov transkript s uređivačem i izvozom, hostirana aplikacija obično je brža.

Vi ste… Dobar izbor Zašto
Programer koji izrađuje proizvod Whisper otvorenog koda ili API Potpuna kontrola postupka
Istraživač s osjetljivim intervjuima Whisper otvorenog koda pokrenut lokalno Zvuk ne napušta računalo
Autor kojem titlovi trebaju ovaj tjedan Hostirana aplikacija s izvozom SRT ili VTT Bez postavljanja; vremenski označene datoteke spremne za učitavanje
Korisnik prijenosnika bez GPU-a Mali lokalni model ili hostirana aplikacija Veliki modeli trebaju oko 10 GB VRAM-a

Prije oslanjanja na Whisper transkript: popis provjera

Popis smo izradili prema pogreškama u OpenAI-jevu radu i kartici modela:

  • Provjerite pauze i tišinu zbog rečenica koje nitko nije izgovorio.
  • Potražite istu frazu ponovljenu nekoliko puta zaredom.
  • Provjerite prve i zadnje retke prema zvuku.
  • Provjerite imena, brojeve i tehničke izraze.
  • Potvrdite ispravno prepoznat jezik ili ga postavite ručno.
  • Za prijevod provjerite da niste koristili turbo.
  • Po potrebi dodajte oznake govornika zasebnim alatom.
  • Pribavite potrebne pristanke prije snimanja ili transkripcije drugih ljudi i dopuštenje organizatora za snimanje.

Česta pitanja

Je li Whisper AI besplatan?

Da, OpenAI Whisper besplatno se preuzima i pokreće. OpenAI licencira kod i težine pod MIT-om pa ih možete koristiti bez plaćanja OpenAI-ju. Računalo osiguravate sami, a large model treba oko 10 GB GPU memorije. Hostirane opcije koštaju: OpenAI API naplaćuje po upotrebi, a aplikacije imaju vlastite planove. «Besplatno» ne znači lako; trebaju Python, FFmpeg i poznavanje naredbenog retka.

Može li Whisper prepoznati različite govornike?

Ne samostalno. Whisper zapisuje što je rečeno, ali ne označava tko je rekao. OpenAI-jeva kartica kaže da mogućnosti poput diarizacije nisu temeljito procijenjene. Za oznake ljudi obično uparuju Whisper sa zasebnim alatom za diarizaciju ili koriste aplikaciju koja dodaje prepoznavanje. whispertranscribe.ai, primjerice, ima opciju koju možete uključiti prije transkripcije. Uvijek provjerite oznake kad glasovi zvuče slično.

Može li Whisper transkribirati u stvarnom vremenu?

Ne odmah. Whisper je osmišljen za snimljeni zvuk i obrađuje ga u prozorima od 30 sekundi, a OpenAI-jeva kartica kaže da se ne može koristiti u stvarnom vremenu bez dodatnog rada. Programeri su izradili alate gotovo uživo koji unose kratke dijelove kako pristižu. Ako trebate titlove uživo, potražite alat s namjenskim načinom i očekujte više ispravaka nego kod transkripta gotove snimke.

Koliko jezika Whisper podržava?

Whisper prepoznaje oko 99 jezika, a sadašnji tokenizator navodi 100 jezičnih kodova nakon dodavanja kantonskog u large-v3. Kvaliteta se znatno razlikuje. OpenAI-jeva kartica navodi snažne rezultate na oko 10 jezika, a rad je utvrdio da je većina imala manje od 1,000 sati zvuka za treniranje. Prije oslanjanja na rjeđi jezik testirajte kratak isječak. Brojke proizvoda, poput više od 130 jezika whispertranscribe.ai, opisuju podršku proizvoda, ne modela otvorenog koda.

Je li whispertranscribe.ai isto što i OpenAI Whisper?

Ne. OpenAI Whisper model je otvorenog koda koji sami preuzimate i pokrećete. whispertranscribe.ai zasebna je usluga u pregledniku; početna stranica opisuje je kao alat temeljen na Whisperu i AI-ju sljedeće generacije. Dodaje mogućnosti koje sam model nema, poput učitavanja do 5GB, uvoza YouTube ili Google Drive poveznica, prepoznavanja govornika i izvoza DOCX, PDF, SRT i VTT. Druge aplikacije s «Whisper» u nazivu zasebni su proizvodi različitih tvrtki.

Zašto Whisper ponekad piše riječi koje nitko nije rekao?

Zato što predviđa tekst poput jezičnog modela. OpenAI-jeva kartica kaže da treniranje na velikim, bučnim web podacima ponekad dovodi do riječi kojih nema u zvuku. Prema OpenAI-ju, model spaja predviđanje sljedeće vjerojatne riječi s transkripcijom onoga što čuje. Studija iz 2024. pronašla je cijele izmišljene fraze u oko 1% provjerenih transkripcija, češće oko dugih pauza. Provjerite pauze, tihe dijelove i sve važno prema zvuku.


Želite Whisper transkript bez postavljanja? Učitajte datoteku ili zalijepite poveznicu na whispertranscribe.ai i dobit ćete tekst na više od 130 jezika uz izvoz DOCX, PDF, SRT i VTT.

Izvori

Želite li pretvoriti svoje snimke u tekst?

Transkribirajte audio i videosnimke uz whispertranscribe.ai.

Započnite transkripciju ↗