Parengė whispertranscribe.ai redakcija · Atnaujinta: 2026 m. lapkritį · Skaitymo trukmė: 13 min.
Kas yra Whisper AI? Dažniausiai taip vadinamas OpenAI Whisper – atvirojo kodo kalbos atpažinimo modelis, OpenAI paskelbtas 2022 m. rugsėjį. Jis paverčia įrašytą kalbą tekstu, nustato jos kalbą ir gali versti kitų kalbų garsą į anglų kalbą. OpenAI jį mokė naudodama 680 000 valandų interneto garso įrašų, o kodą ir svorius paskelbė pagal MIT licenciją.
Atskleidžiame savo ryšį: mes kuriame whispertranscribe.ai. whispertranscribe.ai yra naršyklėje veikiantis DI transkribavimo įrankis, verčiantis garso ir vaizdo įrašus tekstu daugiau nei 130 kalbų. Šiame vadove atskiriame modelį nuo jo pagrindu sukurtų produktų, o modelio duomenis imame iš OpenAI straipsnio, saugyklos ir modelio kortelės.
Trumpas atsakymas: kas yra Whisper AI?
Whisper yra kalbos vertimo tekstu modelis, o ne programėlė ar įmonė. Galite jį atsisiųsti iš OpenAI GitHub saugyklos ir paleisti savo kompiuteryje arba naudotis paslauga, kuri jį paleidžia už jus.
- Kūrėja: OpenAI. Mokslinis straipsnis Robust Speech Recognition via Large-Scale Weak Supervision paskelbtas arXiv 2022 m. gruodžio 6 d.
- Ką daro: transkribuoja kalbą, nustato kalbą, verčia kalbą į anglų kalbą ir prideda segmentų laiko žymas.
- Ko iš karto nedaro: nežymi kalbėtojų ir netranskribuoja realiuoju laiku. OpenAI modelio kortelėje teigiama, kad be papildomų sprendimų jis netinka transkribavimui realiuoju laiku.
- Dydžiai: šeši – nuo tiny (39 mln. parametrų) iki large (1 550 mln.).
- Kaina: atsisiųsti ir paleisti nemokama; techninę įrangą suteikiate patys.
„Whisper AI“ gali reikšti tris skirtingus dalykus
Šis pavadinimas vartojamas įvairiai, todėl lengva supainioti tris reikšmes.
| Kas vadinama „Whisper AI“ | Kas tai | Kas kuria | Kaip naudojama |
|---|---|---|---|
| OpenAI Whisper | Atvirojo kodo kalbos atpažinimo modelis | OpenAI | Atsisiunčiate kodą ir svorius, paleidžiate patys |
| whisper-1 | OpenAI serveryje veikiantis transkribavimo API modelis | OpenAI | Siunčiate garso failus į OpenAI API ir mokate pagal naudojimą |
| Programėlės, kurių pavadinime yra „Whisper“ | Transkribavimo produktai, pavyzdžiui, whisperai.com ir whispertranscribe.ai (ši svetainė) | Atskiros įmonės | Jų programėlėse įkeliate arba įrašote garsą |
Trečios eilutės produktai nėra pats modelis ir nėra tarpusavyje tapatūs. Kiekviena įmonė nustato savo funkcijas, ribas, kainas ir privatumo sąlygas. Toliau „Whisper“ reiškia OpenAI modelį.
Kaip veikia Whisper?
Whisper yra koduotuvo ir dekoduotuvo Transformer modelis. Koduotuvas paverčia 30 sekundžių garso skaitmenine reprezentacija, o dekoduotuvas po vieną žetoną užrašo atitinkamą tekstą. Specialūs žetonai nurodo atliekamą užduotį.
Whisper moksliniame straipsnyje aprašyti etapai:
- Diskretizavimo dažnio keitimas. Garsas konvertuojamas į 16 000 Hz.
- Skaidymas į 30 sekundžių langus. Modelis vienu metu apdoroja 30 sekundžių; trumpesni įrašai papildomi.
- Spektrogramos sudarymas. Kiekvienas langas paverčiamas 80 kanalų log-Mel spektrograma – garso energijos pokyčio skirtingais dažniais vaizdu. Ji skaičiuojama 25 milisekundžių kadrais kas 10 milisekundžių. Large-v3 naudoja 128 kanalus.
- Kodavimas. Spektrogramą apdoroja du sąsūkos sluoksniai ir Transformer blokai.
- Dekodavimas. Dekoduotuvas pirmiausia prognozuoja kalbą arba žetoną „kalbos nėra“, tada užduotį (transkribuoti ar versti), laiko žymų poreikį ir galiausiai tekstą.
Laiko žymos taip pat prognozuojamos kaip žetonai, suapvalinti iki artimiausių 20 milisekundžių. Taip vienas modelis nustato kalbą, transkribuoja, verčia ir žymi laiką.
Su kuo buvo mokomas Whisper?
Pradiniai modeliai mokėsi iš 680 000 valandų interneto garso su atitinkamomis transkripcijomis. OpenAI tai vadina silpnąja priežiūra, nes transkripcijos nebuvo ranka tikrinamos taip, kaip etaloniniai duomenų rinkiniai.
| Mokymo garso dalis | Valandos | Turinys |
|---|---|---|
| Apie 65 % | 438 000 | Anglų kalbos garsas su angliškomis transkripcijomis |
| Apie 18 % | 126 000 | Ne anglų kalbos garsas su angliškomis transkripcijomis (vertimo duomenys) |
| Apie 17 % | 117 000 | Ne anglų kalbos garsas su tos pačios kalbos transkripcijomis |
Šaltinis: OpenAI Whisper modelio kortelė. Straipsnyje vertimo duomenų kiekis apvalinamas iki 125 000 valandų.
Du dalykai padeda suprasti modelio elgesį. OpenAI atmetė mašiniškai sukurtas primenančias transkripcijas, pavyzdžiui, parašytas vien didžiosiomis raidėmis, todėl modelis išmoko sakinius su skyryba. Ankstyvieji modeliai taip pat linko spėlioti kalbėtojų vardus, nes jų buvo daugelyje interneto transkripcijų. OpenAI papildomai mokė modelį šį įprotį mažinti; tai rodo mokymo teksto įtaką.
Large-v3 mokytas kitaip: pagal Hugging Face modelio kortelę, naudota apie 5 mln. valandų – 1 mln. su silpnomis interneto žymomis ir 4 mln. pažymėtų large-v2 modeliu.
Whisper modelių dydžių palyginimas
Yra šeši Whisper dydžiai. Mažesni modeliai veikia sparčiau kuklesnėje įrangoje; didesni dažniausiai daro mažiau klaidų, bet jiems reikia daugiau vaizdo atminties (VRAM). Duomenys pateikti pagal OpenAI README.
| Dydis | Parametrai | Tik anglų kalbai | Kelioms kalboms | Reikalinga VRAM | Greitis palyginti su large |
|---|---|---|---|---|---|
| tiny | 39 M | tiny.en | tiny | ~1 GB | ~10x |
| base | 74 M | base.en | base | ~1 GB | ~7x |
| small | 244 M | small.en | small | ~2 GB | ~4x |
| medium | 769 M | medium.en | medium | ~5 GB | ~2x |
| large | 1550 M | Nėra | large | ~10 GB | 1x |
| turbo | 809 M | Nėra | turbo | ~6 GB | ~8x |
OpenAI greitį matavo su angliška kalba naudodama duomenų centrams skirtą A100 GPU ir įspėja, kad realus greitis gali smarkiai skirtis. Nešiojamajame kompiuteryje jis bus mažesnis.
Kurį Whisper modelį pasirinkti?
Atsižvelkite į turimą atmintį ir transkripcijos paskirtį:
- Bandymams paprastame kompiuteryje: tiny arba base, apie 1 GB VRAM. Tikėkitės daugiau klaidų.
- Tik anglų kalbai:
.enmodelis. OpenAI nurodo, kad jie veikia geriau, ypač tiny ir base dydžių. - Gerai kokybei ir protingam greičiui: turbo, apie 6 GB. Tai numatytasis komandų eilutės modelis.
- Kalbai versti į anglų: medium arba large. Turbo nėra mokytas versti ir net paprašytas vertimo grąžina originalo kalbą.
- Sudėtingam garsui ir geriausiam įmanomam rezultatui: large, apie 10 GB VRAM.
Whisper versijos: trumpa chronologija
„Large“ apima tris laidas, o turbo yra supaprastintas large-v3. Versija svarbi, nes skirtingų modelio versijų rezultatai skiriasi.
| Versija | Paskelbta | Kas pasikeitė |
|---|---|---|
| Pradiniai modeliai (tiny–large) | 2022 m. rugsėjį | Pirmoji atvirojo kodo laida kartu su straipsniu |
| large-v2 | 2022 m. gruodį | Tas pats dydis, mokytas 2,5 karto ilgiau su papildomu reguliarinimu |
| large-v3 | 2023 m. lapkritį | 128 Mel kanalai, naujas kantoniečių kalbos žetonas, daugeliu kalbų 10–20 % mažiau klaidų nei v2 |
| turbo (large-v3-turbo) | 2024 m. rugsėjį | Dėl greičio dekoduotuvo sluoksnių sumažinta nuo 32 iki 4; vertimo nėra |
Šaltiniai: Whisper modelio kortelė, straipsnio išnaša apie large-v2 ir Hugging Face large-v3 bei large-v3-turbo kortelės.
Kiek kalbų palaiko Whisper?
Whisper atpažįsta apie 99 kalbas. Straipsnyje aprašytas kalbos nustatymo modelis naudojo 99 kalbų žetonus, o dabartinis žetonizatorius po kantoniečių kalbos pridėjimo large-v3 turi 100 kalbų kodų. Palaikymas negarantuoja kokybės: modelio kortelėje teigiama, kad maždaug 10 kalbų rezultatai stiprūs.
Kokybė priklauso nuo mokymo duomenų. Straipsnyje nustatyta, kad rezultatus gerai prognozuoja atitinkamos kalbos mokymo valandų skaičius, o daugumai kalbų teko mažiau nei 1 000 valandų. Anglų, ispanų ar vokiečių kalbos paprastai atpažįstamos tiksliau nei kalbos, kurioms duomenų mažai. README pateikiama nuoroda į kalbų klaidų grafiką.
Nepainiokite su produkto kalbų skaičiumi. whispertranscribe.ai palaiko daugiau nei 130 kalbų. Tai mūsų produkto palaikymas (kainų puslapyje nurodomos kalbos ir akcentai), o ne atvirojo kodo Whisper modelio savybė.
Koks yra Whisper tikslumas?
Vieno tikslumo rodiklio nėra: jis priklauso nuo modelio dydžio, kalbos ir įrašo. Švariame skaitomos anglų kalbos įraše large-v2 žodžių klaidų dažnis (WER) buvo 2,7 %. Vidutiniškai 14 angliškų testų rinkinių, kurių dauguma sudėtingesni, jis siekė 12,8 %.
WER nusako pakeistų, praleistų ar pridėtų žodžių dalį, palygintą su žmogaus parengta etalonine transkripcija. Kuo mažiau, tuo geriau. Toliau pateikiami straipsnio 2 lentelės duomenys, lyginant Whisper large-v2 su wav2vec 2.0 modeliu, mokytu pagal LibriSpeech garsinių knygų rinkinį:
| Testų rinkinys | wav2vec 2.0 WER | Whisper large-v2 WER |
|---|---|---|
| LibriSpeech clean (skaitomos garsinės knygos) | 2,7 % | 2,7 % |
| Common Voice (savanorių įrašyta kalba) | 29,9 % | 9,0 % |
| CHiME-6 (triukšmingi vakarienės įrašai) | 65,8 % | 25,5 % |
| Visų 14 lentelės rinkinių vidurkis | 29,3 % | 12,8 % |
Svarbiausia tendencija: garsinių knygų teste modeliai pasirodė vienodai, bet kituose Whisper atsilaikė gerokai geriau ir vidutiniškai darė 55,2 % mažiau klaidų. OpenAI pranešime tai apvalinama iki 50 %. Straipsnio triukšmo bandymuose LibriSpeech mokyti modeliai lenkė Whisper beveik švariame garse, tačiau atsiliko stiprėjant baro tipo foniniam triukšmui, kai signalo ir triukšmo santykis nukrito žemiau 10 dB.
Tai tyrimo palyginimai, o ne pažadas jūsų failams; produktų teiginiai yra atskiri. Pavyzdžiui, whispertranscribe.ai esant švariam garsui gali pasiekti iki 99 % tikslumą, tačiau foninis triukšmas, persidengianti kalba ir ryškūs akcentai jį mažina.
Kokie yra Whisper apribojimai?
Pagrindinė Whisper silpnybė – jis gali parašyti sklandų tekstą, kurio niekas nepasakė. OpenAI modelio kortelėje tai vadinama haliucinacija ir siejama su silpnai prižiūrimu mokymu. Taip pat nurodomi pasikartojimai, nevienodas kalbų bei akcentų tikslumas ir integruotų kalbėtojų žymų nebuvimas.
- Išgalvotas tekstas. 2024 m. tyrime Careless Whisper maždaug 1 % patikrintų transkripcijų turėjo ištisas frazes ar sakinius, kurių garse nebuvo. Haliucinacijos dažniau pasitaikė po ilgų pauzių.
- Pasikartojimų ciklai. Modelis gali nuolat kartoti frazę. Pagal modelio kortelę spindulio paieška ir temperatūros keitimas šią problemą kiek sumažina, bet jos visiškai neišsprendžia.
- Praleisti pirmi ar paskutiniai žodžiai. Straipsnyje nurodomas galimas kelių pirmų arba paskutinių segmento žodžių praleidimas.
- Ilgi įrašai skaidomi langais. Whisper vienu metu apdoroja 30 sekundžių. Ilgesniame įraše įrankis slenka langu naudodamas prognozuotas laiko žymas, todėl vieno lango klaida gali paveikti kitą.
- Nėra kalbėtojų žymų. Pagal modelio kortelę diarizavimas – nustatymas, kas ir kada kalbėjo – nebuvo nuodugniai įvertintas. Tam reikia atskiro įrankio.
- Pagal numatytuosius nustatymus neveikia realiuoju laiku. Jis sukurtas įrašytiems failams; tiesioginiams titrams reikia papildomų inžinerinių sprendimų.
- Nevienodi kalbų ir akcentų rezultatai. Modelio kortelė nurodo didesnį kai kurių akcentų, tarmių ir demografinių grupių klaidų dažnį.
OpenAI taip pat perspėja netranskribuoti žmonių be jų sutikimo ir nenaudoti modelio didelės rizikos sprendimams.
Kur oficialūs šaltiniai nesutampa
Kai kurie OpenAI dokumentų skaičiai skiriasi dėl apvalinimo arba versijų pokyčių. Prieš cituodami patikrinkite:
| Tema | Vienas oficialus šaltinis | Kitas šaltinis | Ką naudoti |
|---|---|---|---|
| Klaidų sumažėjimas palyginti su LibriSpeech modeliais | Straipsnis: vidutiniškai 55,2 % mažiau | OpenAI pranešimas: 50 % mažiau | Cituokite straipsnį ir nurodykite palyginimą |
| Mokymo duomenų kalbos be anglų | Straipsnis: 96 kitos kalbos | Modelio kortelė: 98 kalbos | Atpažinimui – „apie 99 kalbas“ |
| Vertimo mokymo valandos | Modelio kortelė: 126 000 | Straipsnis: 125 000 | Galima vartoti bet kurį skaičių, nurodant, kad apytikslis |
| Turbo parametrų skaičius | README ir Hugging Face: 809 M | Modelio kortelės lentelė: 798 M | 809 M, nes šį skaičių pateikia daugiau šaltinių |
| Mokymo duomenų apimtis | Pradinis straipsnis: 680 000 valandų | Large-v3 kortelė: 5 mln. valandų | Nurodykite konkrečią versiją |
| Licencija | GitHub: MIT kodui ir svoriams | Hugging Face large-v3 metaduomenys: Apache-2.0 | Patikrinkite atsisiųstos kopijos licencijos failą |
Kaip naudoti Whisper: paleisti patiems, naudoti API ar programėlę
Yra trys praktiški keliai. Savarankiškai paleisti Whisper nemokama ir garsas lieka jūsų kompiuteryje. OpenAI API nereikia diegti modelio, tačiau ribojamas failo dydis. Internetinė transkribavimo programėlė gali suteikti redagavimą, kalbėtojų žymas ir eksportą, bet tai trečiosios šalies paslauga su savo sąlygomis.
| Savarankiškai paleistas atvirasis Whisper | OpenAI transkribavimo API | Internetinė transkribavimo programėlė | |
|---|---|---|---|
| Paruošimas | Python, PyTorch ir FFmpeg | Kodas ir API raktas | Naršyklė |
| Kaina | Nemokama; jūsų įranga | Mokama pagal naudojimą | Nemokamas lygis arba prenumerata, priklauso nuo programėlės |
| Failų ribos | Jūsų įrangos galimybės | 25 MB failui | Nustato programėlė |
| Kur patenka garsas | Lieka jūsų kompiuteryje | Siunčiamas OpenAI | Siunčiamas programėlės serveriams |
| Kalbėtojų žymos | Neintegruotos | whisper-1 jų neturi | Priklauso nuo programėlės |
| Redagavimas ir eksportas | TXT, SRT, VTT, TSV, JSON per komandų eilutę | Grąžinama jūsų kodui; visa kita kuriate patys | Paprastai redaktorius ir dokumentų bei subtitrų eksportas |
Paleiskite Whisper savo kompiuteryje
OpenAI README pateikia diegimo ir paleidimo pavyzdį:
pip install -U openai-whisper
whisper interview.mp3 --model turbo
Taip pat reikia įdiegti FFmpeg; README teigia, kad kodas turėtų veikti su Python 3.8–3.11. Pridėkite --language, kad nurodytumėte kalbamą kalbą, arba --task translate su daugiakalbiu modeliu, kad gautumėte anglų kalbą. Modelio svoriai atsisiunčiami pirmą kartą naudojant.
Naudokite OpenAI API
OpenAI kalbos vertimo tekstu vadovas riboja įkėlimą iki 25 MB vienam failui, todėl didesnį suspauskite arba padalykite. Kaip nurodyta 2026 m. lapkritį patikrintame vadove, whisper-1 pažymėtas kaip nebenaudotinas, jo išjungimo data – 2027 m. vasario 26 d., o kūrėjams siūlomi naujesni transkribavimo modeliai. Šie naujesni OpenAI kalbos modeliai nėra naujos atvirojo kodo Whisper šeimos laidos.
Naudokite internetinę transkribavimo programėlę
Jei nenorite nieko diegti, internetinė programėlė failus apdoroja savo serveriuose. Vienas pasirinkimų – whispertranscribe.ai; jos nemokamas garso vertimo tekstu įrankis leidžia greitai išbandyti. Pagrindiniame puslapyje nurodoma, kad whispertranscribe.ai naudoja Whisper ir naujos kartos DI. Mūsų produkto puslapiuose aprašytos šios funkcijos:
- Įkelkite iki 5 GB ir iki 10 valandų trukmės garso ar vaizdo failus arba į transkribavimą iš URL įklijuokite YouTube, Vimeo, Google Drive ar Dropbox nuorodą.
- Daugiau nei 130 kalbų ir pasirenkamas kalbėtojų atpažinimas.
- Tiesioginis transkribavimas iš mikrofono bei įrašymas ir transkribavimas naršyklėje.
- DOCX, PDF, SRT, VTT, TXT ir CSV eksportas, įskaitant AI subtitrų generatoriaus subtitrus.
- Garso vertimas į anglų kalbą ne angliškiems įrašams.
Yra ir apribojimų: failas siunčiamas debesijos paslaugai, o ne lieka tik kompiuteryje. Nesiūlome API, pasirinktinio žodyno ar susitikimų roboto. Mokami planai prasideda nuo 9,99 USD per mėnesį mokant už metus (kainos); galite pradėti nemokamai be paskyros. Daugiau žr. Whisper AI transkribavimo įrankio ir visų funkcijų puslapiuose.
Ar Whisper yra atvirojo kodo ir ką leidžia licencija?
Taip. OpenAI saugykloje nurodyta, kad Whisper kodas ir modelio svoriai paskelbti pagal MIT licenciją. Tai leidžianti licencija: paprastai galite naudoti, kopijuoti, keisti ir parduoti kodo pagrindu sukurtą programinę įrangą, išsaugodami autorių teisių ir licencijos pranešimą.
Du perspėjimai. Kitose svetainėse esančių kopijų licencijos metaduomenys gali skirtis: Hugging Face large-v3 puslapyje nurodyta Apache-2.0. Perskaitykite naudojamos kopijos licenciją. Be to, licencija taikoma programinei įrangai, o ne jūsų pateikiamiems įrašams. Garsui vis tiek taikomos sutikimo ir privatumo taisyklės. Tai bendro pobūdžio informacija, o ne teisinė konsultacija; oficialus šaltinis yra MIT licencijos tekstas.
Kam skirtas Whisper?
Whisper tinka kūrėjams ir tiems, kurie moka naudotis terminalu bei nori nemokamo, vietinio transkribavimo be nustatytos apimties ribos. Jei reikia parengtos transkripcijos su redaktoriumi ir eksportu, internetinė programėlė paprastai greitesnė.
| Jūs esate… | Tinkamas pasirinkimas | Kodėl |
|---|---|---|
| Produktą kuriantis programuotojas | Atvirojo kodo Whisper arba API | Viso proceso kontrolė |
| Tyrėjas su jautriais interviu | Vietoje paleistas atvirasis Whisper | Garsas nepalieka jūsų kompiuterio |
| Kūrėjas, kuriam šią savaitę reikia subtitrų | Internetinė programėlė su SRT arba VTT eksportu | Nereikia paruošimo; failai su laiko žymomis paruošti įkelti |
| Nešiojamojo kompiuterio be GPU naudotojas | Mažas vietinis modelis arba internetinė programėlė | Dideliems modeliams reikia apie 10 GB VRAM |
Prieš pasitikėdami Whisper transkripcija: patikros sąrašas
Sąrašą sudarėme pagal OpenAI straipsnyje ir modelio kortelėje aprašytas klaidas:
- Patikrinkite pauzes ir tylos vietas, ar nėra niekieno neištartų sakinių.
- Ieškokite kelis kartus iš eilės pasikartojančių frazių.
- Palyginkite pirmą ir paskutinę failo eilutes su garsu.
- Patikrinkite vardus, skaičius ir techninius terminus.
- Įsitikinkite, kad kalba nustatyta teisingai, arba nurodykite ją patys.
- Jei verčiate, įsitikinkite, kad nenaudojate turbo.
- Jei reikia kalbėtojų žymų, pridėkite jas atskiru įrankiu.
- Prieš įrašydami ar transkribuodami kitus žmones, gaukite jų sutikimą.
Dažniausiai užduodami klausimai
Ar Whisper AI yra nemokamas?
Taip, OpenAI Whisper galima nemokamai atsisiųsti ir paleisti. OpenAI kodą ir svorius licencijuoja pagal MIT, todėl už naudojimą jai mokėti nereikia. Tačiau kompiuterį suteikiate patys; large modeliui reikia maždaug 10 GB GPU atminties. Internetinės paslaugos kainuoja: OpenAI API apmokestina pagal naudojimą, o programėlės nustato savo planus. Nemokamas nereiškia paprastas – reikės Python, FFmpeg ir gebėjimo naudotis komandų eilute.
Ar Whisper atpažįsta skirtingus kalbėtojus?
Ne savarankiškai. Whisper užrašo, kas pasakyta, tačiau nežymi, kas tai pasakė. OpenAI modelio kortelėje nurodoma, kad kalbėtojų diarizavimas nebuvo nuodugniai įvertintas. Žymoms paprastai naudojamas atskiras diarizavimo įrankis arba kalbėtojus atpažįstanti transkribavimo programėlė. Pavyzdžiui, whispertranscribe.ai leidžia prieš transkribuojant įjungti kalbėtojų atpažinimą. Panašiai skambančių balsų žymas visada patikrinkite.
Ar Whisper gali transkribuoti realiuoju laiku?
Ne be papildomo pritaikymo. Whisper skirtas įrašytam garsui ir apdoroja 30 sekundžių langus; OpenAI modelio kortelėje nurodoma, kad realiajam laikui reikia papildomo darbo. Kūrėjai sukūrė beveik realiuoju laiku veikiančių įrankių, tiekdami trumpus garso fragmentus jiems atsirandant. Jei reikia tiesioginių titrų, ieškokite specialaus tiesioginio režimo ir tikėkitės, kad rezultatą reikės labiau taisyti nei baigto įrašo transkripciją.
Kiek kalbų palaiko Whisper?
Whisper atpažįsta apie 99 kalbas, o dabartinis žetonizatorius po kantoniečių kalbos pridėjimo large-v3 pateikia 100 kalbų kodų. Kokybė labai skiriasi. OpenAI modelio kortelėje nurodyti stiprūs maždaug 10 kalbų rezultatai; straipsnyje nustatyta, kad daugumai kalbų mokyti naudota mažiau nei 1 000 garso valandų. Prieš pasikliaudami retesne kalba, išbandykite trumpą įrašą. Produkto skaičiai, pavyzdžiui, daugiau nei 130 whispertranscribe.ai kalbų, apibūdina patį produktą, o ne atvirąjį modelį.
Ar whispertranscribe.ai yra tas pats, kas OpenAI Whisper?
Ne. OpenAI Whisper yra atvirojo kodo modelis, kurį atsisiunčiate ir paleidžiate patys. whispertranscribe.ai yra atskira naršyklėje veikianti transkribavimo paslauga, kurios pagrindiniame puslapyje nurodoma, kad ji naudoja Whisper ir naujos kartos DI. Ji prideda funkcijų, kurių pradinis modelis neturi: iki 5 GB failų įkėlimą, YouTube ar Google Drive nuorodų importą, kalbėtojų atpažinimą bei DOCX, PDF, SRT ir VTT eksportą. Kitos programėlės su „Whisper“ pavadinime yra atskirų įmonių produktai.
Kodėl Whisper kartais parašo niekieno neištartus žodžius?
Nes jis prognozuoja tekstą panašiai kaip kalbos modelis. OpenAI modelio kortelėje nurodyta, kad dėl didelių, triukšmingų interneto duomenų modelis kartais pateikia garse nesančių žodžių. OpenAI tai aiškina kito tikėtino žodžio prognozavimo ir girdimos kalbos transkribavimo deriniu. 2024 m. tyrime maždaug 1 % patikrintų transkripcijų rasta ištisų išgalvotų frazių, dažniau ties ilgomis pauzėmis. Palyginkite pauzes, tylias vietas ir svarbią informaciją su garsu.
Norite Whisper transkripcijos be diegimo? Įkelkite failą arba įklijuokite nuorodą į whispertranscribe.ai ir gaukite tekstą daugiau nei 130 kalbų su DOCX, PDF, SRT ir VTT eksportu.
Šaltiniai
- OpenAI: Whisper pristatymas (2022 m. rugsėjo 21 d.)
- Radford ir kt.: Robust Speech Recognition via Large-Scale Weak Supervision (arXiv 2212.04356)
- OpenAI: Whisper GitHub saugykla ir README, modelio kortelė ir MIT licencija
- Hugging Face: openai/whisper-large-v3 modelio kortelė
- OpenAI API dokumentacija: Kalbos vertimo tekstu vadovas (patikrinta 2026 m. lapkritį)
- Koenecke ir kt.: Careless Whisper: Speech-to-Text Hallucination Harms (arXiv 2402.08021)
