Kas yra Whisper AI? Kaip veikia OpenAI kalbos atpažinimo modelis

Parengė whispertranscribe.ai redakcija · Atnaujinta: 2026 m. lapkritį · Skaitymo trukmė: 13 min.

Kas yra Whisper AI? Dažniausiai taip vadinamas OpenAI Whisper – atvirojo kodo kalbos atpažinimo modelis, OpenAI paskelbtas 2022 m. rugsėjį. Jis paverčia įrašytą kalbą tekstu, nustato jos kalbą ir gali versti kitų kalbų garsą į anglų kalbą. OpenAI jį mokė naudodama 680 000 valandų interneto garso įrašų, o kodą ir svorius paskelbė pagal MIT licenciją.

Atskleidžiame savo ryšį: mes kuriame whispertranscribe.ai. whispertranscribe.ai yra naršyklėje veikiantis DI transkribavimo įrankis, verčiantis garso ir vaizdo įrašus tekstu daugiau nei 130 kalbų. Šiame vadove atskiriame modelį nuo jo pagrindu sukurtų produktų, o modelio duomenis imame iš OpenAI straipsnio, saugyklos ir modelio kortelės.

Trumpas atsakymas: kas yra Whisper AI?

Whisper yra kalbos vertimo tekstu modelis, o ne programėlė ar įmonė. Galite jį atsisiųsti iš OpenAI GitHub saugyklos ir paleisti savo kompiuteryje arba naudotis paslauga, kuri jį paleidžia už jus.

  • Kūrėja: OpenAI. Mokslinis straipsnis Robust Speech Recognition via Large-Scale Weak Supervision paskelbtas arXiv 2022 m. gruodžio 6 d.
  • Ką daro: transkribuoja kalbą, nustato kalbą, verčia kalbą į anglų kalbą ir prideda segmentų laiko žymas.
  • Ko iš karto nedaro: nežymi kalbėtojų ir netranskribuoja realiuoju laiku. OpenAI modelio kortelėje teigiama, kad be papildomų sprendimų jis netinka transkribavimui realiuoju laiku.
  • Dydžiai: šeši – nuo tiny (39 mln. parametrų) iki large (1 550 mln.).
  • Kaina: atsisiųsti ir paleisti nemokama; techninę įrangą suteikiate patys.

„Whisper AI“ gali reikšti tris skirtingus dalykus

Šis pavadinimas vartojamas įvairiai, todėl lengva supainioti tris reikšmes.

Kas vadinama „Whisper AI“ Kas tai Kas kuria Kaip naudojama
OpenAI Whisper Atvirojo kodo kalbos atpažinimo modelis OpenAI Atsisiunčiate kodą ir svorius, paleidžiate patys
whisper-1 OpenAI serveryje veikiantis transkribavimo API modelis OpenAI Siunčiate garso failus į OpenAI API ir mokate pagal naudojimą
Programėlės, kurių pavadinime yra „Whisper“ Transkribavimo produktai, pavyzdžiui, whisperai.com ir whispertranscribe.ai (ši svetainė) Atskiros įmonės Jų programėlėse įkeliate arba įrašote garsą

Trečios eilutės produktai nėra pats modelis ir nėra tarpusavyje tapatūs. Kiekviena įmonė nustato savo funkcijas, ribas, kainas ir privatumo sąlygas. Toliau „Whisper“ reiškia OpenAI modelį.

Kaip veikia Whisper?

Whisper yra koduotuvo ir dekoduotuvo Transformer modelis. Koduotuvas paverčia 30 sekundžių garso skaitmenine reprezentacija, o dekoduotuvas po vieną žetoną užrašo atitinkamą tekstą. Specialūs žetonai nurodo atliekamą užduotį.

Whisper moksliniame straipsnyje aprašyti etapai:

  1. Diskretizavimo dažnio keitimas. Garsas konvertuojamas į 16 000 Hz.
  2. Skaidymas į 30 sekundžių langus. Modelis vienu metu apdoroja 30 sekundžių; trumpesni įrašai papildomi.
  3. Spektrogramos sudarymas. Kiekvienas langas paverčiamas 80 kanalų log-Mel spektrograma – garso energijos pokyčio skirtingais dažniais vaizdu. Ji skaičiuojama 25 milisekundžių kadrais kas 10 milisekundžių. Large-v3 naudoja 128 kanalus.
  4. Kodavimas. Spektrogramą apdoroja du sąsūkos sluoksniai ir Transformer blokai.
  5. Dekodavimas. Dekoduotuvas pirmiausia prognozuoja kalbą arba žetoną „kalbos nėra“, tada užduotį (transkribuoti ar versti), laiko žymų poreikį ir galiausiai tekstą.

Laiko žymos taip pat prognozuojamos kaip žetonai, suapvalinti iki artimiausių 20 milisekundžių. Taip vienas modelis nustato kalbą, transkribuoja, verčia ir žymi laiką.

Su kuo buvo mokomas Whisper?

Pradiniai modeliai mokėsi iš 680 000 valandų interneto garso su atitinkamomis transkripcijomis. OpenAI tai vadina silpnąja priežiūra, nes transkripcijos nebuvo ranka tikrinamos taip, kaip etaloniniai duomenų rinkiniai.

Mokymo garso dalis Valandos Turinys
Apie 65 % 438 000 Anglų kalbos garsas su angliškomis transkripcijomis
Apie 18 % 126 000 Ne anglų kalbos garsas su angliškomis transkripcijomis (vertimo duomenys)
Apie 17 % 117 000 Ne anglų kalbos garsas su tos pačios kalbos transkripcijomis

Šaltinis: OpenAI Whisper modelio kortelė. Straipsnyje vertimo duomenų kiekis apvalinamas iki 125 000 valandų.

Du dalykai padeda suprasti modelio elgesį. OpenAI atmetė mašiniškai sukurtas primenančias transkripcijas, pavyzdžiui, parašytas vien didžiosiomis raidėmis, todėl modelis išmoko sakinius su skyryba. Ankstyvieji modeliai taip pat linko spėlioti kalbėtojų vardus, nes jų buvo daugelyje interneto transkripcijų. OpenAI papildomai mokė modelį šį įprotį mažinti; tai rodo mokymo teksto įtaką.

Large-v3 mokytas kitaip: pagal Hugging Face modelio kortelę, naudota apie 5 mln. valandų – 1 mln. su silpnomis interneto žymomis ir 4 mln. pažymėtų large-v2 modeliu.

Whisper modelių dydžių palyginimas

Yra šeši Whisper dydžiai. Mažesni modeliai veikia sparčiau kuklesnėje įrangoje; didesni dažniausiai daro mažiau klaidų, bet jiems reikia daugiau vaizdo atminties (VRAM). Duomenys pateikti pagal OpenAI README.

Dydis Parametrai Tik anglų kalbai Kelioms kalboms Reikalinga VRAM Greitis palyginti su large
tiny 39 M tiny.en tiny ~1 GB ~10x
base 74 M base.en base ~1 GB ~7x
small 244 M small.en small ~2 GB ~4x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M Nėra large ~10 GB 1x
turbo 809 M Nėra turbo ~6 GB ~8x

OpenAI greitį matavo su angliška kalba naudodama duomenų centrams skirtą A100 GPU ir įspėja, kad realus greitis gali smarkiai skirtis. Nešiojamajame kompiuteryje jis bus mažesnis.

Kurį Whisper modelį pasirinkti?

Atsižvelkite į turimą atmintį ir transkripcijos paskirtį:

  • Bandymams paprastame kompiuteryje: tiny arba base, apie 1 GB VRAM. Tikėkitės daugiau klaidų.
  • Tik anglų kalbai: .en modelis. OpenAI nurodo, kad jie veikia geriau, ypač tiny ir base dydžių.
  • Gerai kokybei ir protingam greičiui: turbo, apie 6 GB. Tai numatytasis komandų eilutės modelis.
  • Kalbai versti į anglų: medium arba large. Turbo nėra mokytas versti ir net paprašytas vertimo grąžina originalo kalbą.
  • Sudėtingam garsui ir geriausiam įmanomam rezultatui: large, apie 10 GB VRAM.

Whisper versijos: trumpa chronologija

„Large“ apima tris laidas, o turbo yra supaprastintas large-v3. Versija svarbi, nes skirtingų modelio versijų rezultatai skiriasi.

Versija Paskelbta Kas pasikeitė
Pradiniai modeliai (tiny–large) 2022 m. rugsėjį Pirmoji atvirojo kodo laida kartu su straipsniu
large-v2 2022 m. gruodį Tas pats dydis, mokytas 2,5 karto ilgiau su papildomu reguliarinimu
large-v3 2023 m. lapkritį 128 Mel kanalai, naujas kantoniečių kalbos žetonas, daugeliu kalbų 10–20 % mažiau klaidų nei v2
turbo (large-v3-turbo) 2024 m. rugsėjį Dėl greičio dekoduotuvo sluoksnių sumažinta nuo 32 iki 4; vertimo nėra

Šaltiniai: Whisper modelio kortelė, straipsnio išnaša apie large-v2 ir Hugging Face large-v3 bei large-v3-turbo kortelės.

Kiek kalbų palaiko Whisper?

Whisper atpažįsta apie 99 kalbas. Straipsnyje aprašytas kalbos nustatymo modelis naudojo 99 kalbų žetonus, o dabartinis žetonizatorius po kantoniečių kalbos pridėjimo large-v3 turi 100 kalbų kodų. Palaikymas negarantuoja kokybės: modelio kortelėje teigiama, kad maždaug 10 kalbų rezultatai stiprūs.

Kokybė priklauso nuo mokymo duomenų. Straipsnyje nustatyta, kad rezultatus gerai prognozuoja atitinkamos kalbos mokymo valandų skaičius, o daugumai kalbų teko mažiau nei 1 000 valandų. Anglų, ispanų ar vokiečių kalbos paprastai atpažįstamos tiksliau nei kalbos, kurioms duomenų mažai. README pateikiama nuoroda į kalbų klaidų grafiką.

Nepainiokite su produkto kalbų skaičiumi. whispertranscribe.ai palaiko daugiau nei 130 kalbų. Tai mūsų produkto palaikymas (kainų puslapyje nurodomos kalbos ir akcentai), o ne atvirojo kodo Whisper modelio savybė.

Koks yra Whisper tikslumas?

Vieno tikslumo rodiklio nėra: jis priklauso nuo modelio dydžio, kalbos ir įrašo. Švariame skaitomos anglų kalbos įraše large-v2 žodžių klaidų dažnis (WER) buvo 2,7 %. Vidutiniškai 14 angliškų testų rinkinių, kurių dauguma sudėtingesni, jis siekė 12,8 %.

WER nusako pakeistų, praleistų ar pridėtų žodžių dalį, palygintą su žmogaus parengta etalonine transkripcija. Kuo mažiau, tuo geriau. Toliau pateikiami straipsnio 2 lentelės duomenys, lyginant Whisper large-v2 su wav2vec 2.0 modeliu, mokytu pagal LibriSpeech garsinių knygų rinkinį:

Testų rinkinys wav2vec 2.0 WER Whisper large-v2 WER
LibriSpeech clean (skaitomos garsinės knygos) 2,7 % 2,7 %
Common Voice (savanorių įrašyta kalba) 29,9 % 9,0 %
CHiME-6 (triukšmingi vakarienės įrašai) 65,8 % 25,5 %
Visų 14 lentelės rinkinių vidurkis 29,3 % 12,8 %

Svarbiausia tendencija: garsinių knygų teste modeliai pasirodė vienodai, bet kituose Whisper atsilaikė gerokai geriau ir vidutiniškai darė 55,2 % mažiau klaidų. OpenAI pranešime tai apvalinama iki 50 %. Straipsnio triukšmo bandymuose LibriSpeech mokyti modeliai lenkė Whisper beveik švariame garse, tačiau atsiliko stiprėjant baro tipo foniniam triukšmui, kai signalo ir triukšmo santykis nukrito žemiau 10 dB.

Tai tyrimo palyginimai, o ne pažadas jūsų failams; produktų teiginiai yra atskiri. Pavyzdžiui, whispertranscribe.ai esant švariam garsui gali pasiekti iki 99 % tikslumą, tačiau foninis triukšmas, persidengianti kalba ir ryškūs akcentai jį mažina.

Kokie yra Whisper apribojimai?

Pagrindinė Whisper silpnybė – jis gali parašyti sklandų tekstą, kurio niekas nepasakė. OpenAI modelio kortelėje tai vadinama haliucinacija ir siejama su silpnai prižiūrimu mokymu. Taip pat nurodomi pasikartojimai, nevienodas kalbų bei akcentų tikslumas ir integruotų kalbėtojų žymų nebuvimas.

  1. Išgalvotas tekstas. 2024 m. tyrime Careless Whisper maždaug 1 % patikrintų transkripcijų turėjo ištisas frazes ar sakinius, kurių garse nebuvo. Haliucinacijos dažniau pasitaikė po ilgų pauzių.
  2. Pasikartojimų ciklai. Modelis gali nuolat kartoti frazę. Pagal modelio kortelę spindulio paieška ir temperatūros keitimas šią problemą kiek sumažina, bet jos visiškai neišsprendžia.
  3. Praleisti pirmi ar paskutiniai žodžiai. Straipsnyje nurodomas galimas kelių pirmų arba paskutinių segmento žodžių praleidimas.
  4. Ilgi įrašai skaidomi langais. Whisper vienu metu apdoroja 30 sekundžių. Ilgesniame įraše įrankis slenka langu naudodamas prognozuotas laiko žymas, todėl vieno lango klaida gali paveikti kitą.
  5. Nėra kalbėtojų žymų. Pagal modelio kortelę diarizavimas – nustatymas, kas ir kada kalbėjo – nebuvo nuodugniai įvertintas. Tam reikia atskiro įrankio.
  6. Pagal numatytuosius nustatymus neveikia realiuoju laiku. Jis sukurtas įrašytiems failams; tiesioginiams titrams reikia papildomų inžinerinių sprendimų.
  7. Nevienodi kalbų ir akcentų rezultatai. Modelio kortelė nurodo didesnį kai kurių akcentų, tarmių ir demografinių grupių klaidų dažnį.

OpenAI taip pat perspėja netranskribuoti žmonių be jų sutikimo ir nenaudoti modelio didelės rizikos sprendimams.

Kur oficialūs šaltiniai nesutampa

Kai kurie OpenAI dokumentų skaičiai skiriasi dėl apvalinimo arba versijų pokyčių. Prieš cituodami patikrinkite:

Tema Vienas oficialus šaltinis Kitas šaltinis Ką naudoti
Klaidų sumažėjimas palyginti su LibriSpeech modeliais Straipsnis: vidutiniškai 55,2 % mažiau OpenAI pranešimas: 50 % mažiau Cituokite straipsnį ir nurodykite palyginimą
Mokymo duomenų kalbos be anglų Straipsnis: 96 kitos kalbos Modelio kortelė: 98 kalbos Atpažinimui – „apie 99 kalbas“
Vertimo mokymo valandos Modelio kortelė: 126 000 Straipsnis: 125 000 Galima vartoti bet kurį skaičių, nurodant, kad apytikslis
Turbo parametrų skaičius README ir Hugging Face: 809 M Modelio kortelės lentelė: 798 M 809 M, nes šį skaičių pateikia daugiau šaltinių
Mokymo duomenų apimtis Pradinis straipsnis: 680 000 valandų Large-v3 kortelė: 5 mln. valandų Nurodykite konkrečią versiją
Licencija GitHub: MIT kodui ir svoriams Hugging Face large-v3 metaduomenys: Apache-2.0 Patikrinkite atsisiųstos kopijos licencijos failą

Kaip naudoti Whisper: paleisti patiems, naudoti API ar programėlę

Yra trys praktiški keliai. Savarankiškai paleisti Whisper nemokama ir garsas lieka jūsų kompiuteryje. OpenAI API nereikia diegti modelio, tačiau ribojamas failo dydis. Internetinė transkribavimo programėlė gali suteikti redagavimą, kalbėtojų žymas ir eksportą, bet tai trečiosios šalies paslauga su savo sąlygomis.

Savarankiškai paleistas atvirasis Whisper OpenAI transkribavimo API Internetinė transkribavimo programėlė
Paruošimas Python, PyTorch ir FFmpeg Kodas ir API raktas Naršyklė
Kaina Nemokama; jūsų įranga Mokama pagal naudojimą Nemokamas lygis arba prenumerata, priklauso nuo programėlės
Failų ribos Jūsų įrangos galimybės 25 MB failui Nustato programėlė
Kur patenka garsas Lieka jūsų kompiuteryje Siunčiamas OpenAI Siunčiamas programėlės serveriams
Kalbėtojų žymos Neintegruotos whisper-1 jų neturi Priklauso nuo programėlės
Redagavimas ir eksportas TXT, SRT, VTT, TSV, JSON per komandų eilutę Grąžinama jūsų kodui; visa kita kuriate patys Paprastai redaktorius ir dokumentų bei subtitrų eksportas

Paleiskite Whisper savo kompiuteryje

OpenAI README pateikia diegimo ir paleidimo pavyzdį:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

Taip pat reikia įdiegti FFmpeg; README teigia, kad kodas turėtų veikti su Python 3.8–3.11. Pridėkite --language, kad nurodytumėte kalbamą kalbą, arba --task translate su daugiakalbiu modeliu, kad gautumėte anglų kalbą. Modelio svoriai atsisiunčiami pirmą kartą naudojant.

Naudokite OpenAI API

OpenAI kalbos vertimo tekstu vadovas riboja įkėlimą iki 25 MB vienam failui, todėl didesnį suspauskite arba padalykite. Kaip nurodyta 2026 m. lapkritį patikrintame vadove, whisper-1 pažymėtas kaip nebenaudotinas, jo išjungimo data – 2027 m. vasario 26 d., o kūrėjams siūlomi naujesni transkribavimo modeliai. Šie naujesni OpenAI kalbos modeliai nėra naujos atvirojo kodo Whisper šeimos laidos.

Naudokite internetinę transkribavimo programėlę

Jei nenorite nieko diegti, internetinė programėlė failus apdoroja savo serveriuose. Vienas pasirinkimų – whispertranscribe.ai; jos nemokamas garso vertimo tekstu įrankis leidžia greitai išbandyti. Pagrindiniame puslapyje nurodoma, kad whispertranscribe.ai naudoja Whisper ir naujos kartos DI. Mūsų produkto puslapiuose aprašytos šios funkcijos:

Yra ir apribojimų: failas siunčiamas debesijos paslaugai, o ne lieka tik kompiuteryje. Nesiūlome API, pasirinktinio žodyno ar susitikimų roboto. Mokami planai prasideda nuo 9,99 USD per mėnesį mokant už metus (kainos); galite pradėti nemokamai be paskyros. Daugiau žr. Whisper AI transkribavimo įrankio ir visų funkcijų puslapiuose.

Ar Whisper yra atvirojo kodo ir ką leidžia licencija?

Taip. OpenAI saugykloje nurodyta, kad Whisper kodas ir modelio svoriai paskelbti pagal MIT licenciją. Tai leidžianti licencija: paprastai galite naudoti, kopijuoti, keisti ir parduoti kodo pagrindu sukurtą programinę įrangą, išsaugodami autorių teisių ir licencijos pranešimą.

Du perspėjimai. Kitose svetainėse esančių kopijų licencijos metaduomenys gali skirtis: Hugging Face large-v3 puslapyje nurodyta Apache-2.0. Perskaitykite naudojamos kopijos licenciją. Be to, licencija taikoma programinei įrangai, o ne jūsų pateikiamiems įrašams. Garsui vis tiek taikomos sutikimo ir privatumo taisyklės. Tai bendro pobūdžio informacija, o ne teisinė konsultacija; oficialus šaltinis yra MIT licencijos tekstas.

Kam skirtas Whisper?

Whisper tinka kūrėjams ir tiems, kurie moka naudotis terminalu bei nori nemokamo, vietinio transkribavimo be nustatytos apimties ribos. Jei reikia parengtos transkripcijos su redaktoriumi ir eksportu, internetinė programėlė paprastai greitesnė.

Jūs esate… Tinkamas pasirinkimas Kodėl
Produktą kuriantis programuotojas Atvirojo kodo Whisper arba API Viso proceso kontrolė
Tyrėjas su jautriais interviu Vietoje paleistas atvirasis Whisper Garsas nepalieka jūsų kompiuterio
Kūrėjas, kuriam šią savaitę reikia subtitrų Internetinė programėlė su SRT arba VTT eksportu Nereikia paruošimo; failai su laiko žymomis paruošti įkelti
Nešiojamojo kompiuterio be GPU naudotojas Mažas vietinis modelis arba internetinė programėlė Dideliems modeliams reikia apie 10 GB VRAM

Prieš pasitikėdami Whisper transkripcija: patikros sąrašas

Sąrašą sudarėme pagal OpenAI straipsnyje ir modelio kortelėje aprašytas klaidas:

  • Patikrinkite pauzes ir tylos vietas, ar nėra niekieno neištartų sakinių.
  • Ieškokite kelis kartus iš eilės pasikartojančių frazių.
  • Palyginkite pirmą ir paskutinę failo eilutes su garsu.
  • Patikrinkite vardus, skaičius ir techninius terminus.
  • Įsitikinkite, kad kalba nustatyta teisingai, arba nurodykite ją patys.
  • Jei verčiate, įsitikinkite, kad nenaudojate turbo.
  • Jei reikia kalbėtojų žymų, pridėkite jas atskiru įrankiu.
  • Prieš įrašydami ar transkribuodami kitus žmones, gaukite jų sutikimą.

Dažniausiai užduodami klausimai

Ar Whisper AI yra nemokamas?

Taip, OpenAI Whisper galima nemokamai atsisiųsti ir paleisti. OpenAI kodą ir svorius licencijuoja pagal MIT, todėl už naudojimą jai mokėti nereikia. Tačiau kompiuterį suteikiate patys; large modeliui reikia maždaug 10 GB GPU atminties. Internetinės paslaugos kainuoja: OpenAI API apmokestina pagal naudojimą, o programėlės nustato savo planus. Nemokamas nereiškia paprastas – reikės Python, FFmpeg ir gebėjimo naudotis komandų eilute.

Ar Whisper atpažįsta skirtingus kalbėtojus?

Ne savarankiškai. Whisper užrašo, kas pasakyta, tačiau nežymi, kas tai pasakė. OpenAI modelio kortelėje nurodoma, kad kalbėtojų diarizavimas nebuvo nuodugniai įvertintas. Žymoms paprastai naudojamas atskiras diarizavimo įrankis arba kalbėtojus atpažįstanti transkribavimo programėlė. Pavyzdžiui, whispertranscribe.ai leidžia prieš transkribuojant įjungti kalbėtojų atpažinimą. Panašiai skambančių balsų žymas visada patikrinkite.

Ar Whisper gali transkribuoti realiuoju laiku?

Ne be papildomo pritaikymo. Whisper skirtas įrašytam garsui ir apdoroja 30 sekundžių langus; OpenAI modelio kortelėje nurodoma, kad realiajam laikui reikia papildomo darbo. Kūrėjai sukūrė beveik realiuoju laiku veikiančių įrankių, tiekdami trumpus garso fragmentus jiems atsirandant. Jei reikia tiesioginių titrų, ieškokite specialaus tiesioginio režimo ir tikėkitės, kad rezultatą reikės labiau taisyti nei baigto įrašo transkripciją.

Kiek kalbų palaiko Whisper?

Whisper atpažįsta apie 99 kalbas, o dabartinis žetonizatorius po kantoniečių kalbos pridėjimo large-v3 pateikia 100 kalbų kodų. Kokybė labai skiriasi. OpenAI modelio kortelėje nurodyti stiprūs maždaug 10 kalbų rezultatai; straipsnyje nustatyta, kad daugumai kalbų mokyti naudota mažiau nei 1 000 garso valandų. Prieš pasikliaudami retesne kalba, išbandykite trumpą įrašą. Produkto skaičiai, pavyzdžiui, daugiau nei 130 whispertranscribe.ai kalbų, apibūdina patį produktą, o ne atvirąjį modelį.

Ar whispertranscribe.ai yra tas pats, kas OpenAI Whisper?

Ne. OpenAI Whisper yra atvirojo kodo modelis, kurį atsisiunčiate ir paleidžiate patys. whispertranscribe.ai yra atskira naršyklėje veikianti transkribavimo paslauga, kurios pagrindiniame puslapyje nurodoma, kad ji naudoja Whisper ir naujos kartos DI. Ji prideda funkcijų, kurių pradinis modelis neturi: iki 5 GB failų įkėlimą, YouTube ar Google Drive nuorodų importą, kalbėtojų atpažinimą bei DOCX, PDF, SRT ir VTT eksportą. Kitos programėlės su „Whisper“ pavadinime yra atskirų įmonių produktai.

Kodėl Whisper kartais parašo niekieno neištartus žodžius?

Nes jis prognozuoja tekstą panašiai kaip kalbos modelis. OpenAI modelio kortelėje nurodyta, kad dėl didelių, triukšmingų interneto duomenų modelis kartais pateikia garse nesančių žodžių. OpenAI tai aiškina kito tikėtino žodžio prognozavimo ir girdimos kalbos transkribavimo deriniu. 2024 m. tyrime maždaug 1 % patikrintų transkripcijų rasta ištisų išgalvotų frazių, dažniau ties ilgomis pauzėmis. Palyginkite pauzes, tylias vietas ir svarbią informaciją su garsu.


Norite Whisper transkripcijos be diegimo? Įkelkite failą arba įklijuokite nuorodą į whispertranscribe.ai ir gaukite tekstą daugiau nei 130 kalbų su DOCX, PDF, SRT ir VTT eksportu.

Šaltiniai

Norite paversti savo įrašus tekstu?

Transkribuokite garso ir vaizdo įrašus naudodami whispertranscribe.ai.

Pradėti transkribuoti ↗