Hvað er Whisper AI? Svona virkar talgreiningarlíkan OpenAI

Ritstjórn whispertranscribe.ai · Síðast uppfært: nóvember 2026 · 13 mín. lestur

Hvað er Whisper AI? Í flestum leitum er átt við OpenAI Whisper, opið talgreiningarlíkan sem OpenAI gaf út í september 2022. Það breytir upptöku af tali í texta, greinir tungumálið og getur þýtt önnur tungumál yfir á ensku. OpenAI þjálfaði það á 680.000 klukkustundum af hljóði af vefnum og birti kóðann og líkanavigtin undir MIT-leyfinu.

Til skýringar: við stöndum að whispertranscribe.ai. whispertranscribe.ai er vefbundið umritunartól sem breytir hljóði og myndskeiðum í texta á meira en 130 tungumálum. Í þessari grein er gerður skýr greinarmunur á líkaninu og vörunum sem byggja á því; allar tölur um líkanið eru úr grein, kóðasafni eða líkanskorti OpenAI.

Stutt svar: Hvað er Whisper AI?

Whisper er tal-í-texta-líkan, ekki app eða fyrirtæki. Hægt er að sækja það úr GitHub-safni OpenAI og keyra á eigin tölvu eða nota þjónustu sem keyrir það fyrir þig.

  • Framleiðandi: OpenAI. Rannsóknargreinin Robust Speech Recognition via Large-Scale Weak Supervision var birt á arXiv 6. desember 2022.
  • Hvað það gerir: umritar tal, greinir tungumál, þýðir tal á ensku og bætir við tímastimplum fyrir hluta upptökunnar.
  • Hvað það gerir ekki án viðbóta: merkir ekki hver talar og umritar ekki í rauntíma. Líkanskort OpenAI segir að það sé ekki tilbúið til rauntímaumritunar án frekari vinnu.
  • Stærðir: sex, frá tiny með 39 milljónir stika til large með 1.550 milljónir.
  • Kostnaður: ókeypis að sækja og keyra, en þú útvegar vélbúnaðinn.

„Whisper AI“ getur merkt þrennt

Heitið er notað á fleiri en einn hátt og auðvelt er að rugla þessu þrennu saman.

Það sem er kallað „Whisper AI“ Hvað það er Hver býður það Hvernig það er notað
OpenAI Whisper Opið talgreiningarlíkan OpenAI Sækja kóða og líkanavigt og keyra sjálfur
whisper-1 Hýst API-líkan OpenAI fyrir umritun OpenAI Senda hljóðskrár í API OpenAI og greiða eftir notkun
Öpp með „Whisper“ í nafninu Umritunarvörur eins og whisperai.com og whispertranscribe.ai (þessi síða) Aðskilin fyrirtæki Hlaða upp eða taka upp hljóð í appinu

Vörurnar í þriðju röð eru ekki líkanið sjálft og ekki jafngildar hver annarri. Hvert fyrirtæki ákveður eigin eiginleika, takmörk, verð og persónuverndarskilmála. Í greininni merkir „Whisper“ líkan OpenAI.

Hvernig virkar Whisper?

Whisper er Transformer með kóðara og afkóðara. Kóðarinn breytir 30 sekúndum af hljóði í tölulegt form og afkóðarinn skrifar samsvarandi texta eitt tákn í einu. Sérstök tákn segja honum hvaða verkefni á að vinna.

Whisper-greinin lýsir ferlinu:

  1. Endursýnataka. Hljóðinu er breytt í 16.000 Hz.
  2. Skipting í 30 sekúndna glugga. Líkanið skoðar alltaf 30 sekúndur í einu. Styttri bútar eru fylltir upp.
  3. Tíðniróf búið til. Hver gluggi verður að 80 rása log-Mel-tíðnirófi sem sýnir hvernig hljóðorka breytist eftir tíðni, reiknuðu úr 25 millisekúndna römmum á 10 millisekúndna fresti. Large-v3 notar 128 rásir.
  4. Kóðun. Tvö földunarlög og stafli Transformer-blokka vinna úr tíðnirófinu.
  5. Afkóðun. Afkóðarinn spáir fyrst fyrir um tungumál eða tákn fyrir ekkert tal. Síðan koma verkefnið (umritun eða þýðing), val um tímastimpla og loks textinn.

Tímastimplum er líka spáð sem táknum og þeir námundaðir að næstu 20 millisekúndum. Þannig annast sama líkan tungumálagreiningu, umritun, þýðingu og tímasetningu.

Á hverju var Whisper þjálfað?

Upprunalegu líkönin lærðu af 680.000 klukkustundum af hljóði af netinu með samsvarandi umritunum. OpenAI kallar þetta veikt eftirlit vegna þess að umritanirnar voru ekki handyfirfarnar á sama hátt og viðmiðsgagnasöfn.

Hlutfall þjálfunarhljóðs Klukkustundir Innihald
Um 65% 438.000 Enskt hljóð með enskri umritun
Um 18% 126.000 Hljóð á öðrum tungumálum með enskri umritun (þýðingargögn)
Um 17% 117.000 Hljóð á öðrum tungumálum með umritun á sama máli

Heimild: líkanskort Whisper hjá OpenAI. Greinin námundar þýðingarhlutann í 125.000 klukkustundir.

Tvö atriði skýra hegðun Whisper. OpenAI síaði út umritanir sem litu út fyrir að vera vélunnar, svo sem texta í hástöfum, og líkanið lærði því að skrifa setningar með greinarmerkjum. Eldri líkön áttu einnig til að giska á nöfn talenda þar sem þau komu oft fyrir í vefumritunum. OpenAI dró úr þeirri hegðun með frekari þjálfun en hún sýnir hve vel líkanið endurspeglar þjálfunartextann.

Large-v3 var þjálfað öðruvísi, á um 5 milljónum klukkustunda: einni milljón með veikum vefmerkingum og fjórum milljónum merktum af large-v2 samkvæmt líkanskorti á Hugging Face.

Samanburður á stærðum Whisper-líkana

Whisper kemur í sex stærðum. Minni líkön keyra hraðar á hóflegum vélbúnaði; stærri gera færri villur en þurfa meira skjákortaminni (VRAM). Tölurnar hér eru úr README OpenAI.

Stærð Stikar Aðeins enska Mörg tungumál VRAM-þörf Hraði miðað við large
tiny 39 M tiny.en tiny ~1 GB ~10x
base 74 M base.en base ~1 GB ~7x
small 244 M small.en small ~2 GB ~4x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M Ekkert large ~10 GB 1x
turbo 809 M Ekkert turbo ~6 GB ~8x

OpenAI mældi hraðann á ensku tali með A100-skjákorti fyrir gagnaver og segir að raunhraði geti verið mjög breytilegur. Fartölva verður hægari.

Hvaða Whisper-líkan ættirðu að velja?

Byrjaðu á að skoða tiltækt minni og tilgang umritunarinnar:

  • Prófun á einfaldri vél: tiny eða base, um 1 GB VRAM. Búast má við fleiri villum.
  • Aðeins enska: notaðu .en-líkan. OpenAI segir þau skila betri árangri, sérstaklega tiny og base.
  • Góð gæði og hæfilegur hraði: turbo, um 6 GB. Það er sjálfgefið í skipanalínunni.
  • Þýðing tals á ensku: medium eða large. Turbo var ekki þjálfað til þýðinga og skilar frumtungumálinu þótt beðið sé um þýðingu.
  • Erfiðasta hljóðið og sem best niðurstaða: large, um 10 GB VRAM.

Útgáfur Whisper: stutt tímalína

„Large“ hefur verið gefið út í þremur útgáfum og turbo er léttari gerð large-v3. Útgáfan skiptir máli því niðurstöður eru mismunandi eftir líkanavigtum.

Útgáfa Gefin út Breyting
Upprunaleg líkön (tiny til large) September 2022 Fyrsta opna útgáfan með rannsóknargreininni
large-v2 Desember 2022 Sama stærð, þjálfað 2,5 sinnum lengur með aukinni reglun
large-v3 Nóvember 2023 128 Mel-rásir, nýtt kantónskutákn, 10% til 20% færri villur en v2 á mörgum tungumálum
turbo (large-v3-turbo) September 2024 Afkóðunarlögum fækkað úr 32 í 4 fyrir meiri hraða; engin þýðing

Heimildir: Whisper-líkanskortið, neðanmálsgrein rannsóknarinnar um large-v2 og Hugging Face-kort large-v3 og large-v3-turbo.

Hversu mörg tungumál styður Whisper?

Whisper þekkir um 99 tungumál. Tungumálagreinir rannsóknarinnar notaði 99 tungumálatákn og núverandi táknari telur 100 tungumálakóða eftir að kantónska bættist við í large-v3. Stuðningur tryggir þó ekki gæði: líkanskortið segir árangurinn sterkan á um það bil 10 tungumálum.

Gæðin ráðast af þjálfunargögnum. Rannsóknin sýndi að fjöldi klukkustunda af hverju tungumáli spáði vel fyrir um árangur og að flest tungumál höfðu færri en 1.000 klukkustundir. Enska, spænska og þýska koma yfirleitt hreinar út en tungumál með lítil gögn. Í README er tengill á villurit eftir tungumálum.

Ekki rugla þessu saman við tölur einstakra vara. whispertranscribe.ai styður meira en 130 tungumál. Sú tala lýsir stuðningi vörunnar (verðsíðan segir „130+ tungumál og hreimar“), ekki eiginleika opna Whisper-líkansins.

Hversu nákvæmt er Whisper?

Engin ein nákvæmnistala gildir fyrir Whisper; niðurstaðan fer eftir líkanastærð, tungumáli og upptöku. Á hreinum upplestri á ensku fékk large-v2 2,7% orðavilluhlutfall (WER). Meðaltalið yfir 14 ensk prófunarsöfn, flest erfiðari, var 12,8%.

WER er hlutfall orða sem kerfið skiptir út, sleppir eða bætir við miðað við viðmiðsumritun manns. Lægra er betra. Tölurnar eru úr töflu 2 í greininni, þar sem Whisper large-v2 er borið saman við wav2vec 2.0-líkan þjálfað á LibriSpeech-hljóðbókum:

Prófunarsafn WER wav2vec 2.0 WER Whisper large-v2
LibriSpeech clean (upplesnar hljóðbækur) 2,7% 2,7%
Common Voice (upptökur sjálfboðaliða) 29,9% 9,0%
CHiME-6 (hávaðasamar matarboðsupptökur) 65,8% 25,5%
Meðaltal allra 14 prófunarsafna í töflunni 29,3% 12,8%

Mynstrið skiptir máli: líkönin eru jöfn á hljóðbókaprófinu en Whisper stendur sig mun betur á hinum og gerir að meðaltali 55,2% færri villur. Tilkynning OpenAI námundar þetta í 50%. Í hávaðaprófum greinarinnar voru líkön sem þjálfuð voru á LibriSpeech betri með nær hreinu hljóði en urðu lakari þegar hávaði af kráarlífi jókst og hlutfall merkis og hávaða fór undir 10 dB.

Þetta eru rannsóknarviðmið, ekki loforð um þínar skrár; fullyrðingar vara eru aðskildar. whispertranscribe.ai getur til dæmis náð allt að 99% nákvæmni með skýru hljóði en bakgrunnshávaði, samtímis tal og sterkir hreimar draga úr henni.

Hvaða takmarkanir hefur Whisper?

Helsti veikleiki Whisper er að það getur skrifað lipran texta sem enginn sagði. Líkanskort OpenAI kallar þetta ofskynjun og tengir hana við veikt eftirlit í þjálfun. Þar er einnig nefnd endurtekning, misjöfn nákvæmni milli tungumála og hreima og skortur á innbyggðum talandamerkingum.

  1. Tilbúinn texti. Í rannsókninni Careless Whisper frá 2024 fundust heilar setningar eða setningarhlutar sem vantaði í hljóðið í um 1% yfirfarinna umritana. Þetta var algengara kringum langar þagnir.
  2. Endurtekningarlykkjur. Líkanið getur fest sig í að endurtaka setningu. Samkvæmt líkanskortinu draga beam search og hitastigsvaraleiðir að einhverju leyti úr vandanum en eyða honum ekki.
  3. Fyrstu eða síðustu orð vantar. Greinin nefnir að líkanið geti sleppt fyrstu eða síðustu orðum búts.
  4. Langar upptökur þurfa glugga. Whisper sér aðeins 30 sekúndur í einu. Umritunartólið færir gluggann áfram eftir spáðum tímastimplum og villa í einum glugga getur skekkt þann næsta.
  5. Engin talandamerking. Samkvæmt líkanskortinu var ekki lagt ítarlegt mat á skiptingu eftir því hver talar hvenær. Til þess þarf sérstakt tól.
  6. Ekki rauntími sjálfgefið. Líkanið var hannað fyrir upptökur. Lifandi skjátexti krefst viðbótartæknivinnu.
  7. Ójöfn gæði eftir tungumáli og hreim. Líkanskortið bendir á hærri villutíðni hjá sumum hreimum, mállýskum og lýðfræðihópum.

OpenAI varar einnig við umritun fólks án samþykkis þess og notkun við áhættusamar ákvarðanir.

Þar sem opinberum heimildum ber ekki saman

Sumar tölur í skjölum OpenAI eru mismunandi, yfirleitt vegna námundunar eða útgáfubreytinga. Athugaðu þetta áður en þú vitnar í þær:

Efni Ein opinber heimild segir Önnur segir Hvað skal nota
Fækkun villna miðað við LibriSpeech-líkön Grein: 55,2% færri villur að meðaltali Tilkynning OpenAI: 50% færri villur Vísaðu í greinina og nefndu samanburðinn
Tungumál í þjálfunargögnum auk ensku Grein: 96 önnur tungumál Líkanskort: 98 tungumál „Um 99 tungumál“ fyrir greiningu
Þjálfunarstundir fyrir þýðingar Líkanskort: 126.000 Grein: 125.000 Hvort sem er, merkt sem nálgun
Fjöldi stika í turbo README og Hugging Face: 809 M Tafla líkanskorts: 798 M 809 M, talan sem flestar heimildir nota
Stærð þjálfunargagna Upprunaleg grein: 680.000 klukkustundir Large-v3-kort: 5 milljónir klukkustunda Nefndu hvaða útgáfu er átt við
Leyfi GitHub: MIT fyrir kóða og líkanavigt Lýsigögn large-v3 á Hugging Face: Apache-2.0 Athugaðu leyfisskrá eintaksins sem þú sækir

Hvernig nota á Whisper: keyra sjálfur, nota API eða app

Þrjár hagnýtar leiðir eru í boði. Að keyra Whisper sjálfur er ókeypis og heldur hljóðinu á tölvunni. API OpenAI sparar uppsetningu en takmarkar skráarstærð. Hýst umritunarapp bætir við ritli, talandamerkingum og útflutningi en er þjónusta þriðja aðila með eigin skilmála.

Keyra opið Whisper Umritunar-API OpenAI Hýst umritunarapp
Uppsetning Python, PyTorch og FFmpeg Kóði og API-lykill Vafri
Verð Ókeypis; þinn vélbúnaður Greitt eftir notkun Ókeypis þrep eða áskrift, mismunandi eftir appi
Skráartakmörk Vélbúnaður þinn 25 MB á skrá Ákvörðuð af hverju appi
Hvert fer hljóðið? Verður áfram á tölvunni Sent til OpenAI Sent á netþjóna appsins
Talandamerkingar Ekki innbyggðar Ekki í whisper-1 Fer eftir appi
Breytingar og útflutningur TXT, SRT, VTT, TSV, JSON úr skipanalínu Skilað í kóðann; afganginn þarf að smíða Yfirleitt ritill og útflutningur skjala og skjátexta

Keyrðu Whisper á eigin tölvu

README OpenAI sýnir uppsetningarskipun og einfalt dæmi:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

Einnig þarf að setja upp FFmpeg og samkvæmt README ætti kóðinn að keyra á Python 3.8 til 3.11. Bættu við --language til að tilgreina tungumál eða --task translate með fjöltyngdu líkani til að fá ensku. Líkanavigtin er sótt við fyrstu notkun.

Notaðu API OpenAI

Tal-í-texta-leiðbeiningar OpenAI takmarka upphleðslur við 25 MB á skrá; þjappaðu eða skiptu stærri skrám. Samkvæmt yfirferð í nóvember 2026 merkir leiðbeiningin whisper-1 sem úrelt og tilgreinir lokadagsetninguna 26. febrúar 2027; þróunaraðilum er bent á nýrri umritunarlíkön. Þau eru tallíkön OpenAI, ekki nýjar útgáfur af opnu Whisper-fjölskyldunni.

Notaðu hýst umritunarapp

Ef þú vilt ekki setja neitt upp vinnur hýst app úr skrám á netþjónum sínum. whispertranscribe.ai er einn valkostur og ókeypis hljóð-í-texta-breytirinn er fljótleg leið til að prófa. Á heimasíðunni lýsum við whispertranscribe.ai sem knúnu af Whisper og næstu kynslóðar gervigreind. Vörusíðurnar nefna meðal annars:

Það fylgja þessu málamiðlanir. Skráin fer í skýjaþjónustu í stað þess að vera áfram á tölvunni. Við bjóðum ekki API, sérsniðinn orðaforða eða fundarvélmenni. Greiddar áskriftir byrja á 9,99 Bandaríkjadölum á mánuði með ársgreiðslu (verð) og þú getur byrjað ókeypis án reiknings. Sjá nánar Whisper AI-umritunartólið eða alla eiginleika.

Er Whisper opinn hugbúnaður og hvað heimilar leyfið?

Já. Kóðasafn OpenAI segir að kóði og líkanavigt Whisper séu gefin út undir MIT-leyfinu. MIT er rúmt leyfi sem heimilar almennt notkun, afritun, breytingar og sölu hugbúnaðar sem byggir á kóðanum, að því tilskildu að höfundarréttar- og leyfistilkynning sé varðveitt.

Tvö varnaðarorð: eintök á öðrum vefum geta haft önnur leyfislýsigögn; large-v3-síða Hugging Face nefnir Apache-2.0. Lestu leyfið sem fylgir þínu eintaki. Leyfið nær til hugbúnaðarins, ekki upptaknanna sem þú notar. Reglur um samþykki og persónuvernd gilda áfram um hljóðið. Þetta eru almennar upplýsingar, ekki lögfræðiráðgjöf; opinber heimild er texti MIT-leyfisins.

Fyrir hverja er Whisper?

Whisper hentar þróunaraðilum og þeim sem kunna á skipanalínu og vilja ókeypis, ótakmarkaða umritun á eigin vél. Ef þú vilt fullunna umritun með ritli og útflutningi er hýst app yfirleitt fljótlegra.

Þú ert… Hentar vel Hvers vegna
Þróunaraðili að smíða vöru Opið Whisper eða API Full stjórn á vinnsluferlinu
Rannsakandi með viðkvæm viðtöl Opið Whisper keyrt á eigin tölvu Hljóðið fer ekki af tölvunni
Höfundur sem þarf skjátexta í vikunni Hýst app með SRT- eða VTT-útflutningi Engin uppsetning; tímasettar skrár tilbúnar til upphleðslu
Notandi fartölvu án skjákorts Lítið líkan á eigin vél eða hýst app Stór líkön þurfa um 10 GB VRAM

Áður en þú treystir Whisper-umritun: gátlisti

Þessi gátlisti byggir á þekktum villum í grein og líkanskorti OpenAI:

  • Skoðaðu þagnir og hljóðlausa kafla með tilliti til setninga sem enginn sagði.
  • Leitaðu að sömu setningu endurtekinni nokkrum sinnum í röð.
  • Berðu fyrstu og síðustu línur skráarinnar saman við hljóðið.
  • Staðfestu nöfn, tölur og tækniorð.
  • Gakktu úr skugga um að tungumálið hafi verið rétt greint eða stilltu það handvirkt.
  • Fyrir þýðingu skaltu ganga úr skugga um að þú hafir ekki notað turbo.
  • Bættu við talandamerkingum með sérstöku tóli ef þeirra er þörf.
  • Fáðu samþykki áður en þú tekur upp eða umritar annað fólk.

Algengar spurningar

Er Whisper AI ókeypis?

Já, ókeypis er að sækja og keyra OpenAI Whisper. OpenAI gefur kóðann og líkanavigtina út undir MIT svo þú þarft ekki að greiða OpenAI fyrir notkunina. Þú útvegar þó tölvuna og large-líkanið þarf um 10 GB skjákortaminni. Hýstar lausnir kosta: API OpenAI er gjaldfært eftir notkun og umritunaröpp ákveða sín verð. Ókeypis merkir heldur ekki einfalt; þú þarft Python, FFmpeg og einhverja kunnáttu á skipanalínu.

Getur Whisper greint mismunandi talendur?

Ekki eitt og sér. Whisper skrifar hvað var sagt en merkir ekki hver sagði það. Líkanskort OpenAI segir að eiginleikar eins og talandaskipting hafi ekki verið metnir nægilega ítarlega. Til að fá merkingar er Whisper oft parað við sérstakt tól fyrir talandaskiptingu eða notað app sem bætir greiningunni við. whispertranscribe.ai hefur til dæmis valkost fyrir talandagreiningu sem hægt er að kveikja á fyrir umritun. Farðu sérstaklega yfir merkingar þegar raddir eru líkar.

Getur Whisper umritað í rauntíma?

Ekki án viðbóta. Whisper var hannað fyrir hljóðupptökur og vinnur í 30 sekúndna gluggum. Líkanskort OpenAI segir að rauntímaumritun krefjist aukinnar vinnu. Þróunaraðilar hafa smíðað kerfi sem nálgast rauntíma með því að fæða stutta búta inn jafnóðum. Ef þig vantar lifandi skjátexta skaltu leita að sérstöku rauntímatóli og gera ráð fyrir meiri yfirferð en á fullunninni upptöku.

Hversu mörg tungumál styður Whisper?

Whisper þekkir um 99 tungumál og núverandi táknari telur 100 tungumálakóða eftir að kantónska bættist við í large-v3. Gæði eru mjög mismunandi. Líkanskort OpenAI segir árangur sterkan á um 10 tungumálum og rannsóknin sýndi að flest höfðu undir 1.000 klukkustundir af þjálfunarhljóði. Prófaðu stutta upptöku áður en þú treystir á sjaldgæfara mál. Tölur vara, svo sem meira en 130 tungumál hjá whispertranscribe.ai, lýsa stuðningi vörunnar en ekki opna líkaninu.

Er whispertranscribe.ai það sama og OpenAI Whisper?

Nei. OpenAI Whisper er opið líkan sem þú sækir og keyrir sjálfur. whispertranscribe.ai er sérstök vefbundin umritunarþjónusta; á heimasíðunni er sagt að hún noti Whisper og næstu kynslóðar gervigreind. Hún bætir við eiginleikum sem grunnt líkanið hefur ekki, til dæmis upphleðslu allt að 5 GB, innflutningi tengla frá YouTube eða Google Drive, talandagreiningu og DOCX-, PDF-, SRT- og VTT-útflutningi. Önnur öpp með „Whisper“ í nafni eru aðskildar vörur frá öðrum fyrirtækjum.

Hvers vegna skrifar Whisper stundum orð sem enginn sagði?

Vegna þess að líkanið spáir fyrir um texta á svipaðan hátt og mállíkan. Líkanskort OpenAI segir að þjálfun á miklum og hávaðasömum vefgögnum leiði stundum til orða sem heyrast ekki í hljóðinu. Samkvæmt skýringu OpenAI blandar líkanið saman spá um næsta líklega orð og umritun þess sem það heyrir. Rannsókn frá 2024 fann heilar uppspunnar setningar í um 1% yfirfarinna umritana, oftar við langar þagnir. Berðu þagnir, hljóðláta kafla og mikilvægt efni saman við upptökuna.


Viltu Whisper-umritun án uppsetningar? Hladdu skrá upp eða límdu tengil inn í whispertranscribe.ai og fáðu texta á meira en 130 tungumálum með DOCX-, PDF-, SRT- og VTT-útflutningi.

Heimildir

Viltu breyta upptökunum þínum í texta?

Breyttu hljóði og myndskeiðum í texta með whispertranscribe.ai.

Hefja umritun ↗