Hva er Whisper AI? Slik fungerer OpenAIs talegjenkjenningsmodell

Av whispertranscribe.ai-redaksjonen · Sist oppdatert: november 2026 · 13 minutters lesetid

Hva er Whisper AI? I de fleste søk betyr det OpenAI Whisper, en åpen talegjenkjenningsmodell OpenAI publiserte i september 2022. Den gjør innspilt tale til tekst, identifiserer talespråket og kan oversette andre språk til engelsk. OpenAI trente den på 680 000 timer nettlyd og utga kode og vekter under MIT-lisensen.

En opplysning: Vi lager whispertranscribe.ai. whispertranscribe.ai er et nettbasert AI-transkripsjonsverktøy som gjør lyd og video til tekst på 130+ språk. Guiden skiller mellom modellen og produkter bygget rundt den, og alle tall om modellen kommer fra OpenAIs egen artikkel, repositorium eller modellkort.

Kort svar: Hva er Whisper AI?

Whisper er en tale-til-tekst-modell, ikke en app eller bedrift. Du kan laste den ned fra OpenAIs GitHub-repositorium og kjøre den selv, eller bruke en tjeneste som kjører den for deg.

  • Laget av: OpenAI. Forskningsartikkelen Robust Speech Recognition via Large-Scale Weak Supervision ble publisert på arXiv 6. desember 2022.
  • Hva den gjør: transkriberer tale, oppdager språk, oversetter tale til engelsk og legger til segmenttidsstempler.
  • Hva den ikke gjør direkte: merker hvem som snakker eller transkriberer i sanntid. OpenAIs modellkort sier at den ikke kan brukes til sanntidstranskripsjon uten tilpasning.
  • Størrelser: seks, fra tiny (39 millioner parametere) til large (1 550 millioner).
  • Pris: gratis å laste ned og kjøre. Du stiller med maskinvare.

«Whisper AI» kan bety tre forskjellige ting

Navnet brukes løst, og disse betydningene er lette å blande.

Det folk kaller «Whisper AI» Hva det er Hvem som lager det Hvordan du bruker det
OpenAI Whisper Åpen talegjenkjenningsmodell OpenAI Last ned kode og vekter og kjør selv
whisper-1 OpenAIs vertsbaserte API-modell for transkripsjon OpenAI Send lydfiler til OpenAIs API og betal per bruk
Apper med «Whisper» i navnet Transkripsjonsprodukter som whisperai.com og whispertranscribe.ai (dette nettstedet) Separate selskaper Last opp eller ta opp lyd i appene

Produktene i tredje rad er ikke selve modellen og kan ikke brukes om hverandre. Hvert selskap bestemmer egne funksjoner, grenser, priser og personvernvilkår. I denne artikkelen betyr «Whisper» OpenAIs modell.

Hvordan fungerer Whisper?

Whisper er en encoder-decoder Transformer. Encoderen gjør 30 sekunder lyd til en numerisk representasjon, og dekoderen skriver tilhørende tekst ett token om gangen, styrt av spesielle token som angir oppgaven.

Whisper-artikkelen beskriver prosessen:

  1. Endre samplingsfrekvens. Lyden konverteres til 16 000 Hz.
  2. Del i 30-sekunders vinduer. Modellen ser alltid 30 sekunder om gangen. Kortere klipp fylles ut.
  3. Lag et spektrogram. Hvert vindu blir et log-Mel-spektrogram med 80 kanaler, et bilde av lydenergi over frekvenser, beregnet i 25 millisekunders rammer hvert 10. millisekund. (Large-v3 gikk over til 128 kanaler.)
  4. Kod. To konvolusjonslag og en stabel Transformer-blokker behandler spektrogrammet.
  5. Dekod. Dekoderen forutsier først språk eller et «ingen tale»-token, deretter oppgaven (transkriber eller oversett), om tidsstempler skal med og til slutt selve teksten.

Tidsstempler forutsies også som token og avrundes til nærmeste 20 millisekund. Slik håndterer én modell språkdeteksjon, transkripsjon, oversettelse og timing.

Hva ble Whisper trent på?

De opprinnelige modellene lærte av 680 000 timer internettlyd med tilhørende transkripsjoner. OpenAI kaller dette «svak supervisjon» fordi transkripsjonene ikke ble kontrollert manuelt slik benchmarkdatasett blir.

Andel av treningslyd Timer Innhold
Omtrent 65 % 438 000 Engelsk lyd med engelsk transkripsjon
Omtrent 18 % 126 000 Ikke-engelsk lyd med engelsk transkripsjon (oversettelsesdata)
Omtrent 17 % 117 000 Ikke-engelsk lyd med transkripsjon på samme språk

Kilde: OpenAIs Whisper-modellkort. Artikkelen avrunder oversettelsesandelen til 125 000 timer.

To detaljer forklarer mye av Whispers oppførsel. OpenAI filtrerte bort transkripsjoner som så maskingenererte ut, som tekst bare med store bokstaver, slik at modellen lærte tegnsetting. Tidlige modeller gjettet også talernavn fordi mange netttranskripsjoner inneholdt dem. OpenAI finjusterte bort denne vanen, men den viser hvor tett modellen speiler treningsteksten.

Large-v3 ble trent annerledes, på omtrent 5 millioner timer: 1 million med svake nettetiketter og 4 millioner merket av large-v2, ifølge modellkortet på Hugging Face.

Sammenligning av Whisper-modellstørrelser

Whisper finnes i seks størrelser. Mindre modeller kjører raskere på moderat maskinvare; større gjør færre feil, men trenger mer videominne (VRAM). Tallene nedenfor er fra OpenAIs README.

Størrelse Parametere Kun engelsk Flerspråklig versjon Nødvendig VRAM Hastighet relativt til large
tiny 39 M tiny.en tiny ~1 GB ~10x
base 74 M base.en base ~1 GB ~7x
small 244 M small.en small ~2 GB ~4x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M Ingen large ~10 GB 1x
turbo 809 M Ingen turbo ~6 GB ~8x

OpenAI målte hastigheten på engelsk tale med en A100-datasenter-GPU og sier at faktisk hastighet kan variere betydelig. En bærbar datamaskin vil være tregere.

Hvilken Whisper-modell bør du velge?

Ta utgangspunkt i tilgjengelig minne og formålet:

  • Testing på en enkel maskin: tiny eller base, rundt 1 GB VRAM. Forvent flere feil.
  • Bare engelsk: bruk en .en-modell. OpenAI sier at disse gjør det bedre, særlig tiny og base.
  • God kvalitet ved rimelig hastighet: turbo, rundt 6 GB. Den er standard på kommandolinjen.
  • Oversettelse av tale til engelsk: medium eller large. Turbo er ikke trent for oversettelse og returnerer originalspråket selv om du ber om oversettelse.
  • Vanskeligst lyd, best mulig resultat: large, rundt 10 GB VRAM.

Whisper-versjoner: kort tidslinje

«Large» har omfattet tre utgivelser, og turbo er en slankere large-v3. Versjonen betyr noe fordi resultatene varierer mellom kontrollpunkter.

Versjon Utgitt Hva ble endret
Opprinnelige modeller (tiny til large) September 2022 Første åpne utgivelse med artikkelen
large-v2 Desember 2022 Samme størrelse, trent 2,5 ganger lenger med ekstra regularisering
large-v3 November 2023 128 Mel-kanaler, nytt kantonesisk token, 10–20 % færre feil enn v2 på mange språk
turbo (large-v3-turbo) September 2024 Dekoderlag redusert fra 32 til 4 for hastighet; ingen oversettelse

Kilder: Whisper-modellkortet, artikkelens fotnote om large-v2 og Hugging Face-kortene for large-v3 og large-v3-turbo.

Hvor mange språk støtter Whisper?

Whisper gjenkjenner omtrent 99 språk. Artikkelens språkdetektor brukte 99 språktoken, og dagens tokenizer lister 100 språkkoder etter at large-v3 la til kantonesisk. Støtte er likevel ikke det samme som kvalitet: Modellkortet sier at Whisper har sterke resultater på rundt 10 språk.

Kvalitet følger treningsdata. Artikkelen fant at antall treningstimer for et språk i stor grad forutsier ytelsen, og de fleste språk hadde under 1 000 timer. Engelsk, spansk eller tysk vil vanligvis bli renere enn språk med lite data. README lenker til et feildiagram per språk.

Ikke bland dette med produkttall. whispertranscribe.ai støtter 130+ språk. Det er produktets språkstøtte (prissiden sier «130+ languages & accents»), ikke en egenskap ved Whisper-modellen med åpen kildekode.

Hvor nøyaktig er Whisper?

Det finnes ikke ett nøyaktighetstall for Whisper: Det avhenger av modellstørrelse, språk og opptak. På ren opplest engelsk fikk large-v2 2,7 % ordfeilrate (WER). Gjennomsnittet over 14 engelske testsett, de fleste vanskeligere, var 12,8 %.

WER er andelen ord et system tar feil av ved å bytte, utelate eller legge til ord, målt mot en menneskelig referansetranskripsjon. Lavere er bedre. Tallene nedenfor er fra tabell 2 i artikkelen, som sammenligner Whisper large-v2 med en wav2vec 2.0-modell trent på lydbokdatasettet LibriSpeech:

Testsett wav2vec 2.0 WER Whisper large-v2 WER
LibriSpeech clean (oppleste lydbøker) 2,7 % 2,7 %
Common Voice (tale tatt opp av frivillige) 29,9 % 9,0 %
CHiME-6 (støyende middagsselskaper) 65,8 % 25,5 %
Gjennomsnitt for alle 14 testsett i tabellen 29,3 % 12,8 %

Mønsteret er poenget. Modellene er like på lydboktesten, men Whisper holder seg bedre på resten og gjør i gjennomsnitt 55,2 % færre feil. OpenAIs kunngjøring avrunder dette til 50 %. I artikkelens støytester slo modeller trent på LibriSpeech Whisper på nesten ren lyd, men falt bak når bakgrunnsstøy som på en pub ble høyere, under 10 dB signal-til-støy-forhold.

Dette er forskningsbenchmarks, ikke et løfte for dine filer; produktpåstander er separate. whispertranscribe.ai når for eksempel opptil 99 % nøyaktighet ved klar lyd, mens støy, overlapp og sterke aksenter reduserer den.

Hva er Whispers begrensninger?

Whispers hovedsvakhet er at den kan skrive flytende tekst ingen sa. OpenAIs modellkort kaller dette hallusinasjon og knytter det til svak supervisjon. Det nevner også repetisjon, ujevn nøyaktighet mellom språk og aksenter samt manglende innebygde taleretiketter.

  1. Hallusinert tekst. I en studie fra 2024, Careless Whisper, fant forskere hele fraser eller setninger som ikke fantes i lyden i omtrent 1 % av de undersøkte transkripsjonene. Dette skjedde oftere ved lange pauser.
  2. Repetisjonssløyfer. Modellen kan gjenta en frase. Beam search og temperature fallback reduserer dette til en viss grad, men ikke helt, ifølge modellkortet.
  3. Manglende første eller siste ord. Artikkelen lister hopping over de første eller siste ordene i et segment som en kjent feil.
  4. Lange opptak trenger vinduer. Whisper ser bare 30 sekunder om gangen. For lengre filer flytter transkripsjonsverktøyet vinduet etter forutsagte tidsstempler, slik at én feil kan påvirke neste vindu.
  5. Ingen taleretiketter. Diarisering, å finne ut hvem som snakket når, ble ikke grundig evaluert ifølge modellkortet. Det krever et separat verktøy.
  6. Ikke sanntid som standard. Modellen ble laget for opptak. Direkteteksting trenger ekstra utvikling rundt den.
  7. Ujevn kvalitet mellom språk og aksenter. Modellkortet nevner høyere feilrater for noen aksenter, dialekter og demografiske grupper.

OpenAI advarer også mot å transkribere personer uten samtykke og mot beslutninger med høy risiko.

Når offisielle kilder ikke er enige

Noen tall varierer mellom OpenAIs egne dokumenter, hovedsakelig på grunn av avrunding eller versjonsendringer. Sjekk dette før du siterer:

Tema Én offisiell kilde sier En annen sier Hva du bør bruke
Feilreduksjon mot LibriSpeech-modeller Artikkel: 55,2 % færre feil i snitt OpenAI-kunngjøring: 50 % færre feil Siter artikkelen og angi sammenligningen
Andre språk enn engelsk i treningsdata Artikkel: 96 andre språk Modellkort: 98 språk «Omtrent 99 språk» for gjenkjenning
Treningstimer for oversettelse Modellkort: 126 000 Artikkel: 125 000 Begge kan brukes som omtrentlige tall
Turbo-parametere README og Hugging Face: 809 M Modellkorttabell: 798 M 809 M, brukt av flest kilder
Treningsdata Original artikkel: 680 000 timer Large-v3-kort: 5 millioner timer Navngi versjonen du mener
Lisens GitHub: MIT for kode og vekter Hugging Face large-v3-metadata: Apache-2.0 Sjekk lisensfilen for kopien du laster ned

Slik bruker du Whisper: kjør selv, kall API eller bruk en app

Det finnes tre praktiske veier. Lokal kjøring er gratis og holder lyden på maskinen. OpenAIs API fjerner oppsettet, men begrenser filstørrelsen. En vertstjeneste legger til redigering, taleretiketter og eksport, men er en tredjepart med egne vilkår.

Kjør åpen Whisper selv OpenAIs transkripsjons-API Vertstjeneste for transkripsjon
Oppsett Python, PyTorch og FFmpeg Kode og API-nøkkel En nettleser
Pris Gratis; din maskinvare Betal per bruk Gratisnivå eller abonnement, varierer
Filgrenser Maskinvaren din 25 MB per fil Fastsettes av hver app
Hvor lyden går Blir på datamaskinen Sendes til OpenAI Sendes til appens servere
Taleretiketter Ikke innebygd Ikke i whisper-1 Avhenger av appen
Redigering og eksport TXT, SRT, VTT, TSV, JSON fra kommandolinjen Returneres til koden din; du bygger resten Vanligvis editor og dokument- og underteksteksport

Kjør Whisper på din egen datamaskin

OpenAIs README gir installasjonskommandoen og et enkelt eksempel:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

Du trenger også FFmpeg, og README sier at koden skal kjøre på Python 3.8 til 3.11. Legg til --language for talespråk eller --task translate med en flerspråklig modell for engelsk. Modellvektene lastes ned første gang. Whisper CLI er ikke installert eller testet her.

Bruk OpenAIs API

OpenAIs guide til tale til tekst begrenser opplasting til 25 MB per fil, så komprimer eller del større filer. Da vi sjekket i november 2026, merket guiden whisper-1 som utfaset med sluttdato 26. februar 2027 og viste til nyere transkripsjonsmodeller. Disse er OpenAI-tal­emodeller, ikke nye utgaver av Whisper-familien med åpen kildekode.

Bruk en vertstjeneste for transkripsjon

Hvis du ikke vil installere noe, behandler en vertstjeneste filer på sine servere. whispertranscribe.ai er ett alternativ, og gratis lyd-til-tekst-konverter er en rask måte å prøve på. Forsiden beskriver whispertranscribe.ai som drevet av Whisper og neste generasjons AI. Produktsidene oppgir:

Avveiningene er reelle. Filen går til en skytjeneste fremfor å bli på datamaskinen. Vi tilbyr ikke API, egendefinert ordliste eller møtebot. Betalte abonnementer starter ved $9.99/måned årlig (priser), og du kan starte gratis uten konto. Se Whisper AI-transkripsjonsverktøyet eller alle funksjoner.

Er Whisper åpen kildekode, og hva tillater lisensen?

Ja. OpenAIs repositorium sier at Whispers kode og modellvekter er utgitt under MIT-lisensen. MIT er en tillatende lisens. Generelt kan du bruke, kopiere, endre og selge programvare bygget på koden så lenge du beholder opphavsretts- og lisensmerknaden.

To forbehold: Kopier på andre nettsteder kan ha andre lisensmetadata; Hugging Faces large-v3-side oppgir Apache-2.0. Les lisensen som følger kopien du bruker. Lisensen dekker dessuten programvaren, ikke opptakene du gir den. Regler om samtykke og personvern gjelder fortsatt for lyden. Dette er generell informasjon, ikke juridisk rådgivning; MIT-lisensteksten er den offisielle kilden.

Hvem passer Whisper for?

Whisper passer utviklere og dem som er komfortable med terminalen og vil ha gratis, privat, ubegrenset transkripsjon. Vil du ha ferdig tekst med editor og eksport, er en vertstjeneste vanligvis raskere.

Du er… Godt valg Hvorfor
Utvikler som bygger et produkt Åpen Whisper eller API Full kontroll over prosessen
Forsker med sensitive intervjuer Åpen Whisper kjørt lokalt Lyden forlater ikke maskinen
Skaper som trenger undertekster denne uken Vertstjeneste med SRT- eller VTT-eksport Intet oppsett; tidskodede filer klare til opplasting
Person med bærbar uten GPU En liten modell lokalt eller en vertstjeneste Store modeller trenger omtrent 10 GB VRAM

Før du stoler på en Whisper-transkripsjon: sjekkliste

Vi laget listen ut fra feiltypene i OpenAIs artikkel og modellkort:

  • Sjekk pauser og stille partier for setninger ingen sa.
  • Se etter samme frase gjentatt flere ganger på rad.
  • Kontroller første og siste linje mot lyden.
  • Kontroller navn, tall og faguttrykk.
  • Bekreft at språket ble riktig oppdaget, eller angi det manuelt.
  • Ved oversettelse, pass på at du ikke brukte turbo.
  • Legg til taleretiketter med et separat verktøy ved behov.
  • Innhent nødvendige samtykker og arrangørens tillatelse før opptak eller transkripsjon av andre.

Ofte stilte spørsmål

Er Whisper AI gratis?

Ja, OpenAI Whisper er gratis å laste ned og kjøre. OpenAI lisensierer kode og vekter under MIT, så du kan bruke dem uten å betale OpenAI. Du stiller med datamaskinen, og large-modellen trenger omtrent 10 GB GPU-minne. Vertsalternativer koster penger: OpenAIs API tar betalt per bruk, og apper bestemmer egne abonnementer. Gratis betyr heller ikke enkelt; du trenger Python, FFmpeg og kjennskap til kommandolinjen.

Kan Whisper identifisere ulike talere?

Nei, ikke alene. Whisper skriver hva som ble sagt, men merker ikke hvem som sa det. OpenAIs modellkort sier at funksjoner som talerdiarisering ikke ble grundig evaluert. For etiketter kombinerer folk vanligvis Whisper med et separat diariseringsverktøy eller bruker en transkripsjonsapp med talergjenkjenning. whispertranscribe.ai har for eksempel en valgfri talergjenkjenning før transkripsjon. Kontroller alltid etiketter når stemmene ligner.

Kan Whisper transkribere i sanntid?

Ikke uten tilpasning. Whisper ble laget for innspilt lyd og behandler 30-sekunders vinduer; OpenAIs modellkort sier at sanntidstranskripsjon krever ekstra arbeid. Utviklere har laget verktøy for nær sanntid ved å mate inn korte biter etter hvert. Trenger du direkteteksting, se etter et verktøy med egen direkt modus og forvent mer etterarbeid enn for et ferdig opptak.

Hvor mange språk støtter Whisper?

Whisper gjenkjenner omtrent 99 språk, og dagens tokenizer lister 100 språkkoder etter at kantonesisk ble lagt til i large-v3. Kvaliteten varierer mye. OpenAIs modellkort rapporterer sterke resultater på omtrent 10 språk, og artikkelen fant at de fleste språk hadde under 1 000 timer treningslyd. Test et kort klipp før du stoler på et mindre vanlig språk. Produkttall som whispertranscribe.ai sine 130+ språk beskriver hvert produkts støtte, ikke den åpne modellen.

Er whispertranscribe.ai det samme som OpenAI Whisper?

Nei. OpenAI Whisper er en åpen modell du laster ned og kjører selv. whispertranscribe.ai er en separat nettbasert transkripsjonstjeneste; forsiden beskriver den som drevet av Whisper og neste generasjons AI. Den legger til ting råmodellen ikke har, som opplasting på opptil 5 GB, lenkeimport fra YouTube eller Google Drive, talergjenkjenning og eksport til DOCX, PDF, SRT og VTT. Andre apper med «Whisper» i navnet er separate produkter fra separate selskaper.

Hvorfor skriver Whisper noen ganger ord ingen sa?

Fordi den forutsier tekst slik en språkmodell gjør. OpenAIs modellkort sier at trening på store, støyende nettdata fører til at modellen noen ganger lager ord som ikke finnes i lyden. OpenAIs forklaring er at den blander prediksjon av neste sannsynlige ord med transkripsjon av det den hører. En studie fra 2024 fant oppdiktede fraser i omtrent 1 % av transkripsjonene den undersøkte, oftere rundt lange pauser. Kontroller pauser, stille partier og viktig innhold mot lyden.


Vil du ha en Whisper-transkripsjon uten oppsett? Last opp en fil eller lim inn en lenke i whispertranscribe.ai og få tekst på 130+ språk med eksport til DOCX, PDF, SRT og VTT.

Referanser

Vil du gjøre opptakene dine om til tekst?

Transkriber lyd og video med whispertranscribe.ai.

Start transkribering ↗