Hvad er Whisper AI? Sådan virker OpenAI's talegenkendelsesmodel

Af whispertranscribe.ai's redaktion · Senest opdateret: november 2026 · 13 minutters læsning

Hvad er Whisper AI? I de fleste søgninger betyder det OpenAI Whisper, en open source-talegenkendelsesmodel, som OpenAI offentliggjorde i september 2022. Den omdanner optaget tale til tekst, identificerer det talte sprog og kan oversætte andre sprog til engelsk. OpenAI trænede den på 680.000 timers lyd fra internettet og udgav kode og modelvægte under MIT-licensen.

En kort oplysning: Vi står bag whispertranscribe.ai. whispertranscribe.ai er et webbaseret AI-transskriptionsværktøj, der omdanner lyd og video til tekst på over 130 sprog. Denne guide skelner klart mellem modellen og produkterne bygget omkring den, og alle tal om modellen kommer fra OpenAI's egen forskningsartikel, repository eller modelkort.

Kort svar: Hvad er Whisper AI?

Whisper er en tale-til-tekst-model, ikke en app eller virksomhed. Du kan downloade den fra OpenAI's GitHub-repository og køre den på din egen computer eller bruge en tjeneste, der kører den for dig.

  • Udviklet af: OpenAI. Forskningsartiklen Robust Speech Recognition via Large-Scale Weak Supervision blev offentliggjort på arXiv den 6. december 2022.
  • Hvad den gør: transskriberer tale, registrerer sprog, oversætter tale til engelsk og tilføjer tidsstempler for segmenter.
  • Hvad den ikke gør direkte: mærker, hvem der taler, eller transskriberer direkte. OpenAI's modelkort siger, at den ikke kan bruges til realtidstransskription uden tilpasning.
  • Størrelser: seks, fra tiny (39 millioner parametre) til large (1.550 millioner).
  • Pris: gratis at downloade og køre. Du stiller selv hardware til rådighed.

"Whisper AI" kan betyde tre forskellige ting

Navnet bruges løst, og de tre betydninger er lette at forveksle.

Hvad folk kalder "Whisper AI" Hvad det er Hvem laver det Sådan bruger du det
OpenAI Whisper En open source-talegenkendelsesmodel OpenAI Download kode og modelvægte, og kør dem selv
whisper-1 OpenAI's hostede API-model til transskription OpenAI Send lydfiler til OpenAI's API og betal efter forbrug
Apps med "Whisper" i navnet Transskriptionsprodukter som whisperai.com og whispertranscribe.ai (dette websted) Separate virksomheder Upload eller optag lyd i deres apps

Produkterne i tredje række er ikke selve modellen og kan ikke bruges i flæng. Hver virksomhed fastsætter egne funktioner, begrænsninger, priser og privatlivsvilkår. I denne artikel betyder "Whisper" OpenAI's model.

Hvordan virker Whisper?

Whisper er en encoder-decoder Transformer. Encoderen omdanner 30 sekunders lyd til en numerisk repræsentation, og decoderen skriver den tilsvarende tekst ét token ad gangen, styret af særlige tokens, der angiver opgaven.

Whisper-artiklen beskriver denne proces:

  1. Omsampling. Lyden konverteres til 16.000 Hz.
  2. Opdeling i vinduer på 30 sekunder. Modellen ser altid 30 sekunder ad gangen. Kortere klip udfyldes.
  3. Lav et spektrogram. Hvert vindue bliver til et log-Mel-spektrogram med 80 kanaler, et billede af lydenergiens ændring på tværs af frekvenser, beregnet på rammer på 25 millisekunder for hver 10 millisekunder. (Large-v3 skiftede til 128 kanaler.)
  4. Kodning. To konvolutionslag og en stak Transformer-blokke behandler spektrogrammet.
  5. Afkodning. Decoderen forudsiger først sproget eller et "ingen tale"-token. Derefter følger opgaven (transskriber eller oversæt), om tidsstempler skal med og til sidst selve teksten.

Tidsstempler forudsiges også som tokens og afrundes til nærmeste 20 millisekunder. Sådan håndterer én model sproggenkendelse, transskription, oversættelse og timing.

Hvad blev Whisper trænet på?

De oprindelige modeller lærte af 680.000 timers internetlyd med tilhørende transskriptioner. OpenAI kalder det "weak supervision", fordi transskriptionerne ikke blev kontrolleret manuelt som benchmarkdatasæt.

Andel af træningslyden Timer Indhold
Ca. 65 % 438.000 Engelsk lyd med engelske transskriptioner
Ca. 18 % 126.000 Ikke-engelsk lyd med engelske transskriptioner (oversættelsesdata)
Ca. 17 % 117.000 Ikke-engelsk lyd med transskriptioner på samme sprog

Kilde: OpenAI's Whisper-modelkort. Artiklen afrunder oversættelsesandelen til 125.000 timer.

To detaljer forklarer meget af Whispers adfærd. OpenAI filtrerede transskriptioner, der lignede maskingenereret tekst, eksempelvis tekst udelukkende med store bogstaver, så modellen lærte at skrive sætninger med tegnsætning. Tidlige modeller havde desuden tendens til at gætte talernavne, fordi mange webtransskriptioner indeholdt dem. OpenAI finjusterede vanen væk, men det viser, hvor tæt modellen afspejler sin træningstekst.

Large-v3 blev trænet anderledes på cirka 5 millioner timer: 1 million med svage webetiketter og 4 millioner mærket af large-v2 ifølge dens Hugging Face-modelkort.

Sammenligning af Whisper-modelstørrelser

Whisper findes i seks størrelser. Mindre modeller kører hurtigere på beskeden hardware; større modeller laver færre fejl, men kræver mere videohukommelse (VRAM). Tallene nedenfor kommer fra OpenAI's README.

Størrelse Parametre Kun engelsk Flersproget version Påkrævet VRAM Hastighed i forhold til large
tiny 39 M tiny.en tiny ~1 GB ~10x
base 74 M base.en base ~1 GB ~7x
small 244 M small.en small ~2 GB ~4x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M Ingen large ~10 GB 1x
turbo 809 M Ingen turbo ~6 GB ~8x

OpenAI målte hastighederne på engelsk tale med en A100-datacenter-GPU og siger, at hastigheden i praksis kan variere betydeligt. En bærbar computer vil være langsommere.

Hvilken Whisper-model bør du vælge?

Tag udgangspunkt i den tilgængelige hukommelse og dit formål:

  • Test på en enkel computer: tiny eller base, omkring 1 GB VRAM. Forvent flere fejl.
  • Kun engelsk: Brug en .en-model. OpenAI siger, at disse klarer sig bedre, især tiny og base.
  • God kvalitet ved rimelig hastighed: turbo, omkring 6 GB. Det er standardvalget på kommandolinjen.
  • Oversættelse af tale til engelsk: medium eller large. Turbo er ikke trænet til oversættelse og returnerer originalsproget, selv hvis du beder om oversættelse.
  • Den sværeste lyd og bedst mulige resultat: large, omkring 10 GB VRAM.

Whisper-versioner: en kort tidslinje

"Large" har dækket tre udgivelser, og turbo er en slankere large-v3. Versionen betyder noget, fordi resultaterne varierer mellem modelversionerne.

Version Udgivet Hvad ændrede sig
Oprindelige modeller (tiny til large) September 2022 Første open source-udgivelse med artiklen
large-v2 December 2022 Samme størrelse, trænet 2,5 gange længere med ekstra regularisering
large-v3 November 2023 128 Mel-kanaler, et nyt kantonesisk token, 10 % til 20 % færre fejl end v2 på mange sprog
turbo (large-v3-turbo) September 2024 Decoderlag reduceret fra 32 til 4 for hastighed; ingen oversættelse

Kilder: Whisper-modelkortet, artiklens fodnote om large-v2 samt Hugging Face-kortene for large-v3 og large-v3-turbo.

Hvor mange sprog understøtter Whisper?

Whisper genkender omkring 99 sprog. Artiklens sprogdetektor brugte 99 sprogtokens, og den aktuelle tokenizer viser 100 sprogkoder efter tilføjelsen af kantonesisk i large-v3. Understøttelse er dog ikke det samme som kvalitet: Modelkortet siger, at Whisper viser stærke resultater på omkring 10 sprog.

Kvaliteten følger træningsdataene. Artiklen fandt, at præstationen på et sprog i høj grad kan forudsiges ud fra antallet af træningstimer, og at de fleste sprog havde under 1.000 timer. Engelsk, spansk eller tysk giver normalt et renere resultat end et sprog med få ressourcer. README'en linker til en oversigt over fejl pr. sprog, hvis du vil kontrollere dit.

Forveksl ikke dette med produkttal. whispertranscribe.ai understøtter over 130 sprog. Det tal beskriver vores produkts sprogunderstøttelse (prissiden siger "130+ languages & accents"), ikke en egenskab ved open source-modellen Whisper.

Hvor nøjagtig er Whisper?

Der findes ikke ét nøjagtighedstal for Whisper, fordi resultatet afhænger af modelstørrelse, sprog og optagelse. På ren oplæst engelsk fik large-v2 en ordfejlrate (WER) på 2,7 %. Gennemsnittet over 14 engelske testsæt, de fleste vanskeligere, var 12,8 %.

WER er andelen af ord, et system får forkert ved at erstatte, udelade eller tilføje ord, målt mod en menneskelig referencetransskription. Lavere er bedre. Tallene nedenfor kommer fra artikelens tabel 2 og sammenligner Whisper large-v2 med en wav2vec 2.0-model trænet på lydbogsdatasættet LibriSpeech:

Testsæt wav2vec 2.0 WER Whisper large-v2 WER
LibriSpeech clean (oplæste lydbøger) 2,7 % 2,7 %
Common Voice (tale optaget af frivillige) 29,9 % 9,0 %
CHiME-6 (støjende middagsselskaber) 65,8 % 25,5 %
Gennemsnit for alle 14 testsæt i tabellen 29,3 % 12,8 %

Mønstret er det væsentlige. Modellerne er lige på lydbogstesten, men Whisper klarer sig langt bedre på resten med 55,2 % færre fejl i gennemsnit. OpenAI's offentliggørelse afrunder dette til 50 % færre fejl. I artiklens støjtests slog modeller trænet på LibriSpeech Whisper ved næsten ren lyd, men faldt bagud, når baggrundsstøj som på en pub blev høj, under et signal-støj-forhold på 10 dB.

Dette er forskningsbenchmark, ikke et løfte for dine filer, og produktpåstande er separate. whispertranscribe.ai når eksempelvis op til 99 % nøjagtighed ved klar lyd, mens baggrundsstøj, overlappende tale og stærke accenter reducerer resultatet.

Hvilke begrænsninger har Whisper?

Whispers største svaghed er, at den kan skrive flydende tekst, ingen har sagt. OpenAI's modelkort kalder det hallucination og forbinder det med den svagt superviserede træning. Det nævner også gentagelser, ujævn nøjagtighed på tværs af sprog og accenter og manglende indbyggede taleretiketter.

  1. Hallucineret tekst. I undersøgelsen Careless Whisper fra 2024 fandt forskere, at cirka 1 % af de kontrollerede transskriptioner indeholdt hele sætninger eller vendinger, der ikke fandtes i lyden. Hallucinationer opstod oftere ved lange talepauser.
  2. Gentagelsesløkker. Modellen kan gentage en vending igen og igen. Beam search og temperature fallback reducerer ifølge modelkortet problemet til en vis grad, men ikke fuldstændigt.
  3. Manglende første eller sidste ord. Artiklen nævner udeladelse af de første eller sidste ord i et segment som en kendt fejltype.
  4. Lange optagelser kræver vinduer. Whisper ser kun 30 sekunder ad gangen. Ved længere filer flytter transskriptionsværktøjet vinduet ved hjælp af forudsagte tidsstempler, så en fejl i ét vindue kan påvirke det næste.
  5. Ingen taleretiketter. Taleropdeling, altså hvem der talte hvornår, blev ifølge modelkortet ikke grundigt evalueret. Du behøver et separat værktøj.
  6. Ikke i realtid som standard. Den blev bygget til optagne filer. Direkte undertekster kræver ekstra udvikling.
  7. Ujævn efter sprog og accent. Modelkortet bemærker højere fejlrater for visse accenter, dialekter og demografiske grupper.

OpenAI advarer også mod at transskribere personer uden deres samtykke og mod brug til beslutninger med høj risiko.

Hvor officielle kilder er uenige

Nogle tal afviger mellem OpenAI's egne dokumenter, mest på grund af afrunding eller versionsændringer. Kontrollér dette, før du citerer et tal:

Emne Én officiel kilde siger En anden siger Hvad du bør bruge
Fejlreduktion versus LibriSpeech-modeller Artiklen: 55,2 % færre fejl i gennemsnit OpenAI's offentliggørelse: 50 % færre fejl Citér artiklen og navngiv sammenligningen
Andre sprog end engelsk i træningsdata Artiklen: 96 andre sprog Modelkortet: 98 sprog "Omkring 99 sprog" til genkendelse
Træningstimer til oversættelse Modelkortet: 126.000 Artiklen: 125.000 Begge kan bruges som omtrentlige tal
Antal parametre i turbo README og Hugging Face: 809 M Modelkortets tabel: 798 M 809 M, tallet de fleste kilder bruger
Træningsdataenes størrelse Oprindelig artikel: 680.000 timer Large-v3-kortet: 5 millioner timer Angiv den relevante version
Licens GitHub: MIT for kode og vægte Hugging Face large-v3-metadata: Apache-2.0 Kontrollér licensfilen i den kopi, du downloader

Sådan bruger du Whisper: kør selv, kald et API eller brug en app

Du har tre praktiske muligheder. At køre Whisper selv er gratis og holder lyden på din computer. OpenAI's API fjerner opsætningen, men begrænser filstørrelsen. En hostet transskriptionsapp tilføjer redigering, taleretiketter og eksport, men er en tredjepartstjeneste med egne vilkår.

Kør open source-Whisper OpenAI-transskriptions-API Hostet transskriptionsapp
Opsætning Python, PyTorch og FFmpeg Kode og en API-nøgle En browser
Pris Gratis; din hardware Betaling efter forbrug Gratisniveau eller abonnement, varierer efter app
Filgrænser Din hardware 25 MB pr. fil Fastsættes af hver app
Hvor lyden går hen Bliver på din computer Sendes til OpenAI Sendes til appens servere
Taleretiketter Ikke indbygget Ikke i whisper-1 Afhænger af appen
Redigering og eksport TXT, SRT, VTT, TSV, JSON fra kommandolinjen Returneres til din kode; du bygger resten Normalt en editor samt dokument- og underteksteksport

Kør Whisper på din egen computer

OpenAI's README giver installationskommandoen og en grundlæggende kørsel:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

Du skal også installere FFmpeg, og README'en siger, at koden bør køre på Python 3.8 til 3.11. Tilføj --language for at angive det talte sprog eller --task translate med en flersproget model for at få engelsk. Modelvægtene downloades første gang.

Brug OpenAI's API

OpenAI's guide til tale til tekst begrænser uploads til 25 MB pr. fil, så komprimér eller opdel større filer. Ved kontrollen i november 2026 markerede guiden whisper-1 som udfaset med lukningsdato 26. februar 2027 og henviste udviklere til nyere transskriptionsmodeller. De nyere modeller er OpenAI-talmodeller, ikke nye udgaver af open source-Whisper-familien.

Brug en hostet transskriptionsapp

Hvis du helst ikke vil installere noget, behandler en hostet app filerne på sine servere. whispertranscribe.ai er én mulighed, og dens gratis lyd-til-tekst-konverter er en hurtig måde at prøve det på. Vores forside beskriver whispertranscribe.ai som drevet af Whisper og næste generations AI. Her er funktionerne fra vores produktsider:

Der er reelle afvejninger. Din fil sendes til en cloudtjeneste frem for at blive på computeren. Vi tilbyder ikke API, brugerdefineret ordforråd eller mødebot. Betalte abonnementer starter fra $9.99/måned ved årlig betaling (priser), og du kan starte gratis uden konto. Se siden om Whisper AI-transskriptionsværktøjet eller alle funktioner for detaljer.

Er Whisper open source, og hvad tillader licensen?

Ja. OpenAI's repository angiver, at Whispers kode og modelvægte er udgivet under MIT-licensen. MIT er en tilladende licens. Generelt må du bruge, kopiere, ændre og sælge software baseret på koden, så længe du bevarer ophavsrets- og licensmeddelelsen.

To forbehold. Kopier på andre websteder kan have andre licensmetadata; Hugging Faces large-v3-side angiver Apache-2.0. Læs licensen, der følger med den kopi, du bruger. En licens dækker softwaren, ikke de optagelser, du giver den. Samtykke- og privatlivsregler gælder stadig for lyden. Dette er generel information, ikke juridisk rådgivning; MIT-licensteksten er den officielle kilde.

Hvem er Whisper til?

Whisper passer til udviklere og andre, der er trygge ved en terminal og ønsker gratis, privat og ubegrænset transskription. Vil du have en færdig transskription med editor og eksport, er en hostet app normalt hurtigere.

Du er… Godt valg Hvorfor
Udvikler, der bygger et produkt Open source-Whisper eller et API Fuld kontrol over processen
Forsker med følsomme interviews Open source-Whisper kørt lokalt Lyden forlader ikke din computer
Kreatør, der behøver undertekster i denne uge En hostet app med SRT- eller VTT-eksport Ingen opsætning; tidskodede filer klar til upload
Bruger med en bærbar computer uden GPU En lille model lokalt eller en hostet app Store modeller kræver cirka 10 GB VRAM

Før du stoler på en Whisper-transskription: tjekliste

Vi har bygget tjeklisten på fejltyperne i OpenAI's artikel og modelkort:

  • Kontrollér pauser og stille passager for sætninger, ingen sagde.
  • Se efter samme vending gentaget flere gange i træk.
  • Kontrollér filens første og sidste linjer mod lyden.
  • Kontrollér navne, tal og tekniske termer.
  • Bekræft, at sproget blev registreret korrekt, eller vælg det manuelt.
  • Ved oversættelse skal du sikre, at du ikke brugte turbo.
  • Tilføj taleretiketter med et separat værktøj, hvis du behøver dem.
  • Indhent nødvendigt samtykke og værtens tilladelse før optagelse, og samtykke før transskription af andre.

Ofte stillede spørgsmål

Er Whisper AI gratis?

Ja, OpenAI Whisper er gratis at downloade og køre. OpenAI licenserer kode og modelvægte under MIT, så du kan bruge dem uden at betale OpenAI. Du stiller selv computeren til rådighed, og large-modellen kræver omkring 10 GB GPU-hukommelse. Hostede muligheder koster penge: OpenAI's API opkræver efter forbrug, og transskriptionsapps fastsætter egne abonnementer. "Gratis" betyder heller ikke nemt; du behøver Python, FFmpeg og kendskab til kommandolinjen.

Kan Whisper identificere forskellige talere?

Nej, ikke alene. Whisper skriver, hvad der blev sagt, men mærker ikke, hvem der sagde det. OpenAI's modelkort siger, at funktioner som taleropdeling ikke blev grundigt evalueret. For at få etiketter kombinerer man normalt Whisper med et separat taleropdelingsværktøj eller bruger en transskriptionsapp med talergenkendelse. whispertranscribe.ai har eksempelvis en funktion til talergenkendelse, du kan slå til før transskription. Kontrollér altid etiketterne i optagelser med enslydende stemmer.

Kan Whisper transskribere i realtid?

Ikke uden tilpasning. Whisper er designet til optaget lyd og behandler den i vinduer på 30 sekunder, og OpenAI's modelkort siger, at den ikke kan bruges til realtidstransskription uden ekstra arbejde. Udviklere har bygget værktøjer omkring den, der fungerer næsten i realtid ved at sende korte bidder ind løbende. Hvis du behøver direkte undertekster, bør du finde et værktøj med en særlig direkte tilstand og forvente, at resultatet kræver mere rettelse end en transskription fra en færdig optagelse.

Hvor mange sprog understøtter Whisper?

Whisper genkender omkring 99 sprog, og den aktuelle tokenizer viser 100 sprogkoder, efter at kantonesisk blev tilføjet i large-v3. Kvaliteten varierer meget. OpenAI's modelkort rapporterer stærke resultater på omkring 10 sprog, og artiklen fandt, at de fleste sprog havde under 1.000 timers træningslyd. Test et kort klip, før du stoler på et mindre udbredt sprog. Produkttal som whispertranscribe.ai's over 130 sprog beskriver produktets egen understøttelse, ikke open source-modellen.

Er whispertranscribe.ai det samme som OpenAI Whisper?

Nej. OpenAI Whisper er en open source-model, som du downloader og kører selv. whispertranscribe.ai er en separat browserbaseret transskriptionstjeneste; forsiden beskriver den som drevet af Whisper og næste generations AI. Den tilføjer ting, som den rå model ikke indeholder, såsom upload på op til 5 GB, linkimport fra YouTube eller Google Drive, talergenkendelse og eksport til DOCX, PDF, SRT og VTT. Andre apps med "Whisper" i navnet er separate produkter fra separate virksomheder.

Hvorfor skriver Whisper nogle gange ord, ingen sagde?

Fordi den forudsiger tekst som en sprogmodel. OpenAI's modelkort siger, at træning på store mængder støjende webdata får modellen til undertiden at producere ord, der ikke findes i lyden. OpenAI forklarer, at den blander forudsigelse af næste sandsynlige ord med transskription af det, den hører. En undersøgelse fra 2024 fandt hele opdigtede vendinger i cirka 1 % af de kontrollerede transskriptioner, oftere omkring lange pauser. Kontrollér pauser, stille passager og alt vigtigt mod lyden.


Vil du have en Whisper-transskription uden opsætning? Upload en fil, eller indsæt et link i whispertranscribe.ai, og få tekst på over 130 sprog med eksport til DOCX, PDF, SRT og VTT.

Referencer

Vil du lave dine optagelser om til tekst?

Transskriber lyd og video med whispertranscribe.ai.

Start transskription ↗