Vad är Whisper AI? Så fungerar OpenAI:s taligenkänningsmodell

Av whispertranscribe.ai-redaktionen · Senast uppdaterad: november 2026 · 13 minuters läsning

Vad är Whisper AI? Oftast avses OpenAI Whisper, en taligenkänningsmodell med öppen källkod som OpenAI publicerade i september 2022. Den omvandlar inspelat tal till text, identifierar språket och kan översätta andra språk till engelska. OpenAI tränade modellen på 680 000 timmar webbljud och släppte kod och modellvikter under MIT-licensen.

Öppenhet: vi står bakom whispertranscribe.ai. whispertranscribe.ai är ett webbaserat AI-transkriberingsverktyg som omvandlar ljud och video till text på över 130 språk. Guiden skiljer tydligt mellan modellen och produkter som byggts runt den; alla modellsiffror kommer från OpenAI:s egen artikel, kodförråd eller modellkort.

Snabbt svar: vad är Whisper AI?

Whisper är en tal-till-textmodell, inte en app eller ett företag. Du kan ladda ner den från OpenAI:s GitHub-förråd och köra den på din dator, eller använda en tjänst som kör den åt dig.

  • Skapare: OpenAI. Forskningsartikeln Robust Speech Recognition via Large-Scale Weak Supervision publicerades på arXiv den 6 december 2022.
  • Funktion: transkriberar tal, identifierar språk, översätter tal till engelska och lägger till tidsstämplar för segment.
  • Inte inbyggt: talaretiketter eller direkttranskribering. OpenAI:s modellkort säger att direkttranskribering kräver ytterligare arbete.
  • Storlekar: sex, från tiny (39 miljoner parametrar) till large (1 550 miljoner).
  • Kostnad: gratis att ladda ner och köra. Du står för hårdvaran.

”Whisper AI” kan betyda tre olika saker

Namnet används löst och de tre betydelserna är lätta att blanda ihop.

Vad som kallas ”Whisper AI” Vad det är Skapare Hur det används
OpenAI Whisper En taligenkänningsmodell med öppen källkod OpenAI Ladda ner kod och vikter och kör själv
whisper-1 OpenAI:s värdbaserade API-modell för transkribering OpenAI Skicka ljudfiler till OpenAI:s API och betala per användning
Appar med ”Whisper” i namnet Transkriberingsprodukter, exempelvis whisperai.com och whispertranscribe.ai (denna webbplats) Separata företag Ladda upp eller spela in ljud i deras appar

Produkterna i tredje raden är varken själva modellen eller utbytbara. Varje företag bestämmer egna funktioner, begränsningar, priser och integritetsvillkor. Här betyder ”Whisper” OpenAI:s modell.

Hur fungerar Whisper?

Whisper är en Transformer med kodare och avkodare. Kodaren omvandlar 30 sekunders ljud till en numerisk representation och avkodaren skriver motsvarande text en token i taget, styrd av specialtoken som anger uppgiften.

Whisper-artikeln beskriver processen:

  1. Ändra samplingsfrekvens. Ljudet omvandlas till 16 000 Hz.
  2. Dela i 30-sekundersfönster. Modellen tittar alltid på 30 sekunder åt gången. Kortare klipp fylls ut.
  3. Skapa ett spektrogram. Varje fönster blir ett log-Mel-spektrogram med 80 kanaler, en bild av ljudenergins förändring mellan frekvenser, beräknad på ramar om 25 millisekunder var 10:e millisekund. (Large-v3 bytte till 128 kanaler.)
  4. Koda. Två faltningslager och en stack Transformer-block behandlar spektrogrammet.
  5. Avkoda. Avkodaren förutsäger först språk eller en ”inget tal”-token. Därefter följer uppgiften (transkribera eller översätta), om tidsstämplar ska ingå och slutligen själva texten.

Även tidsstämplar förutsägs som token, avrundade till närmaste 20 millisekunder. Så hanterar en modell språkidentifiering, transkribering, översättning och tidsangivelser.

Vad tränades Whisper på?

Ursprungsmodellerna lärde sig från 680 000 timmar internetljud med tillhörande transkript. OpenAI kallar det ”svag övervakning” eftersom transkripten inte kontrollerades manuellt som benchmarkdata.

Andel träningsljud Timmar Innehåll
Cirka 65 % 438 000 Engelskt ljud med engelska transkript
Cirka 18 % 126 000 Icke-engelskt ljud med engelska transkript (översättningsdata)
Cirka 17 % 117 000 Icke-engelskt ljud med transkript på samma språk

Källa: OpenAI:s Whisper-modellkort. Artikeln avrundar översättningsandelen till 125 000 timmar.

Två detaljer förklarar mycket av modellens beteende. OpenAI filtrerade bort transkript som såg maskinskapade ut, exempelvis text enbart med versaler, så modellen lärde sig skriva meningar med skiljetecken. Tidiga modeller gissade också ofta talarnas namn eftersom många webbtranskript innehöll dem. OpenAI finjusterade bort vanan, men den visar hur nära modellen speglar träningsmaterialet.

Large-v3 tränades annorlunda, på cirka 5 miljoner timmar: 1 miljon med svaga webbetiketter och 4 miljoner märkta av large-v2, enligt dess modellkort på Hugging Face.

Jämförelse av Whisper-modellstorlekar

Whisper finns i sex storlekar. Mindre modeller körs snabbare på enklare hårdvara; större gör färre fel men behöver mer videominne (VRAM). Siffrorna kommer från OpenAI:s README.

Storlek Parametrar Endast engelska Flerspråkig version Krävt VRAM Hastighet jämfört med large
tiny 39 M tiny.en tiny ~1 GB ~10x
base 74 M base.en base ~1 GB ~7x
small 244 M small.en small ~2 GB ~4x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M Ingen large ~10 GB 1x
turbo 809 M Ingen turbo ~6 GB ~8x

OpenAI mätte hastigheterna på engelskt tal med en A100-GPU för datacenter och säger att faktisk hastighet kan variera kraftigt. En bärbar dator är långsammare.

Vilken Whisper-modell ska du välja?

Utgå från tillgängligt minne och vad transkriptet ska användas till:

  • Test på en enkel dator: tiny eller base, cirka 1 GB VRAM. Räkna med fler fel.
  • Endast engelska: använd en .en-modell. OpenAI säger att dessa är bättre, särskilt tiny och base.
  • God kvalitet med rimlig hastighet: turbo, cirka 6 GB. Den är standard i kommandoraden.
  • Översättning av tal till engelska: medium eller large. Turbo är inte tränad för översättning och returnerar originalspråket även om du begär översättning.
  • Svårast ljud, bästa möjliga resultat: large, cirka 10 GB VRAM.

Whisper-versioner: en kort tidslinje

”Large” har omfattat tre versioner och turbo är en nedbantad large-v3. Versionen spelar roll eftersom resultaten skiljer mellan modellversioner.

Version Publicerad Vad ändrades
Ursprungliga modeller (tiny till large) September 2022 Första versionen med öppen källkod och artikeln
large-v2 December 2022 Samma storlek, tränad 2,5 gånger längre med extra regularisering
large-v3 November 2023 128 Mel-kanaler, ny token för kantonesiska, 10–20 % färre fel än v2 över många språk
turbo (large-v3-turbo) September 2024 Avkodarlager minskade från 32 till 4 för hastighet; ingen översättning

Källor: Whisper-modellkortet, artikelns fotnot om large-v2 och Hugging Face-korten för large-v3 och large-v3-turbo.

Hur många språk stöder Whisper?

Whisper känner igen omkring 99 språk. Artikelns språkidentifierare använde 99 språktoken och dagens tokenizer listar 100 språkkoder efter att large-v3 lade till kantonesiska. Stöd är dock inte samma sak som kvalitet: modellkortet säger att Whisper ger starka resultat på ungefär 10 språk.

Kvaliteten följer träningsdata. Artikeln fann att antalet timmar på ett språk förutsäger prestandan mycket väl och att de flesta språk hade färre än 1 000 timmar. Engelska, spanska och tyska blir vanligen renare än språk med lite data. README länkar ett diagram över fel per språk.

Blanda inte ihop detta med produkters antal. whispertranscribe.ai stöder fler än 130 språk. Det är produktens språkstöd (prissidan säger ”130+ languages & accents”), inte en egenskap hos Whisper-modellen med öppen källkod.

Hur exakt är Whisper?

Det finns ingen enskild noggrannhetssiffra för Whisper eftersom resultatet beror på modellstorlek, språk och inspelning. På ren uppläst engelska fick large-v2 en ordfelgrad (WER) på 2,7 %. Genomsnittet över 14 engelska testuppsättningar, de flesta svårare, var 12,8 %.

WER är andelen felaktiga ord, inklusive utbytta, utelämnade och tillagda ord, jämfört med ett mänskligt referenstranskript. Lägre är bättre. Siffrorna kommer från artikelns tabell 2, där Whisper large-v2 jämförs med en wav2vec 2.0-modell tränad på ljudboksdatamängden LibriSpeech:

Testuppsättning wav2vec 2.0 WER Whisper large-v2 WER
LibriSpeech clean (upplästa ljudböcker) 2,7 % 2,7 %
Common Voice (inspelat av frivilliga) 29,9 % 9,0 %
CHiME-6 (bullriga middagsinspelningar) 65,8 % 25,5 %
Genomsnitt över tabellens 14 testuppsättningar 29,3 % 12,8 %

Mönstret är poängen. Modellerna är lika på ljudbokstestet, men Whisper klarar resten betydligt bättre och gör i genomsnitt 55,2 % färre fel. OpenAI:s presentation avrundar till ”50 % färre fel”. I artikelns brustester slog LibriSpeech-tränade modeller Whisper på nästan rent ljud men hamnade efter när pub-liknande bakgrundsbrus blev högt, under 10 dB signal-brusförhållande.

Detta är forskningsbenchmark, inte löften för dina filer, och produktpåståenden är separata. whispertranscribe.ai når exempelvis upp till 99 % noggrannhet vid tydligt ljud; bakgrundsbrus, överlapp och starka accenter sänker den.

Vilka begränsningar har Whisper?

Whispers främsta svaghet är att den kan skriva flytande text som ingen sagt. OpenAI:s modellkort kallar detta hallucination och kopplar det till den svagt övervakade träningen. Kortet nämner även upprepning, ojämn noggrannhet mellan språk och accenter och avsaknad av inbyggda talaretiketter.

  1. Hittad text. I studien Careless Whisper från 2024 fann forskare att ungefär 1 % av granskade transkript innehöll hela fraser eller meningar som saknades i ljudet. Hallucinationer förekom oftare vid långa pauser.
  2. Upprepningsloopar. Modellen kan fastna i en fras. Beam search och temperaturåterfall minskar problemet i viss mån enligt modellkortet, men inte helt.
  3. Saknade första eller sista ord. Artikeln nämner att de första eller sista orden i ett segment kan hoppas över.
  4. Långa inspelningar behöver fönster. Whisper ser bara 30 sekunder åt gången. För längre filer flyttas fönstret med förutsagda tidsstämplar, så ett fel kan påverka nästa fönster.
  5. Inga talaretiketter. Talaruppdelning, att avgöra vem som talade när, utvärderades inte tillräckligt enligt modellkortet. Ett separat verktyg behövs.
  6. Inte realtid som standard. Modellen byggdes för inspelade filer. Direkttextning kräver extra teknik runt den.
  7. Ojämnt mellan språk och accenter. Modellkortet noterar högre felfrekvens för vissa accenter, dialekter och demografiska grupper.

OpenAI varnar också för att transkribera människor utan deras samtycke och för användning i högriskbeslut. Få nödvändigt samtycke före inspelning och transkribering.

När officiella källor skiljer sig åt

Vissa siffror skiljer sig mellan OpenAI:s egna dokument, främst på grund av avrundning eller versionsändringar. Kontrollera detta innan du citerar:

Ämne En officiell källa säger En annan säger Vad som bör användas
Felminskning jämfört med LibriSpeech-modeller Artikeln: 55,2 % färre fel i genomsnitt OpenAI:s presentation: 50 % färre fel Citera artikeln och ange jämförelsen
Språk i träningsdata utöver engelska Artikeln: 96 andra språk Modellkortet: 98 språk ”Omkring 99 språk” för igenkänning
Träningstimmar för översättning Modellkort: 126 000 Artikel: 125 000 Båda fungerar som ungefärliga
Antal parametrar i turbo README och Hugging Face: 809 M Modellkortets tabell: 798 M 809 M, vanligast i källorna
Träningsdatans storlek Ursprunglig artikel: 680 000 timmar Large-v3-kort: 5 miljoner timmar Ange vilken version du menar
Licens GitHub: MIT för kod och vikter Hugging Face-metadata för large-v3: Apache-2.0 Läs licensfilen för kopian du laddar ner

Så använder du Whisper: kör själv, använd API eller en app

Det finns tre praktiska vägar. Att köra Whisper själv är gratis och behåller ljudet på din dator. OpenAI:s API tar bort installationen men begränsar filstorleken. En värdbaserad transkriberingsapp lägger till redigering, talaretiketter och export, men är en tredjepartstjänst med egna villkor.

Kör Whisper med öppen källkod OpenAI:s transkriberings-API Värdbaserad transkriberingsapp
Installation Python, PyTorch och FFmpeg Kod och API-nyckel Webbläsare
Kostnad Gratis; egen hårdvara Betalning per användning Gratisnivå eller abonnemang, varierar
Filgränser Din hårdvara 25 MB per fil Bestäms av appen
Vart ljudet går Stannar på datorn Skickas till OpenAI Skickas till appens servrar
Talaretiketter Inte inbyggt Inte i whisper-1 Beror på appen
Redigering och export TXT, SRT, VTT, TSV, JSON från kommandoraden Returneras till din kod; du bygger resten Vanligen redigerare och dokument- och undertextexport

Kör Whisper på din dator

OpenAI:s README anger installationskommandot och en grundläggande körning:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

Du behöver också FFmpeg installerat och README säger att koden ska fungera med Python 3.8 till 3.11. Lägg till --language för talat språk eller --task translate med en flerspråkig modell för engelska. Modellvikterna laddas ner första gången. Whisper CLI var inte installerat här, så kommandot har inte testats.

Använd OpenAI:s API

OpenAI:s guide till tal till text begränsar uppladdningar till 25 MB per fil, så komprimera eller dela större filer. Vid kontroll i november 2026 markerar guiden whisper-1 som utfasad med avstängningsdatum 26 februari 2027 och hänvisar till nyare transkriberingsmodeller. Dessa är OpenAI-talmodeller, inte nya versioner av Whisper-familjen med öppen källkod.

Använd en värdbaserad transkriberingsapp

Vill du inte installera något behandlar en värdbaserad app filerna på sina servrar. whispertranscribe.ai är ett alternativ och dess gratis ljud-till-text-verktyg är ett snabbt sätt att prova. Vår startsida beskriver whispertranscribe.ai som drivet av Whisper och nästa generations AI. Enligt våra produktsidor erbjuds:

Avvägningarna är verkliga. Filen skickas till en molntjänst i stället för att stanna på datorn. Vi erbjuder inget API, egen ordlista eller mötesbot. Betalplaner börjar på 9,99 USD/månad vid årsbetalning (priser), och du kan börja gratis utan konto. Se Whisper AI-transkriberingsverktyget eller alla funktioner för detaljer.

Har Whisper öppen källkod och vad tillåter licensen?

Ja. OpenAI:s kodförråd anger att Whispers kod och modellvikter släpps under MIT-licensen. MIT är en tillåtande licens. I allmänhet får du använda, kopiera, ändra och sälja program byggda på koden om du behåller upphovsrätts- och licenstexten.

Två förbehåll. Kopior på andra webbplatser kan ha andra licensmetadata; Hugging Faces large-v3-sida anger Apache-2.0. Läs licensen som följer din kopia. Licensen gäller programvaran, inte inspelningarna du matar in. Regler om samtycke och integritet gäller fortfarande ljudet. Detta är allmän information, inte juridisk rådgivning; den officiella källan är MIT-licensen.

Vem passar Whisper för?

Whisper passar utvecklare och den som är bekväm med en terminal och vill ha gratis, privat transkribering utan tjänstegräns. Vill du ha ett färdigt transkript med redigerare och export går en värdbaserad app oftast snabbare.

Du är … Bra val Varför
Utvecklare som bygger en produkt Whisper med öppen källkod eller API Full kontroll över processen
Forskare med känsliga intervjuer Whisper med öppen källkod lokalt Ljudet lämnar inte datorn
Kreatör som behöver undertexter denna vecka Värdbaserad app med SRT- eller VTT-export Ingen installation; tidsatta filer redo för uppladdning
Användare av bärbar dator utan GPU Liten modell lokalt eller värdbaserad app Stora modeller behöver cirka 10 GB VRAM

Innan du litar på ett Whisper-transkript: checklista

Listan bygger på feltyperna i OpenAI:s artikel och modellkort:

  • Stickprovskontrollera pauser och tysta avsnitt efter meningar ingen sagt.
  • Leta efter samma fras upprepad flera gånger i rad.
  • Kontrollera filens första och sista rader mot ljudet.
  • Verifiera namn, siffror och tekniska termer.
  • Bekräfta att språket identifierades rätt eller ställ in det manuellt.
  • Kontrollera att du inte använde turbo för översättning.
  • Lägg till talaretiketter med separat verktyg om de behövs.
  • Få samtycke innan du spelar in eller transkriberar andra.

Vanliga frågor

Är Whisper AI gratis?

Ja, OpenAI Whisper är gratis att ladda ner och köra. OpenAI licensierar kod och modellvikter under MIT, så du kan använda dem utan betalning till OpenAI. Du står för datorn och large-modellen behöver ungefär 10 GB GPU-minne. Värdbaserade alternativ kostar: OpenAI:s API tar betalt per användning och transkriberingsappar har egna planer. Gratis betyder inte nödvändigtvis enkelt; du behöver Python, FFmpeg och viss vana vid kommandoraden.

Kan Whisper identifiera olika talare?

Inte på egen hand. Whisper skriver vad som sades men märker inte vem som sa det. OpenAI:s modellkort säger att förmågor som talaruppdelning inte utvärderades tillräckligt. För etiketter kombineras Whisper vanligen med ett separat verktyg eller en transkriberingsapp med talaridentifiering. whispertranscribe.ai har exempelvis ett sådant val före transkribering. Kontrollera alltid etiketter när rösterna liknar varandra.

Kan Whisper transkribera i realtid?

Inte direkt ur lådan. Whisper byggdes för inspelat ljud och behandlar 30-sekundersfönster; OpenAI:s modellkort säger att realtid kräver extra arbete. Utvecklare har byggt verktyg för nästan realtid genom att mata in korta ljudbitar efter hand. Behöver du direkttextning, leta efter ett verktyg med särskilt direktläge och räkna med mer efterarbete än för ett färdigt ljudtranskript.

Hur många språk stöder Whisper?

Whisper känner igen ungefär 99 språk och dagens tokenizer listar 100 språkkoder efter att kantonesiska lades till i large-v3. Kvaliteten varierar kraftigt. OpenAI:s modellkort rapporterar starka resultat på cirka 10 språk och artikeln fann att de flesta språk hade mindre än 1 000 timmar träningsljud. Testa ett kort klipp innan du förlitar dig på ett mindre vanligt språk. Produktsiffror som whispertranscribe.ai:s över 130 språk beskriver respektive produkt, inte modellen med öppen källkod.

Är whispertranscribe.ai samma sak som OpenAI Whisper?

Nej. OpenAI Whisper är en modell med öppen källkod som du laddar ner och kör själv. whispertranscribe.ai är en separat webbaserad transkriberingstjänst; startsidan beskriver den som driven av Whisper och nästa generations AI. Den lägger till funktioner som råmodellen saknar, exempelvis uppladdning upp till 5 GB, länkimport från YouTube eller Google Drive, talaridentifiering och export till DOCX, PDF, SRT och VTT. Andra appar med ”Whisper” i namnet är separata produkter från andra företag.

Varför skriver Whisper ibland ord som ingen sagt?

Den förutsäger text ungefär som en språkmodell. OpenAI:s modellkort säger att träning på stora mängder brusiga webbdata ibland gör att modellen skapar ord som inte finns i ljudet. OpenAI förklarar det med att modellen blandar förutsägelse av nästa sannolika ord med transkribering av det den hör. En studie från 2024 fann hela påhittade fraser i ungefär 1 % av granskade transkript, oftare kring långa pauser. Kontrollera pauser, tysta partier och viktigt innehåll mot ljudet.


Vill du ha ett Whisper-transkript utan installation? Ladda upp en fil eller klistra in en länk i whispertranscribe.ai och få text på över 130 språk med export till DOCX, PDF, SRT och VTT.

Källor

Vill du omvandla dina inspelningar till text?

Transkribera ljud och video med whispertranscribe.ai.

Börja transkribera ↗