Què és Whisper AI? Com funciona el model de reconeixement de parla d'OpenAI

Per l'equip editorial de whispertranscribe.ai · Actualitzat: novembre de 2026 · Lectura: 13 minuts

Què és Whisper AI? En la majoria de cerques significa OpenAI Whisper, un model de reconeixement de parla de codi obert publicat per OpenAI el setembre de 2022. Converteix parla enregistrada en text, identifica la llengua i pot traduir altres llengües a l'anglès. OpenAI el va entrenar amb 680,000 hores d'àudio web i va publicar el codi i els pesos sota la llicència MIT.

Un aclariment: nosaltres creem whispertranscribe.ai. whispertranscribe.ai és una eina web de transcripció amb IA que converteix àudio i vídeo en text en més de 130 llengües. Aquesta guia diferencia clarament el model dels productes construïts al seu voltant, i cada xifra sobre el model prové de l'article, el repositori o la fitxa de model d'OpenAI.

Resposta ràpida: què és Whisper AI?

Whisper és un model de parla a text, no una aplicació ni una empresa. Pots descarregar-lo del repositori de GitHub d'OpenAI i executar-lo al teu ordinador, o utilitzar un servei que l'executi per tu.

  • Creat per: OpenAI. L'article de recerca Robust Speech Recognition via Large-Scale Weak Supervision es va publicar a arXiv el 6 de desembre de 2022.
  • Què fa: transcriu la parla, detecta la llengua, tradueix la parla a l'anglès i afegeix marques de temps als segments.
  • Què no fa directament: etiquetar qui parla o transcriure en directe. La fitxa d'OpenAI diu que no es pot utilitzar per a transcripció en temps real sense treball addicional.
  • Mides: sis, de tiny (39 milions de paràmetres) a large (1,550 milions).
  • Cost: descàrrega i execució gratuïtes. Tu proporciones el maquinari.

«Whisper AI» pot significar tres coses diferents

El nom s'utilitza de manera imprecisa i és fàcil confondre aquests tres significats.

Allò que s'anomena «Whisper AI» Què és Qui ho crea Com s'utilitza
OpenAI Whisper Model de reconeixement de parla de codi obert OpenAI Descarregues el codi i els pesos i els executes tu mateix
whisper-1 Model d'API allotjat per OpenAI per a transcripció OpenAI Envies fitxers d'àudio a l'API d'OpenAI i pagues per ús
Aplicacions amb «Whisper» al nom Productes de transcripció, com whisperai.com i whispertranscribe.ai (aquest lloc) Empreses independents Puges o enregistres àudio a les aplicacions

Els productes de la tercera fila no són el model mateix ni són intercanviables. Cada empresa estableix les seves funcions, límits, preus i condicions de privadesa. En aquest article, «Whisper» vol dir el model d'OpenAI.

Com funciona Whisper?

Whisper és un Transformer amb codificador i descodificador. El codificador transforma 30 segons d'àudio en una representació numèrica i el descodificador escriu el text corresponent token a token, guiat per tokens especials que indiquen la tasca.

L'article de Whisper descriu aquest procés:

  1. Canvi de freqüència de mostreig. L'àudio es converteix a 16,000 Hz.
  2. Divisió en finestres de 30 segons. El model sempre observa 30 segons cada vegada. Els clips més curts es completen amb farciment.
  3. Creació d'un espectrograma. Cada finestra es converteix en un espectrograma log-Mel de 80 canals, una imatge de com canvia l'energia del so entre freqüències, calculada sobre fotogrames de 25 mil·lisegons cada 10 mil·lisegons. (Large-v3 va passar a 128 canals.)
  4. Codificació. Dues capes de convolució i una pila de blocs Transformer processen l'espectrograma.
  5. Descodificació. El descodificador prediu primer la llengua o un token de «sense parla». Després venen la tasca (transcriure o traduir), si s'han d'incloure marques de temps i finalment el text.

Les marques de temps també es prediuen com a tokens, arrodonides als 20 mil·lisegons més propers. Així, un sol model gestiona detecció de llengua, transcripció, traducció i sincronització.

Amb què es va entrenar Whisper?

Els models originals van aprendre de 680,000 hores d'àudio d'internet amb les transcripcions corresponents. OpenAI ho anomena «supervisió feble» perquè les transcripcions no es van revisar manualment com els conjunts de referència.

Proporció d'àudio d'entrenament Hores Contingut
Aproximadament 65% 438,000 Àudio anglès amb transcripcions en anglès
Aproximadament 18% 126,000 Àudio en altres llengües amb transcripcions en anglès (dades de traducció)
Aproximadament 17% 117,000 Àudio en altres llengües amb transcripcions en la mateixa llengua

Font: fitxa del model Whisper d'OpenAI. L'article arrodoneix la proporció de traducció a 125,000 hores.

Dos detalls expliquen bona part del comportament de Whisper. OpenAI va filtrar les transcripcions que semblaven generades per màquina, com el text en majúscules, de manera que el model va aprendre a escriure frases puntuades. I els primers models tendien a endevinar noms de parlants perquè moltes transcripcions web els incloïen. OpenAI va eliminar aquest hàbit amb ajust fi, però mostra fins a quin punt el model reflecteix el text d'entrenament.

Large-v3 es va entrenar d'una altra manera, amb uns 5 milions d'hores: 1 milió amb etiquetes web febles i 4 milions etiquetades per large-v2, segons la fitxa del model a Hugging Face.

Comparació de les mides de Whisper

Whisper té sis mides. Els models petits funcionen més ràpid en maquinari modest; els grans cometen menys errors però necessiten més memòria de vídeo (VRAM). Les xifres provenen del README d'OpenAI.

Mida Paràmetres Versió només anglesa Versió multilingüe VRAM necessària Velocitat relativa a large
tiny 39 M tiny.en tiny ~1 GB ~10x
base 74 M base.en base ~1 GB ~7x
small 244 M small.en small ~2 GB ~4x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M Cap large ~10 GB 1x
turbo 809 M Cap turbo ~6 GB ~8x

OpenAI va mesurar aquestes velocitats amb parla anglesa en una GPU A100 de centre de dades i diu que la velocitat real pot variar considerablement. Un portàtil serà més lent.

Quin model Whisper hauries de triar?

Comença per la memòria disponible i l'ús de la transcripció:

  • Provar en un ordinador bàsic: tiny o base, aproximadament 1 GB de VRAM. Espera més errors.
  • Només anglès: utilitza un model .en. OpenAI diu que funcionen millor, especialment tiny i base.
  • Bona qualitat a velocitat raonable: turbo, uns 6 GB. És el predeterminat de la línia d'ordres.
  • Traduir parla a l'anglès: medium o large. Turbo no està entrenat per traduir i retorna la llengua original fins i tot si se li demana traducció.
  • Àudio més difícil i millor resultat possible: large, uns 10 GB de VRAM.

Versions de Whisper: cronologia breu

«Large» ha inclòs tres llançaments, i turbo és un large-v3 reduït. La versió importa perquè els resultats varien segons el punt de control.

Versió Publicació Canvis
Models originals (tiny a large) Setembre de 2022 Primer llançament de codi obert amb l'article
large-v2 Desembre de 2022 Mateixa mida, entrenat 2.5 vegades més amb regularització addicional
large-v3 Novembre de 2023 128 canals Mel, nou token de cantonès, entre 10% i 20% menys d'errors que v2 en moltes llengües
turbo (large-v3-turbo) Setembre de 2024 Capes del descodificador reduïdes de 32 a 4 per velocitat; sense traducció

Fonts: la fitxa de Whisper, la nota de l'article sobre large-v2 i les fitxes de Hugging Face per a large-v3 i large-v3-turbo.

Quantes llengües admet Whisper?

Whisper reconeix unes 99 llengües. El detector de l'article utilitzava 99 tokens de llengua i el tokenitzador actual enumera 100 codis després que large-v3 afegís el cantonès. Tanmateix, suport no és el mateix que qualitat: la fitxa del model indica bons resultats en unes 10 llengües.

La qualitat segueix les dades d'entrenament. L'article va trobar que el nombre d'hores d'una llengua prediu molt bé el rendiment i que la majoria de llengües tenien menys de 1,000 hores. L'anglès, el castellà o l'alemany solen donar resultats més nets que una llengua amb pocs recursos. El README enllaça un gràfic d'errors per llengua si vols consultar la teva.

No ho confonguis amb les xifres dels productes. whispertranscribe.ai admet més de 130 llengües. Aquesta xifra és el suport del nostre producte (la pàgina de preus diu «130+ languages & accents»), no una propietat del model Whisper de codi obert.

Quina precisió té Whisper?

No hi ha una xifra única de precisió perquè depèn de la mida del model, la llengua i l'enregistrament. Amb anglès llegit i net, large-v2 va obtenir una taxa d'error de paraules (WER) del 2.7%. La mitjana de 14 conjunts de prova en anglès, la majoria més difícils, va ser del 12.8%.

La WER és la proporció de paraules incorrectes, incloent-hi substitucions, omissions i insercions, mesurada respecte d'una transcripció humana de referència. Com més baixa, millor. Les xifres següents provenen de la taula 2 de l'article, que compara Whisper large-v2 amb un model wav2vec 2.0 entrenat amb el conjunt d'audiollibres LibriSpeech:

Conjunt de prova WER wav2vec 2.0 WER Whisper large-v2
LibriSpeech clean (audiollibres llegits) 2.7% 2.7%
Common Voice (parla enregistrada per voluntaris) 29.9% 9.0%
CHiME-6 (enregistraments sorollosos de sopars) 65.8% 25.5%
Mitjana dels 14 conjunts de la taula 29.3% 12.8%

L'important és el patró. Els models empaten amb els audiollibres, però Whisper aguanta molt millor en la resta i comet un 55.2% menys d'errors de mitjana. L'anunci d'OpenAI ho arrodoneix a «50% menys d'errors». En les proves de soroll de l'article, els models entrenats amb LibriSpeech van superar Whisper amb àudio gairebé net, però van quedar enrere quan el soroll de fons tipus bar es va intensificar per sota d'una relació senyal-soroll de 10 dB.

Són proves de recerca, no una promesa per als teus fitxers, i les afirmacions de producte són separades. whispertranscribe.ai, per exemple, arriba fins al 99% de precisió amb àudio net, i el soroll, la superposició de veus i els accents marcats la redueixen.

Quines limitacions té Whisper?

La debilitat principal és que pot escriure text fluid que ningú no ha dit. La fitxa d'OpenAI ho anomena al·lucinació i ho relaciona amb l'entrenament de supervisió feble. També enumera repeticions, precisió desigual entre llengües i accents, i manca d'etiquetes de parlants integrades.

  1. Text al·lucinat. En un estudi de 2024, Careless Whisper, els investigadors van trobar frases o oracions completes absents de l'àudio en aproximadament l'1% de les transcripcions revisades. Les al·lucinacions eren més freqüents amb pauses llargues.
  2. Bucles de repetició. El model pot quedar atrapat repetint una frase. Beam search i temperature fallback ho redueixen fins a cert punt, segons la fitxa, però no del tot.
  3. Primeres o últimes paraules absents. L'article enumera com a error conegut ometre les primeres o últimes paraules d'un segment.
  4. Els enregistraments llargs necessiten finestres. Whisper només veu 30 segons cada vegada. Per a fitxers més llargs, l'eina transcribe desplaça la finestra amb les marques predites, de manera que un error pot afectar la següent.
  5. Sense etiquetes de parlants. Segons la fitxa, la diarització, determinar qui parla i quan, no es va avaluar de manera robusta. Necessites una eina separada.
  6. No és en temps real per defecte. Es va crear per a fitxers enregistrats. Els subtítols en directe necessiten desenvolupament addicional.
  7. Resultats desiguals per llengua i accent. La fitxa indica taxes d'error més altes per a alguns accents, dialectes i grups demogràfics.

OpenAI també adverteix contra la transcripció de persones sense consentiment i els usos per prendre decisions d'alt risc.

On discrepen les fonts oficials

Algunes xifres difereixen entre documents d'OpenAI, principalment per arrodoniments o canvis de versió. Comprova-ho abans de citar-les:

Tema Una font oficial diu Una altra diu Què utilitzar
Reducció d'errors respecte de models LibriSpeech Article: 55.2% menys errors de mitjana Anunci d'OpenAI: 50% menys errors Cita l'article i indica la comparació
Llengües d'entrenament a més de l'anglès Article: 96 altres llengües Fitxa del model: 98 llengües «Unes 99 llengües» per al reconeixement
Hores d'entrenament per a traducció Fitxa: 126,000 Article: 125,000 Qualsevol de les dues, indicant que és aproximada
Paràmetres de turbo README i Hugging Face: 809 M Taula de la fitxa: 798 M 809 M, la xifra més utilitzada
Mida de les dades d'entrenament Article original: 680,000 hores Fitxa de large-v3: 5 milions d'hores Indica la versió
Llicència GitHub: MIT per a codi i pesos Metadades de large-v3 a Hugging Face: Apache-2.0 Comprova la llicència de la còpia descarregada

Com utilitzar Whisper: executar-lo, cridar una API o usar una aplicació

Hi ha tres vies pràctiques. Executar Whisper tu mateix és gratuït i manté l'àudio al teu ordinador. L'API d'OpenAI evita la instal·lació però limita la mida dels fitxers. Una aplicació allotjada afegeix edició, etiquetes de parlants i exportacions, però és un servei de tercers amb condicions pròpies.

Executar Whisper de codi obert API de transcripció d'OpenAI Aplicació de transcripció allotjada
Preparació Python, PyTorch i FFmpeg Codi i clau API Un navegador
Cost Gratuït; el teu maquinari Pagament per ús Nivell gratuït o subscripció, segons l'aplicació
Límits de fitxer El teu maquinari 25 MB per fitxer Els estableix cada aplicació
Destinació de l'àudio Es queda al teu ordinador S'envia a OpenAI S'envia als servidors de l'aplicació
Etiquetes de parlants No integrades No a whisper-1 Depèn de l'aplicació
Edició i exportacions TXT, SRT, VTT, TSV, JSON des de la línia d'ordres Es retorna al teu codi; tu construeixes la resta Normalment editor i exportació de documents i subtítols

Executa Whisper al teu ordinador

El README d'OpenAI proporciona l'ordre d'instal·lació i una execució bàsica:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

També cal tenir FFmpeg instal·lat, i el README diu que el codi hauria de funcionar amb Python 3.8 a 3.11. Afegeix --language per indicar la llengua parlada o --task translate amb un model multilingüe per obtenir anglès. Els pesos es descarreguen en el primer ús. No hem provat aquestes ordres de Whisper CLI per a aquesta guia.

Utilitza l'API d'OpenAI

La guia de parla a text d'OpenAI limita les pujades a 25 MB per fitxer, així que comprimeix o divideix els més grans. Segons la consulta de novembre de 2026, la guia marca whisper-1 com a obsolet i indica una data de tancament del 26 de febrer de 2027, tot dirigint els desenvolupadors a models més nous. Aquests són models de parla d'OpenAI, no nous llançaments de la família Whisper de codi obert.

Utilitza una aplicació de transcripció allotjada

Si prefereixes no instal·lar res, una aplicació allotjada processa els fitxers als seus servidors. whispertranscribe.ai n'és una opció, i el seu convertidor gratuït d'àudio a text és una manera ràpida de provar-la. La nostra pàgina inicial descriu whispertranscribe.ai com a eina basada en Whisper i IA de nova generació. Segons les nostres pàgines de producte, ofereix:

Hi ha compromisos reals. El fitxer va a un servei al núvol en lloc de quedar-se al teu ordinador. No oferim API, vocabulari personalitzat ni bot de reunions. Els plans de pagament comencen a $9.99/mes amb facturació anual (preus), i pots començar gratis sense compte. Consulta l'eina de transcripció Whisper AI o totes les funcions per a més detalls.

És Whisper de codi obert i què permet la llicència?

Sí. El repositori d'OpenAI indica que el codi i els pesos de Whisper es publiquen sota la llicència MIT. MIT és una llicència permissiva. En general permet utilitzar, copiar, modificar i vendre programari basat en el codi, sempre que es conservin els avisos de drets d'autor i de llicència.

Dues precaucions. Les còpies d'altres llocs poden tenir metadades de llicència diferents; la pàgina large-v3 de Hugging Face indica Apache-2.0. Llegeix la llicència de la còpia que utilitzis. A més, la llicència cobreix el programari, no els enregistraments introduïts. Les normes de consentiment i privadesa continuen aplicant-se: obtén els consentiments necessaris i el permís de l'organitzador abans de gravar. És informació general, no assessorament jurídic; el text de la llicència MIT és la font oficial.

Per a qui és Whisper?

Whisper és adequat per a desenvolupadors i persones còmodes amb un terminal que volen transcripció gratuïta, privada i sense límit de fitxers. Si vols una transcripció acabada amb editor i exportacions, una aplicació allotjada sol ser més ràpida.

Ets… Bona opció Per què
Un desenvolupador que crea un producte Whisper de codi obert o una API Control complet del procés
Un investigador amb entrevistes sensibles Whisper de codi obert, executat localment L'àudio no surt de l'ordinador
Un creador que necessita subtítols aquesta setmana Una aplicació allotjada amb exportació SRT o VTT Sense instal·lació; fitxers sincronitzats llestos per pujar
Una persona amb un portàtil sense GPU Model petit local o aplicació allotjada Els models grans necessiten uns 10 GB de VRAM

Abans de confiar en una transcripció de Whisper: llista

Hem creat aquesta llista a partir dels errors descrits a l'article i a la fitxa d'OpenAI:

  • Comprova pauses i silencis per detectar frases que ningú no ha dit.
  • Busca frases repetides diverses vegades seguides.
  • Comprova les primeres i últimes línies amb l'àudio.
  • Verifica noms, xifres i termes tècnics.
  • Confirma que la llengua s'ha detectat correctament o estableix-la manualment.
  • Per traduir, assegura't que no has utilitzat turbo.
  • Afegeix etiquetes de parlants amb una eina separada si les necessites.
  • Obtén els consentiments necessaris abans d'enregistrar o transcriure altres persones i el permís de l'organitzador abans de gravar.

Preguntes freqüents

És gratuït Whisper AI?

Sí, OpenAI Whisper es pot descarregar i executar gratuïtament. OpenAI publica el codi i els pesos sota MIT, així que els pots utilitzar sense pagar-li. Tu aportes l'ordinador i el model large necessita aproximadament 10 GB de memòria de GPU. Les opcions allotjades costen diners: l'API d'OpenAI cobra per ús i les aplicacions tenen plans propis. «Gratuït» tampoc no vol dir fàcil; necessitaràs Python, FFmpeg i familiaritat amb la línia d'ordres.

Pot Whisper identificar diferents parlants?

No per si sol. Whisper escriu què s'ha dit però no etiqueta qui ho ha dit. La fitxa d'OpenAI indica que capacitats com la diarització no es van avaluar de manera robusta. Per obtenir etiquetes, se sol combinar Whisper amb una eina de diarització o utilitzar una aplicació que afegeixi detecció de parlants. whispertranscribe.ai, per exemple, té una opció que pots activar abans de transcriure. Comprova sempre les etiquetes quan les veus s'assemblin.

Pot Whisper transcriure en temps real?

No directament. Whisper es va dissenyar per a àudio enregistrat i el processa en finestres de 30 segons; la fitxa d'OpenAI diu que no es pot utilitzar en temps real sense treball addicional. Els desenvolupadors han creat eines gairebé en directe que hi introdueixen fragments curts a mesura que arriben. Si necessites subtítols en directe, busca una eina amb mode específic i espera més correccions que en una transcripció de l'enregistrament complet.

Quantes llengües admet Whisper?

Whisper reconeix unes 99 llengües i el tokenitzador actual enumera 100 codis després d'afegir el cantonès a large-v3. La qualitat varia molt. La fitxa d'OpenAI indica bons resultats en unes 10 llengües, i l'article va trobar que la majoria tenien menys de 1,000 hores d'àudio d'entrenament. Abans de confiar en una llengua menys habitual, prova un clip curt. Les xifres de productes, com les més de 130 llengües de whispertranscribe.ai, descriuen el suport del producte, no del model de codi obert.

És whispertranscribe.ai el mateix que OpenAI Whisper?

No. OpenAI Whisper és un model de codi obert que descarregues i executes tu mateix. whispertranscribe.ai és un servei de transcripció independent al navegador; la pàgina inicial el descriu com a eina basada en Whisper i IA de nova generació. Afegeix funcions que el model base no inclou, com pujades de fins a 5GB, importació d'enllaços de YouTube o Google Drive, detecció de parlants i exportació DOCX, PDF, SRT i VTT. Altres aplicacions amb «Whisper» al nom són productes independents d'empreses diferents.

Per què Whisper escriu de vegades paraules que ningú no ha dit?

Perquè prediu text com un model de llenguatge. La fitxa d'OpenAI diu que entrenar amb grans quantitats de dades web sorolloses fa que de vegades produeixi paraules absents de l'àudio. Segons OpenAI, combina la predicció de la següent paraula probable amb la transcripció del que sent. Un estudi de 2024 va trobar frases completes inventades en aproximadament l'1% de les transcripcions revisades, més sovint al voltant de pauses llargues. Revisa les pauses, els fragments silenciosos i tot allò important amb l'àudio.


Vols una transcripció Whisper sense instal·lació? Puja un fitxer o enganxa un enllaç a whispertranscribe.ai i obtén text en més de 130 llengües, amb exportació DOCX, PDF, SRT i VTT.

Referències

Vols convertir les teves gravacions en text?

Transcriu àudio i vídeo amb whispertranscribe.ai.

Comença a transcriure ↗