Per l'equip editorial de whispertranscribe.ai · Actualitzat: novembre de 2026 · Lectura: 13 minuts
Què és Whisper AI? En la majoria de cerques significa OpenAI Whisper, un model de reconeixement de parla de codi obert publicat per OpenAI el setembre de 2022. Converteix parla enregistrada en text, identifica la llengua i pot traduir altres llengües a l'anglès. OpenAI el va entrenar amb 680,000 hores d'àudio web i va publicar el codi i els pesos sota la llicència MIT.
Un aclariment: nosaltres creem whispertranscribe.ai. whispertranscribe.ai és una eina web de transcripció amb IA que converteix àudio i vídeo en text en més de 130 llengües. Aquesta guia diferencia clarament el model dels productes construïts al seu voltant, i cada xifra sobre el model prové de l'article, el repositori o la fitxa de model d'OpenAI.
Resposta ràpida: què és Whisper AI?
Whisper és un model de parla a text, no una aplicació ni una empresa. Pots descarregar-lo del repositori de GitHub d'OpenAI i executar-lo al teu ordinador, o utilitzar un servei que l'executi per tu.
- Creat per: OpenAI. L'article de recerca Robust Speech Recognition via Large-Scale Weak Supervision es va publicar a arXiv el 6 de desembre de 2022.
- Què fa: transcriu la parla, detecta la llengua, tradueix la parla a l'anglès i afegeix marques de temps als segments.
- Què no fa directament: etiquetar qui parla o transcriure en directe. La fitxa d'OpenAI diu que no es pot utilitzar per a transcripció en temps real sense treball addicional.
- Mides: sis, de tiny (39 milions de paràmetres) a large (1,550 milions).
- Cost: descàrrega i execució gratuïtes. Tu proporciones el maquinari.
«Whisper AI» pot significar tres coses diferents
El nom s'utilitza de manera imprecisa i és fàcil confondre aquests tres significats.
| Allò que s'anomena «Whisper AI» | Què és | Qui ho crea | Com s'utilitza |
|---|---|---|---|
| OpenAI Whisper | Model de reconeixement de parla de codi obert | OpenAI | Descarregues el codi i els pesos i els executes tu mateix |
| whisper-1 | Model d'API allotjat per OpenAI per a transcripció | OpenAI | Envies fitxers d'àudio a l'API d'OpenAI i pagues per ús |
| Aplicacions amb «Whisper» al nom | Productes de transcripció, com whisperai.com i whispertranscribe.ai (aquest lloc) | Empreses independents | Puges o enregistres àudio a les aplicacions |
Els productes de la tercera fila no són el model mateix ni són intercanviables. Cada empresa estableix les seves funcions, límits, preus i condicions de privadesa. En aquest article, «Whisper» vol dir el model d'OpenAI.
Com funciona Whisper?
Whisper és un Transformer amb codificador i descodificador. El codificador transforma 30 segons d'àudio en una representació numèrica i el descodificador escriu el text corresponent token a token, guiat per tokens especials que indiquen la tasca.
L'article de Whisper descriu aquest procés:
- Canvi de freqüència de mostreig. L'àudio es converteix a 16,000 Hz.
- Divisió en finestres de 30 segons. El model sempre observa 30 segons cada vegada. Els clips més curts es completen amb farciment.
- Creació d'un espectrograma. Cada finestra es converteix en un espectrograma log-Mel de 80 canals, una imatge de com canvia l'energia del so entre freqüències, calculada sobre fotogrames de 25 mil·lisegons cada 10 mil·lisegons. (Large-v3 va passar a 128 canals.)
- Codificació. Dues capes de convolució i una pila de blocs Transformer processen l'espectrograma.
- Descodificació. El descodificador prediu primer la llengua o un token de «sense parla». Després venen la tasca (transcriure o traduir), si s'han d'incloure marques de temps i finalment el text.
Les marques de temps també es prediuen com a tokens, arrodonides als 20 mil·lisegons més propers. Així, un sol model gestiona detecció de llengua, transcripció, traducció i sincronització.
Amb què es va entrenar Whisper?
Els models originals van aprendre de 680,000 hores d'àudio d'internet amb les transcripcions corresponents. OpenAI ho anomena «supervisió feble» perquè les transcripcions no es van revisar manualment com els conjunts de referència.
| Proporció d'àudio d'entrenament | Hores | Contingut |
|---|---|---|
| Aproximadament 65% | 438,000 | Àudio anglès amb transcripcions en anglès |
| Aproximadament 18% | 126,000 | Àudio en altres llengües amb transcripcions en anglès (dades de traducció) |
| Aproximadament 17% | 117,000 | Àudio en altres llengües amb transcripcions en la mateixa llengua |
Font: fitxa del model Whisper d'OpenAI. L'article arrodoneix la proporció de traducció a 125,000 hores.
Dos detalls expliquen bona part del comportament de Whisper. OpenAI va filtrar les transcripcions que semblaven generades per màquina, com el text en majúscules, de manera que el model va aprendre a escriure frases puntuades. I els primers models tendien a endevinar noms de parlants perquè moltes transcripcions web els incloïen. OpenAI va eliminar aquest hàbit amb ajust fi, però mostra fins a quin punt el model reflecteix el text d'entrenament.
Large-v3 es va entrenar d'una altra manera, amb uns 5 milions d'hores: 1 milió amb etiquetes web febles i 4 milions etiquetades per large-v2, segons la fitxa del model a Hugging Face.
Comparació de les mides de Whisper
Whisper té sis mides. Els models petits funcionen més ràpid en maquinari modest; els grans cometen menys errors però necessiten més memòria de vídeo (VRAM). Les xifres provenen del README d'OpenAI.
| Mida | Paràmetres | Versió només anglesa | Versió multilingüe | VRAM necessària | Velocitat relativa a large |
|---|---|---|---|---|---|
| tiny | 39 M | tiny.en | tiny | ~1 GB | ~10x |
| base | 74 M | base.en | base | ~1 GB | ~7x |
| small | 244 M | small.en | small | ~2 GB | ~4x |
| medium | 769 M | medium.en | medium | ~5 GB | ~2x |
| large | 1550 M | Cap | large | ~10 GB | 1x |
| turbo | 809 M | Cap | turbo | ~6 GB | ~8x |
OpenAI va mesurar aquestes velocitats amb parla anglesa en una GPU A100 de centre de dades i diu que la velocitat real pot variar considerablement. Un portàtil serà més lent.
Quin model Whisper hauries de triar?
Comença per la memòria disponible i l'ús de la transcripció:
- Provar en un ordinador bàsic: tiny o base, aproximadament 1 GB de VRAM. Espera més errors.
- Només anglès: utilitza un model
.en. OpenAI diu que funcionen millor, especialment tiny i base. - Bona qualitat a velocitat raonable: turbo, uns 6 GB. És el predeterminat de la línia d'ordres.
- Traduir parla a l'anglès: medium o large. Turbo no està entrenat per traduir i retorna la llengua original fins i tot si se li demana traducció.
- Àudio més difícil i millor resultat possible: large, uns 10 GB de VRAM.
Versions de Whisper: cronologia breu
«Large» ha inclòs tres llançaments, i turbo és un large-v3 reduït. La versió importa perquè els resultats varien segons el punt de control.
| Versió | Publicació | Canvis |
|---|---|---|
| Models originals (tiny a large) | Setembre de 2022 | Primer llançament de codi obert amb l'article |
| large-v2 | Desembre de 2022 | Mateixa mida, entrenat 2.5 vegades més amb regularització addicional |
| large-v3 | Novembre de 2023 | 128 canals Mel, nou token de cantonès, entre 10% i 20% menys d'errors que v2 en moltes llengües |
| turbo (large-v3-turbo) | Setembre de 2024 | Capes del descodificador reduïdes de 32 a 4 per velocitat; sense traducció |
Fonts: la fitxa de Whisper, la nota de l'article sobre large-v2 i les fitxes de Hugging Face per a large-v3 i large-v3-turbo.
Quantes llengües admet Whisper?
Whisper reconeix unes 99 llengües. El detector de l'article utilitzava 99 tokens de llengua i el tokenitzador actual enumera 100 codis després que large-v3 afegís el cantonès. Tanmateix, suport no és el mateix que qualitat: la fitxa del model indica bons resultats en unes 10 llengües.
La qualitat segueix les dades d'entrenament. L'article va trobar que el nombre d'hores d'una llengua prediu molt bé el rendiment i que la majoria de llengües tenien menys de 1,000 hores. L'anglès, el castellà o l'alemany solen donar resultats més nets que una llengua amb pocs recursos. El README enllaça un gràfic d'errors per llengua si vols consultar la teva.
No ho confonguis amb les xifres dels productes. whispertranscribe.ai admet més de 130 llengües. Aquesta xifra és el suport del nostre producte (la pàgina de preus diu «130+ languages & accents»), no una propietat del model Whisper de codi obert.
Quina precisió té Whisper?
No hi ha una xifra única de precisió perquè depèn de la mida del model, la llengua i l'enregistrament. Amb anglès llegit i net, large-v2 va obtenir una taxa d'error de paraules (WER) del 2.7%. La mitjana de 14 conjunts de prova en anglès, la majoria més difícils, va ser del 12.8%.
La WER és la proporció de paraules incorrectes, incloent-hi substitucions, omissions i insercions, mesurada respecte d'una transcripció humana de referència. Com més baixa, millor. Les xifres següents provenen de la taula 2 de l'article, que compara Whisper large-v2 amb un model wav2vec 2.0 entrenat amb el conjunt d'audiollibres LibriSpeech:
| Conjunt de prova | WER wav2vec 2.0 | WER Whisper large-v2 |
|---|---|---|
| LibriSpeech clean (audiollibres llegits) | 2.7% | 2.7% |
| Common Voice (parla enregistrada per voluntaris) | 29.9% | 9.0% |
| CHiME-6 (enregistraments sorollosos de sopars) | 65.8% | 25.5% |
| Mitjana dels 14 conjunts de la taula | 29.3% | 12.8% |
L'important és el patró. Els models empaten amb els audiollibres, però Whisper aguanta molt millor en la resta i comet un 55.2% menys d'errors de mitjana. L'anunci d'OpenAI ho arrodoneix a «50% menys d'errors». En les proves de soroll de l'article, els models entrenats amb LibriSpeech van superar Whisper amb àudio gairebé net, però van quedar enrere quan el soroll de fons tipus bar es va intensificar per sota d'una relació senyal-soroll de 10 dB.
Són proves de recerca, no una promesa per als teus fitxers, i les afirmacions de producte són separades. whispertranscribe.ai, per exemple, arriba fins al 99% de precisió amb àudio net, i el soroll, la superposició de veus i els accents marcats la redueixen.
Quines limitacions té Whisper?
La debilitat principal és que pot escriure text fluid que ningú no ha dit. La fitxa d'OpenAI ho anomena al·lucinació i ho relaciona amb l'entrenament de supervisió feble. També enumera repeticions, precisió desigual entre llengües i accents, i manca d'etiquetes de parlants integrades.
- Text al·lucinat. En un estudi de 2024, Careless Whisper, els investigadors van trobar frases o oracions completes absents de l'àudio en aproximadament l'1% de les transcripcions revisades. Les al·lucinacions eren més freqüents amb pauses llargues.
- Bucles de repetició. El model pot quedar atrapat repetint una frase. Beam search i temperature fallback ho redueixen fins a cert punt, segons la fitxa, però no del tot.
- Primeres o últimes paraules absents. L'article enumera com a error conegut ometre les primeres o últimes paraules d'un segment.
- Els enregistraments llargs necessiten finestres. Whisper només veu 30 segons cada vegada. Per a fitxers més llargs, l'eina transcribe desplaça la finestra amb les marques predites, de manera que un error pot afectar la següent.
- Sense etiquetes de parlants. Segons la fitxa, la diarització, determinar qui parla i quan, no es va avaluar de manera robusta. Necessites una eina separada.
- No és en temps real per defecte. Es va crear per a fitxers enregistrats. Els subtítols en directe necessiten desenvolupament addicional.
- Resultats desiguals per llengua i accent. La fitxa indica taxes d'error més altes per a alguns accents, dialectes i grups demogràfics.
OpenAI també adverteix contra la transcripció de persones sense consentiment i els usos per prendre decisions d'alt risc.
On discrepen les fonts oficials
Algunes xifres difereixen entre documents d'OpenAI, principalment per arrodoniments o canvis de versió. Comprova-ho abans de citar-les:
| Tema | Una font oficial diu | Una altra diu | Què utilitzar |
|---|---|---|---|
| Reducció d'errors respecte de models LibriSpeech | Article: 55.2% menys errors de mitjana | Anunci d'OpenAI: 50% menys errors | Cita l'article i indica la comparació |
| Llengües d'entrenament a més de l'anglès | Article: 96 altres llengües | Fitxa del model: 98 llengües | «Unes 99 llengües» per al reconeixement |
| Hores d'entrenament per a traducció | Fitxa: 126,000 | Article: 125,000 | Qualsevol de les dues, indicant que és aproximada |
| Paràmetres de turbo | README i Hugging Face: 809 M | Taula de la fitxa: 798 M | 809 M, la xifra més utilitzada |
| Mida de les dades d'entrenament | Article original: 680,000 hores | Fitxa de large-v3: 5 milions d'hores | Indica la versió |
| Llicència | GitHub: MIT per a codi i pesos | Metadades de large-v3 a Hugging Face: Apache-2.0 | Comprova la llicència de la còpia descarregada |
Com utilitzar Whisper: executar-lo, cridar una API o usar una aplicació
Hi ha tres vies pràctiques. Executar Whisper tu mateix és gratuït i manté l'àudio al teu ordinador. L'API d'OpenAI evita la instal·lació però limita la mida dels fitxers. Una aplicació allotjada afegeix edició, etiquetes de parlants i exportacions, però és un servei de tercers amb condicions pròpies.
| Executar Whisper de codi obert | API de transcripció d'OpenAI | Aplicació de transcripció allotjada | |
|---|---|---|---|
| Preparació | Python, PyTorch i FFmpeg | Codi i clau API | Un navegador |
| Cost | Gratuït; el teu maquinari | Pagament per ús | Nivell gratuït o subscripció, segons l'aplicació |
| Límits de fitxer | El teu maquinari | 25 MB per fitxer | Els estableix cada aplicació |
| Destinació de l'àudio | Es queda al teu ordinador | S'envia a OpenAI | S'envia als servidors de l'aplicació |
| Etiquetes de parlants | No integrades | No a whisper-1 | Depèn de l'aplicació |
| Edició i exportacions | TXT, SRT, VTT, TSV, JSON des de la línia d'ordres | Es retorna al teu codi; tu construeixes la resta | Normalment editor i exportació de documents i subtítols |
Executa Whisper al teu ordinador
El README d'OpenAI proporciona l'ordre d'instal·lació i una execució bàsica:
pip install -U openai-whisper
whisper interview.mp3 --model turbo
També cal tenir FFmpeg instal·lat, i el README diu que el codi hauria de funcionar amb Python 3.8 a 3.11. Afegeix --language per indicar la llengua parlada o --task translate amb un model multilingüe per obtenir anglès. Els pesos es descarreguen en el primer ús. No hem provat aquestes ordres de Whisper CLI per a aquesta guia.
Utilitza l'API d'OpenAI
La guia de parla a text d'OpenAI limita les pujades a 25 MB per fitxer, així que comprimeix o divideix els més grans. Segons la consulta de novembre de 2026, la guia marca whisper-1 com a obsolet i indica una data de tancament del 26 de febrer de 2027, tot dirigint els desenvolupadors a models més nous. Aquests són models de parla d'OpenAI, no nous llançaments de la família Whisper de codi obert.
Utilitza una aplicació de transcripció allotjada
Si prefereixes no instal·lar res, una aplicació allotjada processa els fitxers als seus servidors. whispertranscribe.ai n'és una opció, i el seu convertidor gratuït d'àudio a text és una manera ràpida de provar-la. La nostra pàgina inicial descriu whispertranscribe.ai com a eina basada en Whisper i IA de nova generació. Segons les nostres pàgines de producte, ofereix:
- Pujar fitxers d'àudio o vídeo de fins a 5GB i 10 hores, o enganxar un enllaç de YouTube, Vimeo, Google Drive o Dropbox a Transcriu des d'un URL.
- Més de 130 llengües, amb detecció de parlants opcional.
- Transcripció en directe del micròfon i enregistrament i transcripció al navegador.
- Exportació DOCX, PDF, SRT, VTT, TXT i CSV, incloent-hi subtítols del generador de subtítols amb IA.
- Traducció d'àudio a l'anglès per a enregistraments en altres llengües.
Hi ha compromisos reals. El fitxer va a un servei al núvol en lloc de quedar-se al teu ordinador. No oferim API, vocabulari personalitzat ni bot de reunions. Els plans de pagament comencen a $9.99/mes amb facturació anual (preus), i pots començar gratis sense compte. Consulta l'eina de transcripció Whisper AI o totes les funcions per a més detalls.
És Whisper de codi obert i què permet la llicència?
Sí. El repositori d'OpenAI indica que el codi i els pesos de Whisper es publiquen sota la llicència MIT. MIT és una llicència permissiva. En general permet utilitzar, copiar, modificar i vendre programari basat en el codi, sempre que es conservin els avisos de drets d'autor i de llicència.
Dues precaucions. Les còpies d'altres llocs poden tenir metadades de llicència diferents; la pàgina large-v3 de Hugging Face indica Apache-2.0. Llegeix la llicència de la còpia que utilitzis. A més, la llicència cobreix el programari, no els enregistraments introduïts. Les normes de consentiment i privadesa continuen aplicant-se: obtén els consentiments necessaris i el permís de l'organitzador abans de gravar. És informació general, no assessorament jurídic; el text de la llicència MIT és la font oficial.
Per a qui és Whisper?
Whisper és adequat per a desenvolupadors i persones còmodes amb un terminal que volen transcripció gratuïta, privada i sense límit de fitxers. Si vols una transcripció acabada amb editor i exportacions, una aplicació allotjada sol ser més ràpida.
| Ets… | Bona opció | Per què |
|---|---|---|
| Un desenvolupador que crea un producte | Whisper de codi obert o una API | Control complet del procés |
| Un investigador amb entrevistes sensibles | Whisper de codi obert, executat localment | L'àudio no surt de l'ordinador |
| Un creador que necessita subtítols aquesta setmana | Una aplicació allotjada amb exportació SRT o VTT | Sense instal·lació; fitxers sincronitzats llestos per pujar |
| Una persona amb un portàtil sense GPU | Model petit local o aplicació allotjada | Els models grans necessiten uns 10 GB de VRAM |
Abans de confiar en una transcripció de Whisper: llista
Hem creat aquesta llista a partir dels errors descrits a l'article i a la fitxa d'OpenAI:
- Comprova pauses i silencis per detectar frases que ningú no ha dit.
- Busca frases repetides diverses vegades seguides.
- Comprova les primeres i últimes línies amb l'àudio.
- Verifica noms, xifres i termes tècnics.
- Confirma que la llengua s'ha detectat correctament o estableix-la manualment.
- Per traduir, assegura't que no has utilitzat turbo.
- Afegeix etiquetes de parlants amb una eina separada si les necessites.
- Obtén els consentiments necessaris abans d'enregistrar o transcriure altres persones i el permís de l'organitzador abans de gravar.
Preguntes freqüents
És gratuït Whisper AI?
Sí, OpenAI Whisper es pot descarregar i executar gratuïtament. OpenAI publica el codi i els pesos sota MIT, així que els pots utilitzar sense pagar-li. Tu aportes l'ordinador i el model large necessita aproximadament 10 GB de memòria de GPU. Les opcions allotjades costen diners: l'API d'OpenAI cobra per ús i les aplicacions tenen plans propis. «Gratuït» tampoc no vol dir fàcil; necessitaràs Python, FFmpeg i familiaritat amb la línia d'ordres.
Pot Whisper identificar diferents parlants?
No per si sol. Whisper escriu què s'ha dit però no etiqueta qui ho ha dit. La fitxa d'OpenAI indica que capacitats com la diarització no es van avaluar de manera robusta. Per obtenir etiquetes, se sol combinar Whisper amb una eina de diarització o utilitzar una aplicació que afegeixi detecció de parlants. whispertranscribe.ai, per exemple, té una opció que pots activar abans de transcriure. Comprova sempre les etiquetes quan les veus s'assemblin.
Pot Whisper transcriure en temps real?
No directament. Whisper es va dissenyar per a àudio enregistrat i el processa en finestres de 30 segons; la fitxa d'OpenAI diu que no es pot utilitzar en temps real sense treball addicional. Els desenvolupadors han creat eines gairebé en directe que hi introdueixen fragments curts a mesura que arriben. Si necessites subtítols en directe, busca una eina amb mode específic i espera més correccions que en una transcripció de l'enregistrament complet.
Quantes llengües admet Whisper?
Whisper reconeix unes 99 llengües i el tokenitzador actual enumera 100 codis després d'afegir el cantonès a large-v3. La qualitat varia molt. La fitxa d'OpenAI indica bons resultats en unes 10 llengües, i l'article va trobar que la majoria tenien menys de 1,000 hores d'àudio d'entrenament. Abans de confiar en una llengua menys habitual, prova un clip curt. Les xifres de productes, com les més de 130 llengües de whispertranscribe.ai, descriuen el suport del producte, no del model de codi obert.
És whispertranscribe.ai el mateix que OpenAI Whisper?
No. OpenAI Whisper és un model de codi obert que descarregues i executes tu mateix. whispertranscribe.ai és un servei de transcripció independent al navegador; la pàgina inicial el descriu com a eina basada en Whisper i IA de nova generació. Afegeix funcions que el model base no inclou, com pujades de fins a 5GB, importació d'enllaços de YouTube o Google Drive, detecció de parlants i exportació DOCX, PDF, SRT i VTT. Altres aplicacions amb «Whisper» al nom són productes independents d'empreses diferents.
Per què Whisper escriu de vegades paraules que ningú no ha dit?
Perquè prediu text com un model de llenguatge. La fitxa d'OpenAI diu que entrenar amb grans quantitats de dades web sorolloses fa que de vegades produeixi paraules absents de l'àudio. Segons OpenAI, combina la predicció de la següent paraula probable amb la transcripció del que sent. Un estudi de 2024 va trobar frases completes inventades en aproximadament l'1% de les transcripcions revisades, més sovint al voltant de pauses llargues. Revisa les pauses, els fragments silenciosos i tot allò important amb l'àudio.
Vols una transcripció Whisper sense instal·lació? Puja un fitxer o enganxa un enllaç a whispertranscribe.ai i obtén text en més de 130 llengües, amb exportació DOCX, PDF, SRT i VTT.
Referències
- OpenAI: Presentació de Whisper (21 de setembre de 2022)
- Radford i col·laboradors: Reconeixement robust de parla amb supervisió feble a gran escala (arXiv 2212.04356)
- OpenAI: Repositori i README de Whisper a GitHub, fitxa del model i llicència MIT
- Hugging Face: Fitxa del model openai/whisper-large-v3
- Documentació de l'API d'OpenAI: Guia de parla a text (consultada el novembre de 2026)
- Koenecke i col·laboradors: Careless Whisper: danys de les al·lucinacions en parla a text (arXiv 2402.08021)
