Che cos'è Whisper AI e come funziona il modello di OpenAI

A cura della redazione di whispertranscribe.ai · Ultimo aggiornamento a novembre 2026 · Lettura di 13 min

Che cos'è Whisper AI? Il più delle volte chi lo cerca intende Whisper di OpenAI, un modello open source di riconoscimento del parlato pubblicato a settembre 2022. Converte il parlato registrato in testo, rileva la lingua e può tradurre verso l'inglese. OpenAI lo ha addestrato su 680.000 ore di audio dal web e ha pubblicato codice e pesi con licenza MIT.

Sviluppiamo whispertranscribe.ai. whispertranscribe.ai è uno strumento web che trascrive audio e video in oltre 130 lingue. Qui distinguiamo il modello dai prodotti che lo usano. I dati sul modello provengono dallo studio, dal repository o dalla scheda del modello di OpenAI.

Che cos'è Whisper AI in breve

Whisper è il modello da voce a testo di OpenAI. Puoi scaricarlo dal repository GitHub e avviarlo sul tuo computer, oppure usare un servizio che lo esegue per te.

  • Chi lo ha sviluppato. OpenAI. Lo studio Robust Speech Recognition via Large-Scale Weak Supervision è apparso su arXiv il 6 dicembre 2022.
  • Cosa fa. Trascrive il parlato, rileva la lingua, traduce verso l'inglese e aggiunge i tempi dei segmenti.
  • Quali funzioni richiedono altro lavoro. L'identificazione dei parlanti e la trascrizione in diretta. Secondo la scheda di OpenAI, la modalità in tempo reale richiede un'implementazione aggiuntiva.
  • Dimensioni. Sei, da tiny (39 milioni di parametri) a large (1.550 milioni).
  • Costo. Il download e l'esecuzione sono gratuiti. Serve un dispositivo adatto.

I tre significati di «Whisper AI»

Il nome viene usato per indicare tre cose diverse.

Cosa viene chiamato «Whisper AI» Che cos'è Chi lo sviluppa Come si usa
OpenAI Whisper Modello open source di riconoscimento vocale OpenAI Scarichi codice e pesi ed esegui il modello in locale
whisper-1 Modello di trascrizione fornito tramite API da OpenAI OpenAI Inoltri l'audio all'API di OpenAI e paghi in base all'uso
App con «Whisper» nel nome Prodotti di trascrizione come whisperai.com e whispertranscribe.ai (questo sito) Diverse aziende Carichi o registri l'audio nelle rispettive app

Le app dell'ultima riga sono prodotti distinti dal modello. Ogni azienda definisce le proprie funzionalità, i limiti, i prezzi e le condizioni sulla privacy. Qui «Whisper» indica il modello di OpenAI.

Come funziona Whisper?

Whisper è un Transformer con codificatore e decodificatore. Il primo converte 30 secondi di audio in una rappresentazione numerica. Il secondo scrive il testo corrispondente un token alla volta, guidato da token speciali che indicano il compito.

Lo studio su Whisper descrive questi passaggi.

  1. Ricampionamento. L'audio viene convertito a 16.000 Hz.
  2. Suddivisione in finestre da 30 secondi. Il modello elabora sempre 30 secondi alla volta. I frammenti più brevi vengono completati fino a raggiungere quella durata.
  3. Creazione dello spettrogramma. Ogni finestra diventa uno spettrogramma log-Mel a 80 canali, una rappresentazione di come l'energia sonora cambia alle diverse frequenze. Si calcola su intervalli di 25 millisecondi, ogni 10 millisecondi. (Large-v3 è passato a 128 canali.)
  4. Codifica. Due strati convoluzionali e una serie di blocchi Transformer elaborano lo spettrogramma.
  5. Decodifica. Il decodificatore stima prima la lingua o produce un token che indica l'assenza di parlato. Seguono il compito (trascrivere o tradurre), l'indicazione di includere o meno i codici temporali e infine il testo.

Anche i tempi vengono predetti come token e arrotondati ai 20 millisecondi più vicini. Lo stesso modello può così rilevare la lingua, trascrivere, tradurre e indicare i tempi.

Su quali dati è stato addestrato Whisper?

I modelli originali hanno imparato da 680.000 ore di audio online e dalle relative trascrizioni. OpenAI chiama il metodo «supervisione debole» perché le trascrizioni non venivano controllate a mano come nei set di dati per le prove comparative.

Quota dell'audio di addestramento Ore Contenuto
Circa il 65% 438.000 Audio in inglese con trascrizioni in inglese
Circa il 18% 126.000 Audio in altre lingue con trascrizioni in inglese (dati per la traduzione)
Circa il 17% 117.000 Audio in altre lingue con trascrizioni nella stessa lingua

I dati provengono dalla scheda del modello Whisper. Lo studio arrotonda a 125.000 ore la parte per la traduzione.

Due scelte spiegano come si comporta il modello. OpenAI ha filtrato le trascrizioni che sembravano generate da una macchina, come quelle tutte in maiuscolo. Il modello ha così imparato a scrivere frasi con la punteggiatura. Le prime versioni tendevano inoltre a indovinare i nomi dei parlanti, perché molte trascrizioni online li contenevano. OpenAI ha corretto il comportamento con un addestramento mirato. Il caso mostra quanto il testo prodotto rispecchi quello di addestramento.

Large-v3 è stato addestrato in modo diverso su circa 5 milioni di ore. Una parte di 1 milione aveva etichette web con supervisione debole e 4 milioni sono state etichettate da large-v2. Scheda del modello su Hugging Face

Confronto delle dimensioni dei modelli Whisper

Whisper è disponibile in sei dimensioni. I modelli piccoli sono più veloci su dispositivi meno potenti. Quelli grandi commettono meno errori ma richiedono più memoria video (VRAM). I dati provengono dal README di OpenAI.

Dimensione Parametri Versione solo inglese Versione multilingue VRAM richiesta Velocità rispetto a large
tiny 39 M tiny.en tiny ~1 GB ~10×
base 74 M base.en base ~1 GB ~7×
small 244 M small.en small ~2 GB ~4×
medium 769 M medium.en medium ~5 GB ~2×
large 1550 M Nessuna large ~10 GB 1×
turbo 809 M Nessuna turbo ~6 GB ~8×

OpenAI ha misurato le velocità sul parlato inglese con una GPU A100 da data center e avverte che le velocità effettive possono variare molto. Un portatile sarà più lento.

Quale modello Whisper scegliere?

Parti dalla memoria disponibile e dall'uso della trascrizione.

  • Prove su un computer di base. Tiny o base, circa 1 GB di VRAM. Aspettati più errori.
  • Solo inglese. Usa un modello .en. Secondo OpenAI, questi modelli vanno meglio, soprattutto nelle dimensioni tiny e base.
  • Buona qualità e velocità. Turbo, circa 6 GB. È il modello predefinito da riga di comando.
  • Traduzione del parlato in inglese. Medium o large. Turbo non è addestrato per tradurre e restituisce la lingua originale anche se gli chiedi la traduzione.
  • Audio difficile e massima qualità. Large, circa 10 GB di VRAM.

Breve storia delle versioni di Whisper

«Large» indica tre versioni. Turbo è una variante alleggerita di large-v3. Il risultato cambia a seconda dei pesi della versione scelta.

Versione Pubblicazione Novità
Modelli originali (da tiny a large) Settembre 2022 Prima versione open source pubblicata con lo studio
large-v2 Dicembre 2022 Stesse dimensioni, addestramento 2,5 volte più lungo e più regolarizzazione
large-v3 Novembre 2023 128 canali Mel, nuovo token per il cantonese e dal 10% al 20% di errori in meno rispetto a v2 in molte lingue
turbo (large-v3-turbo) Settembre 2024 Strati del decodificatore ridotti da 32 a 4 per aumentare la velocità, senza funzione di traduzione

Fonti: scheda di Whisper, nota dello studio su large-v2 e schede di large-v3 e large-v3-turbo su Hugging Face.

Quante lingue supporta Whisper?

Whisper riconosce circa 99 lingue. Il rilevatore della lingua dello studio usava 99 token. Il tokenizer attuale elenca 100 codici dopo l'aggiunta del cantonese in large-v3. La qualità varia per lingua. La scheda del modello riporta buoni risultati in circa 10 lingue.

La qualità dipende dai dati di addestramento. Lo studio rileva che il numero di ore disponibili permette di prevedere bene le prestazioni in una lingua e che la maggior parte delle lingue aveva meno di 1.000 ore. Inglese, spagnolo e tedesco di solito danno risultati migliori rispetto a lingue con meno dati. Il README rimanda a un grafico degli errori per lingua.

Le lingue supportate dal servizio. whispertranscribe.ai supporta oltre 130 lingue. La pagina dei prezzi parla di oltre 130 lingue e accenti per il prodotto.

Quanto è preciso Whisper?

La precisione dipende dalle dimensioni del modello, dalla lingua e dalla registrazione. Sul parlato inglese letto e senza rumore, large-v2 ha raggiunto un tasso di errore sulle parole (WER) del 2,7%. La media di 14 set di prova in inglese, in gran parte più complessi, è del 12,8%.

Il WER misura le parole sostituite, omesse o aggiunte rispetto a una trascrizione umana di riferimento. Più è basso, meglio è. I dati provengono dalla tabella 2 dello studio, che confronta Whisper large-v2 con un modello wav2vec 2.0 addestrato sugli audiolibri del set LibriSpeech.

Set di prova WER wav2vec 2.0 WER Whisper large-v2
LibriSpeech clean (audiolibri letti) 2,7% 2,7%
Common Voice (parlato registrato da volontari) 29,9% 9,0%
CHiME-6 (registrazioni rumorose di cene) 65,8% 25,5%
Media dei 14 set di prova della tabella dello studio 29,3% 12,8%

I modelli sono pari con gli audiolibri, mentre Whisper tiene meglio negli altri casi e fa in media il 55,2% di errori in meno. Nell'annuncio, OpenAI arrotonda il dato al 50%. Nelle prove con rumore, i modelli addestrati su LibriSpeech superavano Whisper quando l'audio era quasi pulito. Restavano indietro quando il rumore di fondo tipico di un locale diventava forte, sotto un rapporto segnale-rumore di 10 dB.

Questi dati misurano le prestazioni nei test di ricerca. Sui file reali i risultati cambiano. Per quanto riguarda il servizio, whispertranscribe.ai arriva fino al 99% con audio chiaro. Il rumore di fondo, le voci sovrapposte e gli accenti marcati riducono il valore.

Quali sono i limiti di Whisper?

Il limite principale di Whisper è che può scrivere un testo scorrevole anche se nessuno ne ha pronunciato le parole. OpenAI chiama il fenomeno allucinazione e lo collega all'addestramento con supervisione debole. La scheda indica inoltre ripetizioni, precisione variabile tra lingue e accenti e assenza di etichette integrate dei parlanti.

  1. Testo inventato. Nello studio del 2024 Careless Whisper, circa l'1% delle trascrizioni esaminate conteneva espressioni o frasi intere assenti dall'audio. Le allucinazioni erano più frequenti in presenza di pause lunghe.
  2. Ripetizioni. Il modello può bloccarsi e ripetere una frase. Secondo la scheda del modello, la ricerca a fascio e la variazione della temperatura attenuano in parte il problema.
  3. Prime o ultime parole omesse. Lo studio indica come errore noto che il modello a volte salta alcune parole all'inizio o alla fine di un segmento.
  4. Finestre nei file lunghi. Whisper vede 30 secondi alla volta. Nei file più lunghi, lo strumento sposta la finestra in base ai tempi stimati. Un errore in una finestra può compromettere la successiva.
  5. Etichette dei parlanti assenti. La scheda spiega che la diarizzazione, cioè l'identificazione di chi parla e quando, non è stata valutata in modo approfondito. Serve uno strumento a parte.
  6. Tempo reale da implementare. Whisper è progettato per le registrazioni. Per ottenere sottotitoli in diretta serve un'implementazione aggiuntiva.
  7. Risultati disomogenei per lingua e accento. La scheda segnala tassi di errore più alti per alcuni accenti, dialetti e gruppi demografici.

OpenAI sconsiglia anche di trascrivere persone senza il loro consenso e di usare il modello per prendere decisioni ad alto rischio.

Dove differiscono le fonti ufficiali

Alcuni valori cambiano tra i documenti di OpenAI, in genere per arrotondamenti o differenze tra versioni. Consultali prima di citare un dato.

Argomento Prima fonte Seconda fonte Quale dato usare
Riduzione degli errori rispetto ai modelli LibriSpeech Studio, 55,2% di errori in meno in media Annuncio OpenAI, 50% di errori in meno Cita lo studio e indica il confronto
Lingue di addestramento oltre all'inglese Studio, 96 altre lingue Scheda del modello, 98 lingue «Circa 99 lingue» per il riconoscimento
Ore di addestramento per la traduzione Scheda, 126.000 Studio, 125.000 Entrambi i valori, specificando che sono approssimativi
Numero di parametri di turbo README e Hugging Face, 809 M Tabella nella scheda del modello, 798 M 809 M, il dato usato da più fonti
Dimensioni dei dati di addestramento Studio originale, 680.000 ore Scheda di large-v3, 5 milioni di ore Specifica la versione
Licenza GitHub, MIT per codice e pesi Metadati di large-v3 su Hugging Face, Apache-2.0 Verifica il file di licenza della copia che scarichi

Come usare Whisper in locale, tramite API o con un'app

Le opzioni sono tre. Eseguire Whisper in locale non costa nulla e mantiene l'audio sul tuo dispositivo. L'API di OpenAI evita la configurazione ma limita la dimensione dei file. Un servizio di trascrizione aggiunge un editor, il riconoscimento dei parlanti e le esportazioni, con condizioni proprie.

Whisper open source in locale API di trascrizione di OpenAI Servizio di trascrizione online
Preparazione Python, PyTorch e FFmpeg Codice e chiave API Un browser
Costo Gratuito, sul tuo hardware Paghi in base all'uso Piano gratuito o abbonamento, secondo l'app
Limite del file Dipende dal tuo hardware 25 MB per file Dipende dall'app
Dove va l'audio Resta sul computer Viene inviato a OpenAI Viene inviato ai server dell'app
Etichette dei parlanti Non integrate Assenti in whisper-1 Dipende dall'app
Modifiche ed esportazione TXT, SRT, VTT, TSV e JSON da riga di comando Il tuo codice riceve il risultato. Il resto dipende da te Di solito un editor ed esportazioni in documenti e sottotitoli

Esegui Whisper sul tuo computer

Il README di OpenAI indica il comando di installazione e un esempio di avvio.

pip install -U openai-whisper
whisper interview.mp3 --model turbo

Serve anche FFmpeg. Secondo il README, il codice dovrebbe funzionare con Python da 3.8 a 3.11. Aggiungi --language per specificare la lingua parlata oppure --task translate con un modello multilingue per tradurre verso l'inglese. Al primo avvio vengono scaricati i pesi del modello.

Usa l'API di OpenAI

La guida di OpenAI da voce a testo fissa il limite a 25 MB per file. Comprimi o dividi quelli più grandi. Nella versione consultata a novembre 2026, la guida indica whisper-1 come deprecato, ne fissa la disattivazione al 26 febbraio 2027 e rimanda a modelli di trascrizione più recenti. Questi ultimi sono modelli vocali di OpenAI distinti dalle versioni di Whisper open source.

Usa un servizio di trascrizione online

Se preferisci evitare l'installazione, un'app online elabora i file sui propri server. Tra le opzioni c'è whispertranscribe.ai. Per provarlo, puoi iniziare dal convertitore gratuito da audio a testo. La pagina iniziale presenta whispertranscribe.ai come uno strumento basato su Whisper e su modelli IA più recenti. Le pagine del prodotto elencano queste funzioni.

Il file viene inviato a un servizio cloud. Il servizio non offre API, vocabolario personalizzato o bot per le riunioni. I piani a pagamento partono da 9,99 USD al mese con fatturazione annuale (prezzi). Puoi iniziare gratis senza registrarti. Per altri dettagli, consulta lo strumento di trascrizione Whisper AI o l'elenco delle funzionalità.

Whisper è open source? Che cosa permette la licenza?

Sì. Il repository di OpenAI indica che codice e pesi del modello Whisper sono pubblicati con licenza MIT. La MIT è una licenza permissiva. In generale consente di usare, copiare, modificare e vendere software basato sul codice, purché si conservino l'avviso di copyright e la licenza.

Le copie su altri siti possono avere metadati di licenza diversi. La pagina di large-v3 su Hugging Face, per esempio, indica Apache-2.0. Leggi la licenza della copia che usi. La licenza riguarda il software e per le registrazioni valgono comunque le regole sul consenso e sulla privacy. Queste sono informazioni generali, non una consulenza legale. Testo ufficiale della licenza MIT

A chi serve Whisper?

Whisper è adatto a sviluppatori e a chi sa usare il terminale e cerca una trascrizione gratuita, privata e senza limiti imposti da un servizio. Se vuoi un testo pronto da modificare ed esportare, un'app online è in genere più veloce da usare.

Chi sei Opzione adatta Perché
Sviluppi un prodotto Whisper open source o un'API Hai il controllo del processo
Fai ricerca con interviste riservate Whisper open source in locale L'audio resta sul computer
Crei contenuti e ti servono sottotitoli questa settimana Un servizio online che esporta SRT o VTT Nessuna configurazione e file pronti con i tempi
Usi un portatile senza GPU Un modello piccolo in locale o un servizio online I modelli grandi richiedono circa 10 GB di VRAM

Cosa controllare prima di usare una trascrizione di Whisper

Questi controlli partono dai problemi indicati nello studio e nella scheda di OpenAI.

  • Controlla a campione le pause e i silenzi per trovare frasi che nessuno ha detto.
  • Cerca espressioni ripetute più volte di seguito.
  • Confronta l'inizio e la fine del testo con l'audio.
  • Verifica nomi, numeri e termini tecnici.
  • Verifica la lingua rilevata oppure impostala a mano.
  • Per tradurre, assicurati di non aver usato turbo.
  • Se servono, aggiungi le etichette dei parlanti con uno strumento separato.
  • Chiedi il consenso prima di registrare o trascrivere altre persone.

Domande frequenti

Whisper AI è gratis?

Sì. Whisper di OpenAI si scarica ed esegue gratuitamente. OpenAI rilascia il codice e i pesi con licenza MIT, quindi puoi usarli senza pagare OpenAI. Serve un tuo computer e il modello large richiede circa 10 GB di memoria della GPU. Le opzioni online hanno costi. L'API di OpenAI fa pagare in base all'uso e le app di trascrizione fissano i propri prezzi. Per usare Whisper in locale servono anche Python, FFmpeg e un po' di dimestichezza con la riga di comando.

Whisper può identificare i parlanti?

Per identificare chi ha detto cosa serve un altro strumento. Whisper trascrive il parlato senza attribuirlo. La scheda di OpenAI indica che funzionalità come la diarizzazione non sono state valutate in modo approfondito. Di solito si usa Whisper insieme a uno strumento di diarizzazione oppure si sceglie un servizio che aggiunge il riconoscimento dei parlanti. In whispertranscribe.ai, per esempio, puoi attivarlo prima di trascrivere. Controlla sempre le etichette quando le voci si somigliano.

Whisper può trascrivere in tempo reale?

La trascrizione in tempo reale richiede un'implementazione aggiuntiva. Whisper è progettato per audio registrato ed elabora finestre da 30 secondi. La scheda di OpenAI spiega che non funziona direttamente in tempo reale. Gli sviluppatori hanno creato strumenti quasi in tempo reale inviando brevi segmenti man mano che arrivano. Se ti servono sottotitoli in diretta, scegli uno strumento con una modalità dedicata e considera che il testo in diretta richiede più revisioni di quello ottenuto dalla registrazione completa.

Quante lingue supporta Whisper?

Whisper riconosce circa 99 lingue. Il tokenizer attuale elenca 100 codici linguistici dopo l'aggiunta del cantonese in large-v3. La qualità varia molto. La scheda di OpenAI riporta buoni risultati in circa 10 lingue e lo studio rileva che per la maggior parte delle lingue erano disponibili meno di 1.000 ore di training. Per una lingua meno comune, prova prima un frammento breve. Il numero di lingue dei prodotti, come le oltre 130 di whispertranscribe.ai, riguarda ogni singolo servizio.

whispertranscribe.ai e Whisper di OpenAI sono la stessa cosa?

Whisper di OpenAI è un modello open source che puoi scaricare ed eseguire. whispertranscribe.ai è un servizio di trascrizione per browser. Nella pagina iniziale è descritto come basato su Whisper e su modelli di IA più recenti. Aggiunge caricamenti fino a 5 GB, importazione da link di YouTube o Google Drive, riconoscimento dei parlanti ed esportazioni DOCX, PDF, SRT e VTT. Le altre app con «Whisper» nel nome sono prodotti di aziende diverse.

Perché Whisper a volte scrive parole che non sono state dette?

Il modello predice il testo come un modello linguistico. Secondo la scheda di OpenAI, l'addestramento su grandi quantità di dati web con rumore lo porta a volte a scrivere parole assenti dall'audio. OpenAI spiega che il modello combina la previsione della parola successiva con la trascrizione di ciò che sente. Uno studio del 2024 ha trovato frasi interamente inventate in circa l'1% delle trascrizioni esaminate, più spesso vicino a pause lunghe. Confronta con l'audio le pause, i punti poco udibili e i passaggi importanti.


Vuoi ottenere una trascrizione con Whisper senza configurarlo? Carica un file o incolla un link in whispertranscribe.ai per ottenere testo in oltre 130 lingue, con esportazioni in DOCX, PDF, SRT e VTT.

Fonti

Vuoi trasformare le tue registrazioni in testo?

Trascrivi audio e video con whispertranscribe.ai.

Inizia a trascrivere ↗