Par la rédaction de whispertranscribe.ai · Dernière mise à jour : novembre 2026 · 13 min de lecture · Catégorie : Précision de la transcription
Quelle est la précision de Whisper ? Sur de l’anglais lu dans de bonnes conditions, l’article d’OpenAI rapporte un taux d’erreur sur les mots (WER) de 2,5 % pour Whisper large-v2, soit environ 97 à 98 mots corrects sur 100. Les enregistrements plus difficiles donnent des taux plus élevés : 13,6 % pour les appels, 24,9 % pour des conversations autour d’un dîner bruyant et 39,9 % pour une réunion enregistrée par un seul micro distant.
Whisper est le modèle open source de reconnaissance de la parole d’OpenAI. Il sert de moteur à de nombreux outils de transcription, dont le nôtre. Ce guide se concentre sur la précision : ce que mesure le WER, les résultats par type d’audio et par langue, les limites de Whisper et le test à faire sur vos fichiers. Pour le modèle lui-même, consultez notre présentation de Whisper AI.
La plupart des chiffres viennent de l’article sur Whisper (Radford et autres, 2022), qui évalue chaque modèle sans l’affiner sur les jeux de test (zero-shot). La fiche de large-v3, plus récente, signale 10 à 20 % d’erreurs en moins que large-v2 dans de nombreuses langues, sans tableau détaillé par jeu de données. Cet article est publié par whispertranscribe.ai. Nous n’avons pas réalisé de banc d’essai pour ce guide ; aucun de ces chiffres n’est le résultat de nos propres tests.
La précision de Whisper en un coup d’œil
Aucun jeu de test ne suffit à répondre à la question : les conditions de l’audio font varier le résultat plus que tout autre facteur. Le tableau reprend les résultats d’OpenAI pour large-v2 avec recherche en faisceau et repli sur d’autres températures (tableau 9 de l’annexe), après application du normaliseur de texte d’OpenAI.
| Type d’audio | Jeu de test de l’article | WER de Whisper large-v2 | Part approximative de mots corrects |
|---|---|---|---|
| Livre audio, lecture claire | LibriSpeech test-clean | 2,5 % | Environ 97,5 sur 100 |
| Lecture de textes d’actualité | WSJ | 2,6 % | Environ 97,4 sur 100 |
| Conférences TED | TED-LIUM 3 | 3,7 % | Environ 96 sur 100 |
| Livre audio, voix plus difficiles à reconnaître | LibriSpeech test-other | 4,9 % | Environ 95 sur 100 |
| Bénévoles enregistrés avec leur propre micro | Common Voice 5.1 | 8,2 % | Environ 92 sur 100 |
| Conversations téléphoniques | Switchboard | 13,6 % | Environ 86 sur 100 |
| Entretiens sociolinguistiques longs | CORAAL | 14,2 % | Environ 86 sur 100 |
| Appels entre proches | CallHome | 16,4 % | Environ 84 sur 100 |
| Réunions avec un micro-casque par personne | AMI IHM | 17,4 % | Environ 83 sur 100 |
| Conversations de dîner, microphones distants | CHiME-6 | 24,9 % | Environ 75 sur 100 |
| Réunions avec un seul micro distant sur la table | AMI SDM1 | 39,9 % | Environ 60 sur 100 |
La part de mots corrects est estimée en soustrayant le WER de 100. C’est un raccourci, car le WER compte aussi les mots ajoutés.
On cite souvent 2,7 % : ce chiffre vient du même modèle avec un décodage glouton plus simple (tableau 2 de l’article). Les deux lignes AMI portent sur les mêmes réunions enregistrées de deux manières. Passer d’un micro près de chaque personne à un seul au milieu de la table fait plus que doubler le taux d’erreur.
Qu’est-ce que le taux d’erreur sur les mots (WER) et comment le calcule-t-on ?
Le WER mesure les erreurs dans une transcription par rapport à une version de référence vérifiée par une personne. Comptez trois types d’erreurs et divisez par le nombre de mots de la référence :
WER = (substitutions + suppressions + insertions) ÷ nombre de mots de la référence
- Substitution : un mot incorrect remplace le bon mot (« lunch » à la place de « launch »).
- Suppression : un mot prononcé manque dans la transcription.
- Insertion : la transcription contient un mot que personne n’a prononcé.
Voici un exemple fictif en anglais, évalué avec la bibliothèque open source jiwer :
| Ligne | Texte |
|---|---|
| Référence (22 mots) | we moved the product launch to march ninth because the vendor missed two deadlines and doctor patel wants a new test plan |
| Transcription | we moved the product lunch to march ninth because vendor missed two deadlines and doctor battle wants a new test plan today |
| Erreurs | 2 substitutions (lunch, battle), 1 suppression (the), 1 insertion (today) |
| WER | 4 ÷ 22 = 18,2 % |
Trois points peuvent surprendre :
- Le WER peut dépasser 100 %. Le nombre d’insertions n’a pas de plafond. Dans les résultats de l’article sur Fleurs, quelques langues disposant de peu de données dépassent 100 %.
- La normalisation change le résultat. En anglais, « Dr. » et « doctor » comptent comme une erreur si les deux textes ne sont pas normalisés pareil. OpenAI indique que son normaliseur a réduit le WER jusqu’à 50 % sur certains jeux, surtout en supprimant les différences de forme.
- Certaines langues utilisent le taux d’erreur sur les caractères (CER). Pour le chinois, le japonais, le thaï, le lao et le birman, qui ne séparent pas les mots par des espaces, l’article calcule les erreurs caractère par caractère.
Un chiffre de précision sans jeu de données et sans méthode de calcul ne constitue pas une mesure, même lorsqu’il vient de nous.
Quelle est la précision de Whisper en anglais ?
Whisper est très précis sur de l’anglais clair et reste utilisable dans des conditions difficiles. Dans l’article, il fait 55,2 % d’erreurs en moins sur 12 autres jeux de données anglais qu’un modèle wav2vec 2.0 supervisé au résultat presque identique sur LibriSpeech.
Enregistrements longs
Whisper traite des fenêtres de 30 secondes. L’article a donc évalué les longs fichiers séparément (tableau 16 de l’annexe, large-v2) :
| Jeu de test long | Contenu | WER |
|---|---|---|
| TED-LIUM 3 | 11 conférences TED entières | 3,5 % |
| Meanwhile | 64 extraits d’émissions de fin de soirée, riches en mots inhabituels | 5,1 % |
| Kincaid46 | 46 enregistrements variés tirés d’un comparatif de 2018 | 8,8 % |
| Earnings-21 | Conférences téléphoniques sur les résultats financiers d’entreprises | 9,7 % |
| Rev16 | 16 épisodes de podcasts | 11,3 % |
| Earnings-22 | Autres appels sur les résultats financiers, avec de nombreux accents | 12,6 % |
| CORAAL | 231 entretiens complets en anglais afro-américain | 19,6 % |
Whisper comparé à des services de transcription humaine
OpenAI a confié 25 enregistrements de Kincaid46 à quatre services humains et à un service assisté par ordinateur. Ce dernier a obtenu un WER inférieur de 1,15 point à celui de Whisper ; les services entièrement humains ne le devançaient que d’une fraction de point. L’article conclut à une précision imparfaite, mais très proche de celle des humains.
La taille du modèle compte
Whisper existe en plusieurs tailles, et les applications ne précisent pas toujours laquelle elles utilisent (tableau 9 de l’annexe) :
| Modèle | Paramètres | LibriSpeech clean | Common Voice 5.1 | Switchboard | CHiME-6 |
|---|---|---|---|---|---|
| tiny | 39 M | 6,7 % | 26,1 % | 18,3 % | 48,0 % |
| base | 74 M | 4,9 % | 19,4 % | 15,6 % | 40,0 % |
| small | 244 M | 3,3 % | 12,8 % | 13,3 % | 30,9 % |
| medium | 769 M | 2,7 % | 9,7 % | 13,2 % | 27,6 % |
| large-v2 | 1 550 M | 2,5 % | 8,2 % | 13,6 % | 24,9 % |
L’écart augmente quand l’audio devient difficile : environ 4 points pour les livres audio clairs, contre 23 pour les conversations du dîner. Le modèle turbo, une version optimisée de large-v3, accepte une perte de précision minime selon le README GitHub d’OpenAI en échange d’une transcription nettement plus rapide.
Quelle est la précision de Whisper dans les autres langues ?
En dehors de l’anglais, la précision dépend surtout du volume d’audio d’entraînement dans chaque langue. L’article rapporte une corrélation au carré de 0,83 entre le logarithme du nombre d’heures et celui du WER. Il estime qu’il faut 16 fois plus de données pour diviser le WER par deux. La plupart des 96 langues autres que l’anglais avaient moins de 1 000 heures.
Quelques résultats sur Fleurs (phrases lues, large-v2, tableau 13 de l’annexe) :
| Langue | WER sur Fleurs | Remarque |
|---|---|---|
| Espagnol | 3,0 % | Le plus bas du tableau |
| Anglais | 4,2 % | |
| Portugais | 4,3 % | |
| Allemand | 4,5 % | |
| Japonais | 5,3 % | Taux d’erreur sur les caractères |
| Russe | 5,6 % | |
| Français | 8,3 % | |
| Coréen | 14,3 % | Résultat atypique |
| Chinois | 14,7 % | Taux d’erreur sur les caractères |
| Arabe | 16,0 % | |
| Hindi | 21,5 % | |
| Hébreu | 27,1 % | Résultat atypique |
| Swahili | 39,3 % | |
| Télougou | 99,0 % | Résultat atypique |
L’article indique que l’hébreu, le télougou, le chinois et le coréen donnent des résultats inférieurs à ceux que la quantité de données laissait prévoir. Il évoque la distance linguistique, une segmentation du texte mal adaptée à ces écritures ou la qualité des données. Fleurs contient de la parole lue : attendez-vous à plus d’erreurs dans une conversation. Le README propose un graphique plus récent qui compare large-v3 et large-v2 sur Common Voice 15 et Fleurs.
L’espagnol donne des résultats encourageants si vous transcrivez un audio en espagnol. Pour une langue disposant de moins de données, testez un extrait avant d’engager tout un projet.
Qu’est-ce qui influe sur la précision de Whisper ?
Les conditions d’enregistrement comptent le plus. Voici ce que l’article et la fiche du modèle montrent :
| Facteur | Ce que montrent les résultats | Action conseillée |
|---|---|---|
| Bruit de fond | Avec un bruit de pub et un rapport signal sur bruit inférieur à 10 dB, Whisper devance les 14 modèles comparés ; tous se dégradent quand le bruit augmente | Enregistrez au calme, loin des ventilateurs et de la musique |
| Distance au microphone | Mêmes réunions AMI : 17,4 % avec des micros-casques, 39,9 % avec un seul micro sur la table | Gardez le micro près de la personne qui parle |
| Conversations et paroles simultanées | De 13,6 % à 24,9 % sur les appels et dîners, contre 2,5 % sur le texte lu | Une seule personne à la fois et un micro par intervenant |
| Accents et dialectes | La fiche indique une précision variable ; les longs entretiens CORAAL obtiennent 19,6 % | Faites un essai avec des voix semblables à vos enregistrements |
| Jargon et mots rares | Bon résultat sur Meanwhile, riche en jargon (5,1 %), mais les noms et termes techniques restent des erreurs fréquentes | Comparez les noms et termes à une liste |
| Données par langue | Le WER sur Fleurs va de 3,0 % (espagnol) à 99,0 % (télougou) | Choisissez la langue vous-même et prévoyez plus de relecture pour les langues moins documentées |
| Taille du modèle | Sur CHiME-6, tiny atteint 48,0 %, large-v2 24,9 % | Vérifiez quel modèle l’outil utilise ou choisissez le plus grand que vous pouvez exécuter |
| Format et fréquence d’échantillonnage | Le code de Whisper rééchantillonne tout l’audio en mono à 16 kHz | Un WAV à 48 kHz n’apporte rien par rapport à un fichier clair à 16 kHz |
Convertir un MP3 en WAV volumineux ne restitue pas les détails perdus. Un enregistrement clair avec un débit modeste vaut mieux qu’un fichier bruyant à haut débit.
Problèmes connus de Whisper : hallucinations, répétitions et minutage
OpenAI décrit chacun de ces problèmes. Leurs conséquences sont souvent plus importantes que ne le laisse penser leur poids dans le WER.
Texte inventé
Whisper peut écrire des mots que personne n’a prononcés. La fiche du modèle précise que certaines prédictions peuvent contenir du texte absent de l’enregistrement, sans doute parce que le modèle prédit aussi les mots suivants les plus probables. La section de l’article consacrée aux limites mentionne même des hallucinations complètes, sans rapport avec l’audio.
Dans l’étude indépendante Careless Whisper (Koenecke et autres, 2024), les auteurs ont traité 13 140 segments audio avec l’API Whisper d’OpenAI en avril et mai 2023. Environ 1 % des transcriptions (1,4 % en moyenne) contenaient des expressions ou des phrases entières inventées ; parmi elles, 38 % contenaient du contenu préjudiciable, comme des propos violents ou de fausses associations. Les personnes qui faisaient de longues pauses, ici des personnes aphasiques, étaient plus souvent concernées. L’API a changé depuis : ces chiffres décrivent la situation en 2023.
Répétitions en boucle et mots manquants
La fiche indique que Whisper a tendance à répéter du texte. La recherche en faisceau et l’ajustement de la température réduisent ce phénomène sans l’éliminer. L’article mentionne aussi l’omission des premiers ou derniers mots d’un segment. Ses améliorations du décodage ont fait passer le WER moyen sur les longs fichiers de 11,0 % à 10,0 % : un progrès, pas une solution complète.
Silences, musique et hésitations
Le texte inventé apparaît souvent pendant des silences prolongés ou de la musique. L’article juge le signal d’absence de parole de Whisper peu fiable s’il est utilisé seul. Le code open source propose désormais de sauter les longs silences lorsqu’une hallucination semble probable.
Dérive des repères temporels dans les longs fichiers
Whisper parcourt les longs fichiers par fenêtres de 30 secondes et utilise ses propres repères pour placer la fenêtre suivante. L’article précise qu’une erreur dans une fenêtre peut se répercuter sur la suivante. Le minutage par mot reste marqué comme expérimental dans le code. Pour les sous-titres, vérifiez quelques repères autour des pauses.
Pendant le développement, OpenAI a aussi remarqué que Whisper devinait les noms des intervenants et se trompait presque toujours. Les modèles publiés ont été affinés pour limiter ce comportement, mais vérifiez tous les noms dans le texte.
10 façons d’améliorer la précision de Whisper
Les améliorations se jouent surtout avant de lancer la transcription. Voici les mesures à prendre, par ordre approximatif d’impact :
- Rapprochez le microphone. Dans les réunions AMI, la distance a suffi à plus que doubler le taux d’erreur.
- Réduisez le bruit à la source. Fermez les fenêtres, éteignez les ventilateurs et mettez la musique en pause.
- Évitez les paroles simultanées. Parler à tour de rôle est plus efficace que n’importe quel réglage.
- Coupez les longs silences et les génériques musicaux, où le texte inventé est le plus fréquent. Coupez pendant une pause, pas au milieu d’une phrase.
- Réglez la langue manuellement. Whisper a reconnu la langue dans 80,3 % des cas sur 82 langues de Fleurs. La détection automatique peut échouer sur un extrait court ou une voix très accentuée.
- Utilisez le plus grand modèle disponible, surtout pour les enregistrements bruités.
- Indiquez les noms et les termes si vous hébergez le modèle. Whisper open source accepte l’option
--initial_promptpour fournir l’orthographe attendue. - Importez le fichier d’origine. Réenregistrer le son par des haut-parleurs ou le recompresser plusieurs fois élimine des détails.
- Vérifiez le vocabulaire. Retrouvez chaque nom, chiffre, date et sigle et comparez-les à l’audio.
- Relisez en deux passes. Corrigez d’abord les erreurs à vitesse normale. Cherchez ensuite les signes d’hallucination : lignes répétées, phrases pendant les silences et formules de fin comme « Merci d’avoir regardé ». Pour un usage juridique, médical ou destiné à publication, demandez à une personne de tout vérifier.
Mesurer la précision de Whisper sur vos propres fichiers
Un essai d’environ 30 minutes sur vos enregistrements donne la meilleure estimation pour votre usage. Voici des étapes à faire vous-même ; elles ne décrivent pas un test de whispertranscribe.ai.
- Choisissez trois extraits de 2 minutes représentatifs de votre travail : un facile, un typique et un difficile.
- Rédigez une transcription de référence à la main, mot pour mot. Fixez les règles : garder ou retirer les « euh », écrire les nombres en chiffres ou en toutes lettres.
- Transcrivez chaque extrait avec l’outil à tester et enregistrez le texte brut.
- Normalisez les deux textes de la même manière. Le normaliseur d’OpenAI est compris dans
openai-whisper. - Calculez le WER avec jiwer :
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer
norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())
out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%} S={out.substitutions} D={out.deletions} I={out.insertions}")
- Comptez séparément les erreurs importantes. Cinq hésitations mal transcrites et cinq noms de clients inexacts donnent le même WER, mais ne posent pas le même problème.
- Notez les résultats pour comparer outils et réglages :
| Extrait | Conditions | Mots de référence | S | D | I | WER | Erreurs importantes |
|---|---|---|---|---|---|---|---|
| Extrait A | Pièce calme, un intervenant | 310 | |||||
| Extrait B | Appel vidéo, deux intervenants | 285 | |||||
| Extrait C | Café, intervenant avec un accent | 296 |
Les nombres de mots sont fictifs. Attention à l’étape 4 : sur une phrase d’exemple, le normaliseur anglais d’OpenAI a reconnu « Dr. » comme équivalent à « doctor » et « two » à « 2 », mais a encore compté « 9th » et « ninth » comme une erreur. Examinez les différences signalées avant de vous fier au score.
Quelle est la précision de whispertranscribe.ai ?
whispertranscribe.ai est un outil de transcription par IA en ligne qui utilise Whisper. Il prend en charge plus de 130 langues et des fichiers jusqu’à 5 Go et 10 heures. La précision peut atteindre 99 % sur un son clair. Le bruit de fond, les accents marqués et les paroles simultanées la réduisent, comme le montrent les résultats pour Whisper ci-dessus. Nous ne prétendons pas égaler ou dépasser les chiffres de l’article et n’avons pas publié notre propre banc d’essai. Testez donc vos extraits avec les étapes ci-dessus.
- Options Noise / Low-Quality Audio/Video pour de nombreuses langues. Sur un fichier bruité, essayez le mode standard et le mode bruité, puis comparez.
- Plus de 130 langues, un mode Multilingual Mix et la traduction de l’audio en anglais.
- Fichiers jusqu’à 5 Go et 10 heures, détection des intervenants et repères temporels (toutes les fonctionnalités).
- Audio de départ : enregistrez dans le navigateur près du micro, ou convertissez une vidéo en MP3 pour importer uniquement l’audio.
- Exports en DOCX, PDF, TXT, CSV, SRT et VTT, avec un générateur de sous-titres pour le texte horodaté.
Vous pouvez commencer gratuitement sans compte. Les forfaits payants sont proposés à partir de 9,99 $ par mois avec facturation annuelle (voir les tarifs).
Questions fréquentes
Whisper est-il précis à 99 % ?
Pas en général. Sur LibriSpeech test-clean, un jeu de livres audio lus clairement, l’article rapporte un taux d’erreur sur les mots de 2,5 %, soit environ 97,5 % de mots corrects. Sur les appels, les réunions et les lieux bruyants, les chiffres d’OpenAI vont d’environ 13 % à 40 % de WER. Une précision annoncée de 99 % n’a de sens que si l’on précise l’audio utilisé. Évaluez les outils construits autour de Whisper, dont whispertranscribe.ai, sur vos propres fichiers plutôt que sur un chiffre mis en avant.
Quel modèle Whisper est le plus précis ?
Les grands modèles sont les plus précis. Dans l’article d’OpenAI, large-v2 obtient les taux d’erreur les plus bas sur la plupart des jeux de test. La fiche de large-v3 annonce 10 à 20 % d’erreurs en moins que large-v2 dans de nombreuses langues. Turbo est une version optimisée de large-v3 : selon OpenAI, elle perd peu en précision pour un gain important de vitesse. Tiny, le plus petit modèle, est nettement moins précis sur un audio difficile : 48,0 % de WER pour les conversations de dîner bruyantes, contre 24,9 % pour large-v2.
Pourquoi Whisper écrit-il des mots qui n’ont pas été prononcés ?
Whisper peut inventer du texte parce qu’il a appris à prédire des suites probables tout en transcrivant l’audio. La fiche d’OpenAI avertit que le texte produit peut être absent de l’enregistrement. Cela arrive surtout pendant les silences prolongés, la musique ou le bruit. Une étude indépendante sur des mesures de 2023 a trouvé des phrases inventées dans environ 1 % des transcriptions, plus souvent autour des pauses. Couper les silences, régler la langue et relire les passages calmes réduit le risque.
Quelle est la précision de Whisper avec les accents ?
Whisper gère les accents mieux que de nombreux anciens systèmes, mais de façon inégale. La fiche d’OpenAI indique que la précision varie selon les accents et les dialectes d’une même langue. Dans l’article, les longs entretiens en anglais afro-américain (CORAAL) ont un WER de 19,6 %, contre 3,5 % pour des conférences TED complètes. Les conditions d’enregistrement diffèrent aussi. Pour obtenir une estimation fiable, testez un extrait avec des voix semblables à celles de vos fichiers et prévoyez davantage de relecture en cas d’accent marqué.
Whisper est-il aussi précis qu’une personne qui transcrit ?
Pour l’anglais, Whisper s’approche des services humains sans égaler les meilleurs. OpenAI l’a comparé à cinq services professionnels sur 25 enregistrements. Le service assisté par ordinateur avait un WER global inférieur de 1,15 point ; les quatre services entièrement humains faisaient mieux d’une fraction de point. Les personnes gèrent généralement mieux les noms, les voix qui se chevauchent et les paroles peu claires. Pour tout texte cité, déposé ou publié, demandez à une personne de le comparer à l’enregistrement.
Quelle est la précision de Whisper dans les langues autres que l’anglais ?
Elle varie beaucoup selon la langue. Sur Fleurs, large-v2 a obtenu 3,0 % de WER en espagnol, 4,5 % en allemand et 8,3 % en français, contre 27,1 % en hébreu et 99,0 % en télougou. Le chinois et le japonais sont mesurés avec le taux d’erreur sur les caractères : 14,7 % et 5,3 %. L’article montre que la précision suit le volume d’audio d’entraînement de chaque langue. Si les données sont moins abondantes, testez un extrait et prévoyez plus de temps pour les corrections.
Testez la précision sur votre enregistrement
Les jeux de test décrivent d’autres enregistrements que les vôtres. Importez un extrait dans whispertranscribe.ai dans l’une des plus de 130 langues et évaluez-le avec les étapes de ce guide. Commencez gratuitement sans compte ou comparez les forfaits.
Articles associés : Qu’est-ce que Whisper AI ? · Meilleurs logiciels de transcription gratuits · Meilleures alternatives à TurboScribe · Comment transcrire une vidéo YouTube · Qu’est-ce qu’un fichier SRT ? · Sous-titres incrustés ou séparés
Références
- Radford et autres, Robust Speech Recognition via Large-Scale Weak Supervision (article sur Whisper, OpenAI, 2022) : tableaux 2, 9, 13 et 16, sections 3 à 6
- OpenAI, openai/whisper sur GitHub : tableau des modèles du README, note sur turbo et graphique des taux par langue
- OpenAI et Hugging Face, fiche de whisper-large-v3 : changements de large-v3, usages évalués et limites
- Koenecke et autres, Careless Whisper: Speech-to-Text Hallucination Harms (2024)
- jiwer : bibliothèque open source pour le WER et le CER
- Hugging Face, Open ASR Leaderboard : comparatif indépendant et régulièrement actualisé de modèles de reconnaissance de la parole ouverts
