Πόσο ακριβές είναι το Whisper AI; WER, πραγματικά όρια και συμβουλές (2026)

Από τη συντακτική ομάδα whispertranscribe.ai · Τελευταία ενημέρωση: Νοέμβριος 2026 · Χρόνος ανάγνωσης: 13 λεπτά · Κατηγορία: Ακρίβεια απομαγνητοφώνησης

Πόσο ακριβές είναι το Whisper; Σε καθαρή αγγλική ανάγνωση, η μελέτη της OpenAI αναφέρει ποσοστό σφάλματος λέξεων (WER) 2.5% για το Whisper large-v2, δηλαδή περίπου 97 έως 98 σωστές λέξεις στις 100. Ο δυσκολότερος ήχος έχει χειρότερες επιδόσεις: 13.6% σε τηλεφωνικές κλήσεις, 24.9% σε θορυβώδες δείπνο και 39.9% σε σύσκεψη που καταγράφηκε από ένα απομακρυσμένο μικρόφωνο.

Το Whisper είναι το μοντέλο αναγνώρισης ομιλίας ανοιχτού κώδικα της OpenAI και η μηχανή πολλών εφαρμογών απομαγνητοφώνησης, συμπεριλαμβανομένης της δικής μας. Ο οδηγός αφορά μόνο την ακρίβεια: τι μετρά το WER, τι δείχνουν οι δοκιμές ανά τύπο ήχου και γλώσσα, πού αποτυγχάνει το Whisper και πώς να το δοκιμάσετε. Για το ιστορικό του μοντέλου, δείτε τι είναι το Whisper AI.

Τα περισσότερα στοιχεία προέρχονται από τη μελέτη Whisper (Radford και συν., 2022), η οποία εξέτασε κάθε μοντέλο «zero-shot», χωρίς επιπλέον εκπαίδευση στα σύνολα δοκιμής. Η νεότερη κάρτα μοντέλου large-v3 αναφέρει 10% έως 20% λιγότερα σφάλματα από το large-v2 σε πολλές γλώσσες, χωρίς πλήρη πίνακα ανά σύνολο δεδομένων. Η whispertranscribe.ai δημοσιεύει το άρθρο. Δεν πραγματοποιήσαμε δική μας συγκριτική δοκιμή και κανένας αριθμός εδώ δεν αποτελεί δικό μας αποτέλεσμα.

Η ακρίβεια του Whisper με μια ματιά

Κανένα μεμονωμένο σύνολο δοκιμής δεν απαντά στην ερώτηση, επειδή ο ήχος επηρεάζει περισσότερο από όλα τον αριθμό. Ο πίνακας δείχνει τα αποτελέσματα της OpenAI για large-v2 με beam search και temperature fallback (πίνακας 9 παραρτήματος), μετά την κανονικοποίηση κειμένου της OpenAI.

Τύπος ήχου Σύνολο δοκιμής της μελέτης WER Whisper large-v2 Κατά προσέγγιση σωστές λέξεις
Ακουστικό βιβλίο, καθαρή ανάγνωση LibriSpeech test-clean 2.5% Περίπου 97.5 στις 100
Ανάγνωση ειδήσεων WSJ 2.6% Περίπου 97.4 στις 100
Ομιλίες TED TED-LIUM 3 3.7% Περίπου 96 στις 100
Ακουστικό βιβλίο, δυσκολότεροι ομιλητές LibriSpeech test-other 4.9% Περίπου 95 στις 100
Εθελοντές με οικιακά μικρόφωνα Common Voice 5.1 8.2% Περίπου 92 στις 100
Τηλεφωνικές συνομιλίες Switchboard 13.6% Περίπου 86 στις 100
Μεγάλες κοινωνιογλωσσικές συνεντεύξεις CORAAL 14.2% Περίπου 86 στις 100
Κλήσεις μεταξύ οικογένειας και φίλων CallHome 16.4% Περίπου 84 στις 100
Συσκέψεις, κάθε άτομο με μικρόφωνο ακουστικών AMI IHM 17.4% Περίπου 83 στις 100
Δείπνα, απομακρυσμένα μικρόφωνα CHiME-6 24.9% Περίπου 75 στις 100
Συσκέψεις, ένα απομακρυσμένο επιτραπέζιο μικρόφωνο AMI SDM1 39.9% Περίπου 60 στις 100

Το «ποσοστό σωστών λέξεων» είναι 100 μείον WER, μια προσέγγιση, επειδή το WER μετρά και πρόσθετες λέξεις.

Συχνά αναφέρεται το 2.7%: είναι το ίδιο μοντέλο με απλούστερη greedy αποκωδικοποίηση (πίνακας 2 της μελέτης). Οι γραμμές AMI αφορούν τις ίδιες συσκέψεις με δύο τρόπους εγγραφής. Η μετακίνηση του μικροφώνου από το κεφάλι κάθε ομιλητή στη μέση του τραπεζιού υπερδιπλασιάζει το ποσοστό σφάλματος.

Τι είναι το ποσοστό σφάλματος λέξεων (WER) και πώς υπολογίζεται;

Το WER είναι η αναλογία σφαλμάτων ενός κειμένου σε σύγκριση με κείμενο αναφοράς που έχει ελέγξει άνθρωπος. Μετρήστε τρεις τύπους σφάλματος και διαιρέστε με τις λέξεις της αναφοράς:

WER = (αντικαταστάσεις + διαγραφές + εισαγωγές) ÷ λέξεις στην αναφορά

  • Αντικατάσταση: λανθασμένη λέξη στη θέση της σωστής («γεύμα» αντί «ντεμπούτο»).
  • Διαγραφή: λέξη που ειπώθηκε αλλά λείπει από το κείμενο.
  • Εισαγωγή: λέξη στο κείμενο που κανείς δεν είπε.

Ακολουθεί παράδειγμα που δημιουργήσαμε. Το WER μπορεί να υπολογιστεί με τη βιβλιοθήκη ανοιχτού κώδικα jiwer:

Γραμμή Κείμενο
Αναφορά (22 λέξεις) μεταφέραμε την κυκλοφορία του προϊόντος για τις εννέα Μαρτίου επειδή ο προμηθευτής έχασε δύο προθεσμίες και ο γιατρός Πατέλ θέλει νέο σχέδιο
Απομαγνητοφώνηση μεταφέραμε την κυκλοφοριακή του προϊόντος για τις εννέα Μαρτίου επειδή προμηθευτής έχασε δύο προθεσμίες και ο γιατρός Παντέλ θέλει νέο σχέδιο σήμερα
Σφάλματα 2 αντικαταστάσεις (κυκλοφοριακή, Παντέλ), 1 διαγραφή (ο), 1 εισαγωγή (σήμερα)
WER 4 ÷ 22 = 18.2%

Τρία σημεία του WER συχνά προκαλούν σύγχυση:

  1. Μπορεί να ξεπεράσει το 100%. Οι εισαγωγές δεν έχουν όριο και λίγες γλώσσες με περιορισμένους πόρους στα αποτελέσματα Fleurs της μελέτης ξεπερνούν το 100%.
  2. Η κανονικοποίηση αλλάζει τη βαθμολογία. Το «Dr.» αντί «doctor» μετρά ως σφάλμα εκτός αν τα δύο κείμενα καθαριστούν με τον ίδιο τρόπο. Η OpenAI αναφέρει ότι ο κανονικοποιητής της μείωσε το WER έως 50% σε ορισμένα σύνολα, κυρίως αφαιρώντας διαφορές μορφοποίησης.
  3. Ορισμένες γλώσσες χρησιμοποιούν ποσοστό σφάλματος χαρακτήρων (CER). Για κινεζικά, ιαπωνικά, ταϊλανδικά, λαοτινά και βιρμανικά, που δεν χωρίζουν τις λέξεις με κενά, η μελέτη βαθμολογεί χαρακτήρες.

Ισχυρισμός ακρίβειας χωρίς ονομασμένο σύνολο δοκιμής και μέθοδο βαθμολόγησης δεν είναι μέτρηση, ανεξάρτητα από το ποιος τον κάνει, συμπεριλαμβανομένων ημών.

Πόσο ακριβές είναι το Whisper στα αγγλικά;

Το Whisper είναι πολύ ακριβές σε καθαρά αγγλικά και παραμένει χρήσιμο σε πιο δύσκολες συνθήκες. Στη μελέτη έκανε 55.2% λιγότερα σφάλματα σε 12 άλλα αγγλικά σύνολα από εποπτευόμενο μοντέλο wav2vec 2.0 με σχεδόν ίδιο σκορ LibriSpeech.

Μεγάλες εγγραφές

Το Whisper διαβάζει τον ήχο σε παράθυρα 30 δευτερολέπτων, οπότε η μελέτη δοκίμασε ξεχωριστά μεγάλα αρχεία (πίνακας 16 παραρτήματος, large-v2):

Σύνολο μεγάλης διάρκειας Περιεχόμενο WER
TED-LIUM 3 11 πλήρεις ομιλίες TED 3.5%
Meanwhile 64 τηλεοπτικά αποσπάσματα με πολλές ασυνήθιστες λέξεις 5.1%
Kincaid46 46 μικτές εγγραφές από σύγκριση του 2018 8.8%
Earnings-21 Κλήσεις εταιρικών αποτελεσμάτων 9.7%
Rev16 16 επεισόδια podcast 11.3%
Earnings-22 Περισσότερες κλήσεις αποτελεσμάτων, πολλές προφορές 12.6%
CORAAL 231 πλήρεις συνεντεύξεις σε αφροαμερικανικά αγγλικά 19.6%

Whisper έναντι ανθρώπινων απομαγνητοφωνητών

Η OpenAI ανέθεσε 25 εγγραφές Kincaid46 σε τέσσερις ανθρώπινες υπηρεσίες και μία υπηρεσία με υπολογιστική υποστήριξη. Η υπηρεσία με υποστήριξη υπολογιστή είχε επίδοση 1.15 ποσοστιαίες μονάδες καλύτερη από το Whisper και οι αποκλειστικά ανθρώπινες υπηρεσίες μόνο κλάσμα μονάδας καλύτερη. Η μελέτη συμπεραίνει ότι η ακρίβεια δεν είναι τέλεια αλλά πλησιάζει πολύ το ανθρώπινο επίπεδο.

Το μέγεθος μοντέλου έχει σημασία

Το Whisper διατίθεται σε διάφορα μεγέθη και οι εφαρμογές δεν αναφέρουν πάντα ποιο χρησιμοποιούν (πίνακας 9 παραρτήματος):

Μοντέλο Παράμετροι LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

Η διαφορά μεγαλώνει σε δυσκολότερο ήχο: περίπου 4 μονάδες στα καθαρά ακουστικά βιβλία, 23 στο δείπνο. Το νεότερο μοντέλο turbo, βελτιστοποιημένο large-v3, δέχεται αυτό που το README του GitHub της OpenAI ονομάζει «ελάχιστη υποβάθμιση ακρίβειας» για πολύ ταχύτερη απομαγνητοφώνηση.

Πόσο ακριβές είναι το Whisper σε άλλες γλώσσες;

Εκτός αγγλικών, η ακρίβεια εξαρτάται κυρίως από την ποσότητα ήχου εκπαίδευσης στη γλώσσα. Η μελέτη βρήκε τετραγωνική συσχέτιση 0.83 μεταξύ λογαριθμικών ωρών εκπαίδευσης και λογαριθμικού WER και εκτιμά ότι το WER μειώνεται στο μισό για κάθε 16πλάσια αύξηση δεδομένων. Οι περισσότερες από τις 96 μη αγγλικές γλώσσες είχαν λιγότερες από 1,000 ώρες.

Επιλεγμένα αποτελέσματα Fleurs (αναγνωσμένες προτάσεις, large-v2, πίνακας 13 παραρτήματος):

Γλώσσα WER Fleurs Σημείωση
Ισπανικά 3.0% Χαμηλότερο στον πίνακα
Αγγλικά 4.2%
Πορτογαλικά 4.3%
Γερμανικά 4.5%
Ιαπωνικά 5.3% Ποσοστό σφάλματος χαρακτήρων
Ρωσικά 5.6%
Γαλλικά 8.3%
Κορεατικά 14.3% Επισημαίνεται ως ακραία τιμή
Κινεζικά 14.7% Ποσοστό σφάλματος χαρακτήρων
Αραβικά 16.0%
Χίντι 21.5%
Εβραϊκά 27.1% Επισημαίνεται ως ακραία τιμή
Σουαχίλι 39.3%
Τελούγκου 99.0% Επισημαίνεται ως ακραία τιμή

Η μελέτη επισημαίνει ότι εβραϊκά, τελούγκου, κινεζικά και κορεατικά αποδίδουν χειρότερα από την πρόβλεψη βάσει δεδομένων εκπαίδευσης, πιθανώς λόγω γλωσσικής απόστασης, tokenizer που δεν ταιριάζει καλά στα συστήματα γραφής ή ποιότητας δεδομένων. Το Fleurs περιέχει αναγνωσμένη ομιλία, οπότε σε συνομιλίες αναμένονται υψηλότερα σφάλματα. Το README περιέχει νεότερο διάγραμμα για large-v3 και large-v2 στα Common Voice 15 και Fleurs.

Τα ισπανικά αποτελέσματα είναι ενθαρρυντικά αν θέλετε να μετατρέψετε ισπανικό ήχο σε κείμενο. Για γλώσσες με λιγότερους πόρους, δοκιμάστε ένα σύντομο απόσπασμα πριν δεσμευτείτε για ολόκληρο έργο.

Τι επηρεάζει την ακρίβεια του Whisper;

Οι συνθήκες εγγραφής έχουν τη μεγαλύτερη σημασία. Στοιχεία από τη μελέτη και την κάρτα μοντέλου:

Παράγοντας Τι δείχνουν τα στοιχεία Τι να κάνετε
Θόρυβος παρασκηνίου Σε θόρυβο παμπ κάτω από 10 dB λόγου σήματος προς θόρυβο, το Whisper ξεπέρασε και τα 14 μοντέλα σύγκρισης, αλλά όλα χειροτέρευσαν όσο αυξανόταν ο θόρυβος Εγγράψτε σε ήσυχο χώρο, μακριά από ανεμιστήρες και μουσική
Απόσταση μικροφώνου Ίδιες συσκέψεις AMI: 17.4% με μικρόφωνα ακουστικών, 39.9% με ένα επιτραπέζιο μικρόφωνο Κρατήστε το μικρόφωνο κοντά στον ομιλητή
Συνομιλία και επικάλυψη Τηλεφωνικές κλήσεις και δείπνα 13.6% έως 24.9%, έναντι 2.5% για αναγνωσμένη ομιλία Ένας ομιλητής κάθε φορά· ένα μικρόφωνο ανά άτομο
Προφορές και διάλεκτοι Η κάρτα μοντέλου αναφέρει άνιση ακρίβεια ανά προφορά και διάλεκτο· μεγάλες συνεντεύξεις CORAAL είχαν 19.6% Δοκιμάστε με ομιλητές που μοιάζουν με τις πραγματικές εγγραφές σας
Σπάνιες λέξεις και ορολογία Καλή επίδοση στο Meanwhile με ειδικό λεξιλόγιο (5.1%), αλλά ονόματα και τεχνικοί όροι παραμένουν συχνά σφάλματα Ελέγξτε ονόματα και όρους με λίστα
Γλωσσικοί πόροι Το WER Fleurs κυμαίνεται από 3.0% (ισπανικά) έως 99.0% (τελούγκου) Επιλέξτε τη γλώσσα μόνοι σας· προβλέψτε περισσότερη επιμέλεια για γλώσσες με λίγους πόρους
Μέγεθος μοντέλου tiny: 48.0% στο CHiME-6, large-v2: 24.9% Ρωτήστε ποιο μοντέλο χρησιμοποιεί το εργαλείο ή επιλέξτε το μεγαλύτερο διαθέσιμο
Μορφή και ρυθμός δειγματοληψίας Ο κώδικας Whisper μετατρέπει όλο τον ήχο σε 16 kHz mono WAV 48 kHz δεν προσφέρει κάτι παραπάνω από καθαρό αρχείο 16 kHz

Η μετατροπή MP3 σε μεγάλο WAV δεν επαναφέρει χαμένες λεπτομέρειες. Καθαρή εγγραφή σε μέτριο bitrate είναι καλύτερη από θορυβώδη σε υψηλό bitrate.

Γνωστά προβλήματα Whisper: παραισθήσεις, επαναλήψεις και χρονικές σημάνσεις

Η OpenAI τεκμηριώνει κάθε ένα από αυτά τα προβλήματα, των οποίων η σημασία υπερβαίνει το ποσοστό τους στο WER.

Κείμενο-παραίσθηση

Το Whisper μπορεί να γράψει λέξεις που κανείς δεν είπε. Η κάρτα μοντέλου αναφέρει ότι οι προβλέψεις μπορεί να περιλαμβάνουν κείμενο που δεν ακούγεται, πιθανώς επειδή το μοντέλο προβλέπει και τις πιθανές επόμενες λέξεις. Η ενότητα περιορισμών της μελέτης αναφέρει ακόμη και «πλήρη παραίσθηση», δηλαδή αποτέλεσμα άσχετο με τον ήχο.

Ανεξάρτητη μελέτη, Careless Whisper (Koenecke και συν., 2024), επεξεργάστηκε 13,140 αποσπάσματα μέσω του Whisper API της OpenAI τον Απρίλιο και Μάιο 2023. Περίπου 1% των απομαγνητοφωνήσεων (1.4% κατά μέσο όρο) περιείχε ολόκληρες επινοημένες φράσεις ή προτάσεις και 38% αυτών περιείχε επιβλαβές περιεχόμενο όπως βία ή ψευδείς συσχετισμούς. Οι μεγαλύτερες παύσεις, εδώ από άτομα με αφασία, συνδέθηκαν με περισσότερες περιπτώσεις. Το API έχει αλλάξει έκτοτε, οπότε θεωρήστε το μέτρηση του 2023.

Επαναλήψεις και παραλειπόμενες λέξεις

Η κάρτα μοντέλου αναφέρει τάση παραγωγής επαναλαμβανόμενου κειμένου, την οποία το beam search και ο προγραμματισμός temperature μειώνουν αλλά δεν εξαλείφουν. Η μελέτη αναφέρει επίσης παράλειψη των πρώτων ή τελευταίων λέξεων τμήματος. Οι διορθώσεις αποκωδικοποίησης μείωσαν το μέσο WER μεγάλης διάρκειας από 11.0% σε 10.0%: βελτίωση, όχι πλήρης λύση.

Σιωπή, μουσική και λέξεις πλήρωσης

Επινοημένο κείμενο εμφανίζεται συχνά σε μεγάλες σιωπές και μουσική. Η μελέτη βρήκε ότι το σήμα «χωρίς ομιλία» του Whisper δεν είναι αξιόπιστο από μόνο του και ο ανοιχτός κώδικας διαθέτει πλέον επιλογή παράλειψης μεγάλης σιωπής όταν εντοπιστεί πιθανή παραίσθηση.

Απόκλιση χρονικών σημάνσεων και μεγάλα αρχεία

Το Whisper επεξεργάζεται μεγάλο ήχο σε διαδοχικά παράθυρα 30 δευτερολέπτων, χρησιμοποιώντας τις προβλεπόμενες χρονικές σημάνσεις για το επόμενο παράθυρο. Έτσι, η μελέτη σημειώνει ότι σφάλμα σε ένα παράθυρο μπορεί να μεταφερθεί στο επόμενο. Οι χρονικές σημάνσεις ανά λέξη χαρακτηρίζονται «πειραματικές» στον κώδικα. Για υπότιτλους, ελέγξτε δειγματοληπτικά τον συγχρονισμό κοντά σε παύσεις.

Κατά την ανάπτυξη η OpenAI είδε επίσης το Whisper να μαντεύει ονόματα ομιλητών που ήταν «σχεδόν πάντα λανθασμένα». Τα δημοσιευμένα μοντέλα εκπαιδεύτηκαν επιπλέον για περιορισμό αυτού του φαινομένου, αλλά ελέγχετε κάθε όνομα.

10 τρόποι βελτίωσης της ακρίβειας απομαγνητοφώνησης Whisper

Οι περισσότερες βελτιώσεις προκύπτουν πριν πατήσετε απομαγνητοφώνηση. Περίπου από τη μεγαλύτερη επίδραση προς τη μικρότερη:

  1. Τοποθετήστε το μικρόφωνο κοντά. Η απόσταση και μόνο υπερδιπλασίασε το σφάλμα στις συσκέψεις AMI.
  2. Μειώστε τον θόρυβο στην πηγή. Κλείστε παράθυρα και ανεμιστήρες, σταματήστε τη μουσική.
  3. Αποφύγετε την επικάλυψη ομιλίας. Ένα άτομο κάθε φορά είναι καλύτερο από οποιαδήποτε ρύθμιση.
  4. Κόψτε μεγάλες σιωπές και μουσικές εισαγωγές, όπου εμφανίζεται συχνότερα επινοημένο κείμενο. Κόψτε στις παύσεις, όχι στη μέση πρότασης.
  5. Ορίστε εσείς τη γλώσσα. Το Whisper αναγνώρισε σωστά τη γλώσσα στο 80.3% των 82 γλωσσών Fleurs, οπότε η αυτόματη ανίχνευση μπορεί να αποτύχει σε σύντομα αποσπάσματα ή προφορές.
  6. Χρησιμοποιήστε το μεγαλύτερο διαθέσιμο μοντέλο, ιδιαίτερα για θορυβώδεις εγγραφές.
  7. Δώστε ονόματα και όρους στο prompt αν το φιλοξενείτε μόνοι σας. Το Whisper ανοιχτού κώδικα δέχεται --initial_prompt με τις αναμενόμενες γραφές.
  8. Μεταφορτώστε το πρωτότυπο αρχείο. Η επανεγγραφή μέσω ηχείων ή η επαναλαμβανόμενη συμπίεση χάνει λεπτομέρειες.
  9. Ελέγξτε τους όρους. Αναζητήστε κάθε όνομα, αριθμό, ημερομηνία και ακρωνύμιο και επαληθεύστε τα με τον ήχο.
  10. Ελέγξτε σε δύο περάσματα. Πρώτα διορθώστε σφάλματα σε κανονική ταχύτητα. Μετά αναζητήστε ενδείξεις παραισθήσεων: επαναλαμβανόμενες γραμμές, προτάσεις πάνω από σιωπή, κλείσιμο όπως «Ευχαριστούμε που παρακολουθήσατε». Για νομική, ιατρική ή δημοσιευμένη εργασία, ζητήστε από άνθρωπο να ελέγξει τα πάντα.

Πώς να μετρήσετε την ακρίβεια του Whisper στον δικό σας ήχο

Η καλύτερη εκτίμηση για τη δουλειά σας είναι μια δοκιμή 30 λεπτών στις δικές σας εγγραφές. Τα παρακάτω βήματα είναι για να τα εκτελέσετε εσείς· δεν αποτελούν δοκιμή της whispertranscribe.ai.

  1. Επιλέξτε τρία αποσπάσματα των 2 λεπτών όμοια με την πραγματική εργασία σας: ένα εύκολο, ένα τυπικό, ένα δύσκολο.
  2. Γράψτε χειροκίνητα κείμενο αναφοράς, λέξη προς λέξη. Ορίστε πρώτα κανόνες: διατήρηση ή αφαίρεση «εε», ψηφία ή λέξεις για αριθμούς.
  3. Απομαγνητοφωνήστε κάθε απόσπασμα με το εργαλείο που δοκιμάζετε και αποθηκεύστε απλό κείμενο.
  4. Κανονικοποιήστε τα δύο κείμενα με τον ίδιο τρόπο. Ο κανονικοποιητής της OpenAI παρέχεται με το openai-whisper.
  5. Υπολογίστε WER με jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Μετρήστε ξεχωριστά τα κρίσιμα σφάλματα. Πέντε λανθασμένες λέξεις πλήρωσης και πέντε λανθασμένα ονόματα πελατών δίνουν ίδιο WER αλλά δεν είναι το ίδιο πρόβλημα.
  2. Καταγράψτε αποτελέσματα για σύγκριση εργαλείων ή ρυθμίσεων:
Απόσπασμα Συνθήκες Λέξεις αναφοράς S D I WER Κρίσιμα σφάλματα
Απόσπασμα A Ήσυχο δωμάτιο, ένας ομιλητής 310
Απόσπασμα B Βιντεοκλήση, δύο ομιλητές 285
Απόσπασμα C Καφέ, ομιλητής με προφορά 296

Οι αριθμοί λέξεων είναι ενδεικτικοί. Προσοχή στο βήμα 4: ο κανονικοποιητής μπορεί να αντιμετωπίσει διαφορετικά συντομογραφίες και αριθμούς ανάλογα με το κείμενο. Το Whisper CLI δεν ήταν εγκατεστημένο στο περιβάλλον μας, επομένως δεν εκτελέσαμε αυτόν τον έλεγχο. Διαβάστε τις διαφορές που επισημαίνονται πριν εμπιστευτείτε τη βαθμολογία.

Πόσο ακριβές είναι το whispertranscribe.ai;

Η whispertranscribe.ai είναι διαδικτυακό εργαλείο AI απομαγνητοφώνησης βασισμένο στο Whisper, με 130+ γλώσσες και μεταφορτώσεις έως 5GB και 10 ώρες. Η ακρίβεια φτάνει έως 99% σε καθαρό ήχο· θόρυβος, έντονες προφορές και επικάλυψη τη μειώνουν, όπως δείχνουν παραπάνω οι δοκιμές για το ίδιο το Whisper. Δεν ισχυριζόμαστε ότι ισοφαρίζουμε ή ξεπερνάμε τα στοιχεία της μελέτης και δεν έχουμε δημοσιεύσει δικό μας benchmark, οπότε δοκιμάστε τα δικά σας αποσπάσματα με τα παραπάνω βήματα.

  • Επιλογές Noise / Low-Quality Audio/Video στον επιλογέα γλώσσας για πολλές γλώσσες. Σε θορυβώδες αρχείο δοκιμάστε την κανονική επιλογή και την επιλογή θορύβου και συγκρίνετε.
  • 130+ γλώσσες, επιλογή Multilingual Mix και μετάφραση ήχου στα αγγλικά.
  • Αρχεία έως 5GB και 10 ώρες, εντοπισμός ομιλητών και χρονικές σημάνσεις (όλες οι δυνατότητες).
  • Καθαρή είσοδος: εγγράψτε στον browser με το μικρόφωνο κοντά, αφού λάβετε τις απαιτούμενες άδειες και συναινέσεις, ή μετατρέψτε βίντεο σε MP3 για να μεταφορτώσετε μόνο ήχο.
  • Εξαγωγές σε DOCX, PDF, TXT, CSV, SRT και VTT, καθώς και γεννήτρια υποτίτλων για συγχρονισμένους υπότιτλους.

Μπορείτε να ξεκινήσετε δωρεάν χωρίς λογαριασμό. Τα πληρωμένα πλάνα ξεκινούν από $9.99/μήνα με ετήσια χρέωση· δείτε τιμές.

Συχνές ερωτήσεις

Είναι το Whisper 99% ακριβές;

Όχι γενικά. Το καλύτερο δημοσιευμένο αποτέλεσμα Whisper είναι WER 2.5% στο LibriSpeech test-clean, ένα σύνολο καθαρά αναγνωσμένων ακουστικών βιβλίων, δηλαδή περίπου 97.5% σωστές λέξεις. Σε τηλεφωνικές κλήσεις, συσκέψεις και θορυβώδη δωμάτια, τα στοιχεία της OpenAI κυμαίνονται περίπου από 13% έως 40% WER. Ισχυρισμός «99%» έχει νόημα μόνο αν ορίζει τον ήχο στον οποίο μετρήθηκε. Τα εργαλεία που βασίζονται στο Whisper, συμπεριλαμβανομένης της whispertranscribe.ai, πρέπει να κρίνονται με τις δικές σας εγγραφές και όχι από έναν γενικό τίτλο.

Ποιο μοντέλο Whisper είναι το πιο ακριβές;

Τα μεγάλα μοντέλα είναι τα ακριβέστερα. Στη μελέτη της OpenAI, το large-v2 είχε τα χαμηλότερα ποσοστά σφάλματος στα περισσότερα σύνολα, ενώ η κάρτα large-v3 αναφέρει 10% έως 20% λιγότερα σφάλματα από το large-v2 σε πολλές γλώσσες. Το turbo είναι βελτιστοποιημένο large-v3 που, σύμφωνα με την OpenAI, χάνει λίγη ακρίβεια για πολύ μεγαλύτερη ταχύτητα. Το μικρότερο μοντέλο tiny είναι πολύ λιγότερο ακριβές σε δύσκολο ήχο: 48.0% WER σε θορυβώδες δείπνο έναντι 24.9% για large-v2.

Γιατί το Whisper γράφει λέξεις που δεν ειπώθηκαν;

Το Whisper μπορεί να παράγει παραισθήσεις επειδή έχει εκπαιδευτεί να προβλέπει πιθανό κείμενο εκτός από την απομαγνητοφώνηση ήχου και η κάρτα μοντέλου της OpenAI προειδοποιεί ότι μπορεί να παράγει κείμενο που δεν υπάρχει στον ήχο. Συμβαίνει συχνότερα σε μεγάλες σιωπές, μουσική ή θόρυβο. Ανεξάρτητη μελέτη του 2023 βρήκε επινοημένες φράσεις σε περίπου 1% των απομαγνητοφωνήσεων και οι παύσεις τις έκαναν πιθανότερες. Η περικοπή σιωπής, η επιλογή γλώσσας και ο έλεγχος ήσυχων τμημάτων μειώνουν τον κίνδυνο.

Πόσο ακριβές είναι το Whisper με διαφορετικές προφορές;

Το Whisper χειρίζεται προφορές καλύτερα από πολλά παλαιότερα συστήματα, αλλά όχι ομοιόμορφα. Η κάρτα μοντέλου της OpenAI αναφέρει ότι η ακρίβεια διαφέρει ανά προφορά και διάλεκτο της ίδιας γλώσσας. Στη μελέτη, μεγάλες συνεντεύξεις σε αφροαμερικανικά αγγλικά (CORAAL) είχαν WER 19.6%, έναντι 3.5% για πλήρεις ομιλίες TED, αν και διαφέρουν και οι συνθήκες εγγραφής. Η αξιόπιστη προσέγγιση είναι να δοκιμάσετε απόσπασμα με ομιλητές που μοιάζουν με τις πραγματικές εγγραφές και να προβλέψετε περισσότερο έλεγχο για έντονες προφορές.

Είναι το Whisper τόσο ακριβές όσο ένας άνθρωπος απομαγνητοφωνητής;

Στα αγγλικά πλησιάζει αλλά δεν φτάνει τους καλύτερους. Η OpenAI το συνέκρινε με πέντε επαγγελματικές υπηρεσίες σε 25 εγγραφές. Μία υπηρεσία με υπολογιστική υποστήριξη είχε συνολικό WER 1.15 μονάδες χαμηλότερο από το Whisper και τέσσερις πλήρως ανθρώπινες υπηρεσίες ήταν καλύτερες κατά κλάσμα μονάδας. Οι άνθρωποι τείνουν ακόμη να χειρίζονται καλύτερα ονόματα, επικάλυψη και ασαφή ομιλία. Για οτιδήποτε θα παρατεθεί, κατατεθεί ή δημοσιευθεί, άνθρωπος πρέπει να ελέγξει το κείμενο με την εγγραφή.

Πόσο ακριβές είναι το Whisper σε γλώσσες εκτός αγγλικών;

Διαφέρει πολύ ανά γλώσσα. Στο Fleurs το large-v2 είχε WER 3.0% στα ισπανικά, 4.5% στα γερμανικά και 8.3% στα γαλλικά, αλλά 27.1% στα εβραϊκά και 99.0% στα τελούγκου. Τα κινεζικά και ιαπωνικά βαθμολογούνται με ποσοστό σφάλματος χαρακτήρων: 14.7% και 5.3%. Η μελέτη βρήκε σχέση ακρίβειας με την ποσότητα ήχου εκπαίδευσης ανά γλώσσα. Για γλώσσες με λιγότερους πόρους, δοκιμάστε πρώτα σύντομο απόσπασμα και προβλέψτε περισσότερο χρόνο διόρθωσης.

Δοκιμάστε την ακρίβεια στη δική σας εγγραφή

Τα benchmarks περιγράφουν ήχο άλλων ανθρώπων. Μεταφορτώστε απόσπασμα στη whispertranscribe.ai σε μία από 130+ γλώσσες και αξιολογήστε το με τα βήματα αυτού του οδηγού. Ξεκινήστε δωρεάν χωρίς λογαριασμό ή συγκρίνετε πλάνα.

Σχετικά άρθρα: Τι είναι το Whisper AI; · Καλύτερο δωρεάν λογισμικό απομαγνητοφώνησης · Καλύτερες εναλλακτικές TurboScribe · Πώς να απομαγνητοφωνήσετε βίντεο YouTube · Τι είναι αρχείο SRT; · Ενσωματωμένοι έναντι ξεχωριστών υποτίτλων

Αναφορές

Θέλετε να μετατρέψετε τις ηχογραφήσεις σας σε κείμενο;

Απομαγνητοφωνήστε ήχο και βίντεο με το whispertranscribe.ai.

Έναρξη απομαγνητοφώνησης ↗