Seberapa Akurat Whisper AI? WER, Batas Nyata, dan Tips (2026)

Oleh Tim Editorial whispertranscribe.ai · Terakhir diperbarui: November 2026 · Waktu baca 13 menit · Kategori: Akurasi transkripsi

Seberapa akurat Whisper? Pada bahasa Inggris yang dibacakan dengan jelas, makalah OpenAI melaporkan word error rate (WER) 2.5% untuk Whisper large-v2. Audio yang lebih sulit memiliki tingkat kesalahan lebih tinggi: 13.6% pada panggilan telepon, 24.9% pada pesta makan malam yang bising, dan 39.9% pada rapat yang direkam dengan satu mikrofon jauh. WER juga menghitung kata tambahan sehingga tidak secara tepat sama dengan persentase kata yang salah.

Whisper adalah model pengenalan ucapan sumber terbuka OpenAI dan mesin di balik banyak aplikasi transkripsi, termasuk milik kami. Panduan ini hanya membahas akurasi: apa yang diukur WER, hasil benchmark menurut jenis audio dan bahasa, kelemahan Whisper, dan cara mengujinya sendiri. Untuk latar belakang model, lihat penjelasan apa itu Whisper AI.

Sebagian besar angka berasal dari makalah Whisper (Radford dkk., 2022), yang menguji setiap model secara "zero-shot", tanpa fine-tuning pada set pengujian. Kartu model large-v3 yang lebih baru melaporkan kesalahan 10% hingga 20% lebih sedikit daripada large-v2 di banyak bahasa, tetapi tanpa tabel lengkap per dataset. whispertranscribe.ai menerbitkan artikel ini. Kami tidak menjalankan benchmark untuknya, dan tidak ada angka di sini yang merupakan hasil pengujian kami sendiri.

Sekilas akurasi Whisper

Tidak ada satu set pengujian yang menjawab pertanyaan ini karena kondisi audio sangat memengaruhi angka. Tabel menunjukkan hasil OpenAI untuk large-v2 dengan beam search dan temperature fallback (Tabel 9 lampiran), dinilai setelah normalisasi teks OpenAI.

Jenis audio Set pengujian dalam makalah WER Whisper large-v2 100 dikurangi WER (perkiraan kasar)
Buku audio, pembaca jelas LibriSpeech test-clean 2.5% Sekitar 97.5 per 100
Teks berita yang dibaca WSJ 2.6% Sekitar 97.4 per 100
Ceramah TED TED-LIUM 3 3.7% Sekitar 96 per 100
Buku audio, pembicara lebih sulit LibriSpeech test-other 4.9% Sekitar 95 per 100
Relawan dengan mikrofon rumah Common Voice 5.1 8.2% Sekitar 92 per 100
Percakapan telepon Switchboard 13.6% Sekitar 86 per 100
Wawancara sosiolinguistik panjang CORAAL 14.2% Sekitar 86 per 100
Panggilan keluarga dan teman CallHome 16.4% Sekitar 84 per 100
Rapat, setiap orang menggunakan mikrofon headset AMI IHM 17.4% Sekitar 83 per 100
Pesta makan malam, mikrofon jauh CHiME-6 24.9% Sekitar 75 per 100
Rapat, satu mikrofon meja jauh AMI SDM1 39.9% Sekitar 60 per 100

Kolom terakhir adalah 100 dikurangi WER, hanya pendekatan kasar dan bukan proporsi pasti kata yang benar karena WER juga menghitung kata tambahan.

Anda mungkin melihat angka 2.7%: itu model yang sama dengan greedy decoding yang lebih sederhana (Tabel 2 makalah). Baris AMI juga merupakan rapat yang sama direkam dengan dua cara. Memindahkan mikrofon dari headset setiap pembicara ke tengah meja menghasilkan tingkat kesalahan lebih dari dua kali lipat.

Apa itu word error rate (WER), dan bagaimana menghitungnya?

Word error rate membandingkan kesalahan transkrip dengan referensi yang diperiksa manusia. Hitung tiga jenis kesalahan dan bagi dengan jumlah kata dalam referensi:

WER = (penggantian + penghapusan + penambahan) ÷ jumlah kata referensi

  • Penggantian: kata salah menggantikan kata yang benar ("lunch" menggantikan "launch" dalam bahasa Inggris).
  • Penghapusan: kata yang diucapkan hilang dari transkrip.
  • Penambahan: kata dalam transkrip yang tidak diucapkan siapa pun.

Berikut contoh buatan sendiri yang dapat dinilai dengan pustaka sumber terbuka jiwer. Contoh Indonesia berikut memiliki 22 kata referensi dan dapat diperiksa dengan jarak edit.

Baris Teks
Referensi (22 kata) kami memindahkan peluncuran produk ke sembilan maret karena vendor melewatkan dua tenggat dan dokter patel menginginkan rencana uji baru untuk tim perusahaan
Transkrip kami memindahkan peluncuran proyek ke sembilan maret karena vendor melewatkan dua tenggat dan dokter batal menginginkan rencana uji baru tim perusahaan besok
Kesalahan 2 penggantian (produk → proyek, patel → batal), 1 penghapusan (untuk), 1 penambahan (besok)
WER 4 ÷ 22 = 18.2%

Tiga hal tentang WER sering mengejutkan:

  1. Bisa melebihi 100%. Penambahan tidak memiliki batas, dan beberapa bahasa dengan sumber daya rendah dalam hasil Fleurs pada makalah mendapat skor di atas 100%.
  2. Normalisasi mengubah skor. "Dr." dibandingkan "doctor" dihitung sebagai kesalahan kecuali kedua teks dibersihkan dengan cara sama. OpenAI menyatakan normalizernya mengurangi WER hingga 50% pada beberapa dataset, terutama dengan menghapus perbedaan pemformatan.
  3. Beberapa bahasa menggunakan character error rate (CER). Untuk Mandarin, Jepang, Thai, Lao, dan Burma, yang tidak memisahkan kata dengan spasi, makalah menilai karakter.

Klaim akurasi tanpa set pengujian dan metode penilaian yang disebutkan bukan pengukuran, siapa pun pembuatnya, termasuk kami.

Seberapa akurat Whisper dalam bahasa Inggris?

Whisper sangat akurat pada bahasa Inggris yang jelas dan tetap dapat digunakan pada audio yang kurang rapi. Dalam makalah, Whisper membuat 55.2% lebih sedikit kesalahan pada 12 dataset Inggris lain dibandingkan model wav2vec 2.0 yang diawasi dengan skor LibriSpeech hampir sama.

Rekaman panjang

Whisper membaca audio dalam jendela 30 detik, sehingga makalah menguji file panjang secara terpisah (Tabel 16 lampiran, large-v2):

Set uji panjang Isinya WER
TED-LIUM 3 11 ceramah TED lengkap 3.5%
Meanwhile 64 segmen TV larut malam, banyak kata tidak umum 5.1%
Kincaid46 46 rekaman campuran dari perbandingan 2018 8.8%
Earnings-21 Panggilan laporan keuangan perusahaan 9.7%
Rev16 16 episode podcast 11.3%
Earnings-22 Lebih banyak panggilan laporan keuangan, banyak aksen 12.6%
CORAAL 231 wawancara lengkap dalam African American English 19.6%

Whisper dibandingkan transkriptor manusia

OpenAI meminta 25 rekaman Kincaid46 ditranskripsikan oleh empat layanan manusia dan satu layanan berbantuan komputer. Layanan berbantuan komputer memperoleh hasil 1.15 poin persentase lebih baik daripada Whisper, dan layanan manusia murni hanya sebagian kecil poin lebih baik. Makalah menyimpulkan hasilnya belum sempurna tetapi sangat mendekati akurasi tingkat manusia.

Ukuran model berpengaruh

Whisper tersedia dalam beberapa ukuran, dan aplikasi tidak selalu menyebutkan model yang digunakan (Tabel 9 lampiran):

Model Parameter LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M 6.7% 26.1% 18.3% 48.0%
base 74M 4.9% 19.4% 15.6% 40.0%
small 244M 3.3% 12.8% 13.3% 30.9%
medium 769M 2.7% 9.7% 13.2% 27.6%
large-v2 1550M 2.5% 8.2% 13.6% 24.9%

Selisih meningkat saat audio lebih sulit: sekitar 4 poin pada buku audio jelas, 23 poin pada pesta makan malam. Model turbo yang lebih baru, large-v3 yang dioptimalkan, menerima penurunan akurasi minimal menurut README GitHub OpenAI demi transkripsi yang jauh lebih cepat.

Seberapa akurat Whisper dalam bahasa lain?

Di luar bahasa Inggris, akurasi terutama bergantung pada jumlah audio pelatihan yang dimiliki Whisper untuk bahasa tersebut. Makalah menemukan korelasi kuadrat 0.83 antara log jam pelatihan dan log WER, serta memperkirakan WER turun setengah untuk setiap peningkatan data 16 kali lipat. Sebagian besar dari 96 bahasa non-Inggris memiliki kurang dari 1,000 jam.

Hasil Fleurs pilihan (kalimat yang dibacakan, large-v2, Tabel 13 lampiran):

Bahasa WER Fleurs Catatan
Spanyol 3.0% Terendah dalam tabel
Inggris 4.2%
Portugis 4.3%
Jerman 4.5%
Jepang 5.3% Character error rate
Rusia 5.6%
Prancis 8.3%
Korea 14.3% Ditandai sebagai pencilan
Mandarin 14.7% Character error rate
Arab 16.0%
Hindi 21.5%
Ibrani 27.1% Ditandai sebagai pencilan
Swahili 39.3%
Telugu 99.0% Ditandai sebagai pencilan

Makalah menandai Ibrani, Telugu, Mandarin, dan Korea sebagai lebih buruk daripada prediksi berdasarkan data pelatihan, mungkin karena jarak linguistik, tokenizer yang kurang sesuai dengan aksara tersebut, atau kualitas data. Fleurs adalah ucapan yang dibaca, sehingga tingkat kesalahan percakapan dapat lebih tinggi. README memiliki grafik yang lebih baru untuk large-v3 dan large-v2 pada Common Voice 15 dan Fleurs.

Hasil Spanyol cukup menjanjikan jika Anda mentranskripsikan audio Spanyol ke teks. Untuk bahasa dengan sumber daya lebih sedikit, uji klip singkat sebelum memulai seluruh proyek.

Apa yang memengaruhi akurasi Whisper?

Kondisi rekaman sangat berpengaruh. Bukti dari makalah dan kartu model:

Faktor Temuan bukti Tindakan
Kebisingan latar Dalam kebisingan pub di bawah rasio sinyal terhadap kebisingan 10 dB, Whisper mengungguli semua 14 model pembanding, tetapi semua model memburuk saat kebisingan meningkat Rekam di ruangan tenang, jauh dari kipas dan musik
Jarak mikrofon Rapat AMI yang sama: 17.4% pada mikrofon headset, 39.9% pada satu mikrofon meja Dekatkan mikrofon ke pembicara
Percakapan dan suara tumpang tindih Panggilan telepon dan pesta makan malam mendapat 13.6% hingga 24.9%, dibandingkan 2.5% untuk ucapan yang dibaca Satu pembicara setiap kali; satu mikrofon per pembicara
Aksen dan dialek Kartu model melaporkan akurasi tidak merata antaraksen dan dialek; wawancara CORAAL panjang memperoleh 19.6% Uji dengan pembicara yang terdengar seperti rekaman sebenarnya
Kata langka dan istilah khusus Baik pada set Meanwhile yang banyak istilah khusus (5.1%), tetapi nama dan istilah teknis tetap kesalahan umum Periksa nama dan istilah terhadap daftar
Sumber daya bahasa WER Fleurs berkisar 3.0% (Spanyol) hingga 99.0% (Telugu) Pilih bahasa sendiri; rencanakan pemeriksaan lebih untuk bahasa dengan sumber daya rendah
Ukuran model tiny mendapat 48.0% pada CHiME-6, large-v2 24.9% Tanyakan model yang digunakan alat, atau gunakan yang terbesar yang Anda mampu
Format file dan sample rate Kode Whisper melakukan resampling semua audio ke mono 16 kHz WAV 48 kHz tidak memberi keuntungan dibandingkan file 16 kHz yang jelas

Mengonversi MP3 menjadi WAV besar tidak memulihkan detail yang hilang. Rekaman jelas dengan bitrate sedang lebih baik daripada rekaman bising dengan bitrate tinggi.

Masalah Whisper yang dikenal: halusinasi, pengulangan, dan timestamp

OpenAI mendokumentasikan setiap kegagalan ini, yang dampaknya bisa lebih penting daripada proporsinya dalam WER.

Teks halusinasi

Whisper dapat menulis kata yang tidak diucapkan siapa pun. Kartu model menyatakan prediksi dapat mencakup teks yang tidak benar-benar diucapkan dalam audio, kemungkinan karena model juga memprediksi kata berikut yang mungkin. Bagian keterbatasan makalah bahkan menyebut halusinasi lengkap, yaitu hasil yang tidak terkait audio.

Studi independen Careless Whisper (Koenecke dkk., 2024) memproses 13,140 segmen audio melalui Whisper API OpenAI pada April dan Mei 2023. Sekitar 1% transkripsi (rata-rata 1.4%) mengandung frasa atau kalimat yang sepenuhnya dibuat-buat, dan 38% di antaranya mencakup konten berbahaya seperti kekerasan atau asosiasi palsu. Pembicara dengan jeda lebih panjang, dalam studi ini orang dengan afasia, memicunya lebih sering. API telah berubah sejak itu, jadi perlakukan ini sebagai pengukuran 2023.

Pengulangan dan kata yang hilang

Kartu model menyatakan Whisper rentan menghasilkan teks berulang, yang dikurangi beam search dan penjadwalan temperatur tetapi tidak sepenuhnya. Makalah juga mencantumkan hilangnya kata pertama atau terakhir segmen. Perbaikan decoding menurunkan WER rata-rata audio panjang dari 11.0% menjadi 10.0%: lebih baik, tetapi belum teratasi sepenuhnya.

Keheningan, musik, dan kata pengisi

Teks rekaan cenderung muncul dalam keheningan panjang dan musik. Makalah menemukan sinyal "no speech" milik Whisper sendiri tidak andal jika digunakan sendiri, dan kode sumber terbuka kini memiliki opsi melewati keheningan panjang saat kemungkinan halusinasi terdeteksi.

Pergeseran timestamp dan file panjang

Whisper memproses audio panjang satu jendela 30 detik pada satu waktu, menggunakan timestamp yang diprediksi sendiri untuk menempatkan jendela berikutnya, sehingga makalah mencatat kesalahan pada satu jendela dapat terbawa ke berikutnya. Timestamp tingkat kata ditandai "experimental" dalam kode. Untuk subtitle, periksa waktu di sekitar jeda.

Selama pengembangan, OpenAI juga melihat Whisper menebak nama pembicara yang hampir selalu salah. Model yang dirilis disempurnakan untuk menguranginya, tetapi periksa setiap nama dalam teks.

10 cara meningkatkan akurasi transkripsi Whisper

Sebagian besar peningkatan terjadi sebelum Anda menekan transkripsi. Diurutkan kira-kira dari dampak terbesar hingga terkecil:

  1. Dekatkan mikrofon. Jarak saja membuat tingkat kesalahan lebih dari dua kali lipat pada rapat AMI.
  2. Kurangi kebisingan pada sumbernya. Tutup jendela, matikan kipas, jeda musik.
  3. Hindari suara tumpang tindih. Satu orang berbicara pada satu waktu lebih baik daripada pengaturan apa pun.
  4. Potong keheningan panjang dan pembuka musik, tempat teks rekaan sering muncul. Potong pada jeda, bukan di tengah kalimat.
  5. Atur bahasa sendiri. Whisper mengidentifikasi bahasa dengan benar 80.3% dari waktu pada 82 bahasa Fleurs, sehingga deteksi otomatis dapat salah pada klip pendek atau beraksen.
  6. Gunakan model terbesar yang tersedia, terutama untuk rekaman bising.
  7. Berikan nama dan istilah melalui prompt jika menjalankan sendiri. Whisper sumber terbuka menerima --initial_prompt dengan ejaan yang diharapkan.
  8. Unggah file asli. Merekam ulang melalui speaker atau berulang kali mengompresi membuang detail.
  9. Periksa istilah. Cari setiap nama, angka, tanggal, dan akronim, lalu verifikasi terhadap audio.
  10. Periksa dalam dua tahap. Pertama perbaiki kesalahan pada kecepatan normal. Lalu cari tanda halusinasi: baris berulang, kalimat saat hening, penutup seperti "Terima kasih sudah menonton." Untuk pekerjaan hukum, medis, atau terbitan, minta manusia memeriksa seluruhnya.

Cara mengukur akurasi Whisper pada audio sendiri

Perkiraan terbaik untuk pekerjaan Anda adalah pengujian 30 menit pada rekaman sendiri. Langkah ini untuk Anda jalankan; bukan pengujian whispertranscribe.ai.

  1. Pilih tiga klip 2 menit yang mirip pekerjaan sebenarnya: satu mudah, satu biasa, satu sulit.
  2. Tulis transkrip referensi secara manual, kata demi kata. Tetapkan aturan dahulu: pertahankan atau hapus "um", gunakan digit atau kata untuk angka.
  3. Transkripsikan setiap klip dengan alat yang diuji dan simpan teks biasa.
  4. Normalisasi kedua teks dengan cara yang sama. Normalizer OpenAI disertakan dengan openai-whisper. EnglishTextNormalizer pada contoh ini khusus bahasa Inggris; untuk bahasa Indonesia gunakan normalisasi dan tokenisasi yang sesuai.
  5. Hitung WER dengan jiwer:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Hitung kesalahan kritis secara terpisah. Lima kata pengisi yang salah dan lima nama klien yang salah menghasilkan WER sama tetapi bukan masalah yang sama.
  2. Catat hasil agar dapat membandingkan alat atau pengaturan:
Klip Kondisi Kata referensi S D I WER Kesalahan kritis
Klip A Ruangan tenang, satu pembicara 310
Klip B Panggilan video, dua pembicara 285
Klip C Kafe, pembicara beraksen 296

Jumlah kata hanya contoh. Perhatian untuk langkah 4: normalizer bahasa Inggris dapat menyamakan beberapa bentuk, tetapi tidak semua perbedaan penulisan pasti dinormalisasi. Baca perbedaan yang ditandai sebelum mempercayai skor.

Seberapa akurat whispertranscribe.ai?

whispertranscribe.ai adalah alat transkripsi AI berbasis web yang didukung Whisper, mendukung lebih dari 130 bahasa, dengan unggahan hingga 5GB dan 10 jam. Akurasi mencapai hingga 99% pada audio jelas; kebisingan latar, aksen kuat, dan suara tumpang tindih menurunkannya, seperti ditunjukkan benchmark Whisper di atas. Kami tidak mengklaim menyamai atau mengungguli angka makalah dan belum menerbitkan benchmark sendiri, jadi uji klip Anda dengan langkah di atas.

  • Opsi Noise / Low-Quality Audio/Video di pemilih bahasa untuk banyak bahasa. Pada file bising, coba opsi standar dan noise lalu bandingkan.
  • Lebih dari 130 bahasa, opsi Multilingual Mix, dan terjemahan audio ke bahasa Inggris.
  • File hingga 5GB dan 10 jam, deteksi pembicara, dan timestamp (semua fitur).
  • Input jelas: rekam di browser dengan mikrofon dekat, atau konversi video ke MP3 untuk mengunggah audio saja.
  • Ekspor ke DOCX, PDF, TXT, CSV, SRT, dan VTT, ditambah pembuat subtitle untuk caption berwaktu.

Anda dapat memulai gratis tanpa akun. Paket berbayar mulai dari $9.99/bulan dengan penagihan tahunan; lihat harga.

FAQ

Apakah Whisper akurat 99%?

Tidak secara umum. Hasil Whisper yang dikutip dalam makalah adalah WER 2.5% pada LibriSpeech test-clean, kumpulan buku audio yang dibaca jelas. Mengurangkan WER dari 100 hanya perkiraan kasar, bukan persentase pasti kata benar karena WER juga menghitung penambahan. Pada panggilan telepon, rapat, dan ruangan bising, angka OpenAI berkisar sekitar 13% hingga 40% WER. Klaim "99%" hanya bermakna jika menyebut audio yang diukur. Alat berbasis Whisper, termasuk whispertranscribe.ai, sebaiknya dinilai pada rekaman Anda sendiri.

Model Whisper mana yang paling akurat?

Model large adalah yang paling akurat. Dalam makalah OpenAI, large-v2 memiliki tingkat kesalahan terendah pada sebagian besar set pengujian, dan kartu model large-v3 melaporkan kesalahan 10% hingga 20% lebih sedikit daripada large-v2 di banyak bahasa. Model turbo adalah large-v3 yang dioptimalkan dan menurut OpenAI kehilangan sedikit akurasi demi kecepatan yang jauh lebih tinggi. Model terkecil, tiny, jauh kurang akurat pada audio sulit: WER 48.0% pada pesta makan malam bising, dibandingkan 24.9% untuk large-v2.

Mengapa Whisper menulis kata yang tidak diucapkan?

Whisper dapat berhalusinasi karena dilatih untuk memprediksi teks yang mungkin sekaligus mentranskripsikan suara, dan kartu model OpenAI memperingatkan bahwa hasil dapat berisi teks yang tidak ada dalam audio. Ini paling sering terjadi saat keheningan panjang, musik, atau kebisingan. Studi independen tahun 2023 menemukan frasa halusinasi dalam sekitar 1% transkripsi, dan jeda membuatnya lebih mungkin. Memotong keheningan, mengatur bahasa, dan memeriksa bagian transkrip yang hening mengurangi risiko.

Seberapa akurat Whisper dengan aksen?

Whisper menangani aksen lebih baik daripada banyak sistem lama, tetapi tidak merata. Kartu model OpenAI menyatakan akurasi berbeda antaraksen dan dialek dalam bahasa yang sama. Dalam makalah, wawancara panjang African American English (CORAAL) memperoleh WER 19.6%, dibandingkan 3.5% untuk ceramah TED lengkap, meskipun kondisi rekaman juga berbeda. Cara andal adalah menguji klip dengan pembicara yang terdengar seperti rekaman sebenarnya dan merencanakan pemeriksaan lebih banyak saat aksen kuat.

Apakah Whisper seakurat transkriptor manusia?

Untuk bahasa Inggris, Whisper mendekati tetapi tidak menyamai yang terbaik. OpenAI membandingkannya dengan lima layanan profesional pada 25 rekaman. Layanan berbantuan komputer memiliki WER agregat 1.15 poin lebih rendah daripada Whisper, dan empat layanan manusia sepenuhnya hanya sebagian kecil poin lebih baik. Manusia cenderung lebih baik menangani nama, suara tumpang tindih, dan ucapan tidak jelas. Untuk apa pun yang dikutip, diajukan, atau diterbitkan, seseorang harus memeriksa transkrip terhadap rekaman.

Seberapa akurat Whisper untuk bahasa selain Inggris?

Sangat berbeda menurut bahasa. Pada benchmark Fleurs, large-v2 memperoleh WER 3.0% dalam Spanyol, 4.5% dalam Jerman, dan 8.3% dalam Prancis, tetapi 27.1% dalam Ibrani dan 99.0% dalam Telugu. Mandarin dan Jepang dinilai dengan character error rate: 14.7% dan 5.3%. Makalah menemukan akurasi mengikuti jumlah audio pelatihan setiap bahasa. Untuk bahasa dengan sumber daya rendah, uji klip singkat dahulu dan sediakan lebih banyak waktu untuk koreksi.

Uji akurasi pada rekaman sendiri

Benchmark menggambarkan audio orang lain. Unggah klip ke whispertranscribe.ai dalam salah satu dari lebih dari 130 bahasa dan nilai dengan langkah dalam panduan ini. Mulai gratis tanpa akun, atau bandingkan paket.

Artikel terkait: Apa itu Whisper AI? · Perangkat lunak transkripsi gratis terbaik · Alternatif TurboScribe terbaik · Cara mentranskripsikan video YouTube · Apa itu file SRT? · Hard subtitle vs soft subtitle

Referensi

Siap mengubah rekaman menjadi teks?

Transkripsikan audio dan video dengan whispertranscribe.ai.

Mulai transkripsi ↗