Whisper AI Ne Kadar Doğru? WER, Gerçek Sınırlar ve İpuçları (2026)

whispertranscribe.ai Editör Ekibi · Son güncelleme: Kasım 2026 · 13 dakikalık okuma · Kategori: Transkripsiyon doğruluğu

Whisper ne kadar doğru? OpenAI makalesi temiz okunmuş İngilizcede Whisper large-v2 için %2,5 sözcük hata oranı (WER) bildirir; bu kabaca 100 sözcükten 97–98'inin doğru olması demektir. Daha zor seste sonuç kötüleşir: telefon görüşmelerinde %13,6, gürültülü bir yemekte %24,9 ve uzaktaki tek mikrofonla kaydedilmiş toplantıda %39,9.

Whisper, OpenAI'nin açık kaynaklı konuşma tanıma modeli ve bizimki dahil birçok transkripsiyon uygulamasının motorudur. Bu rehber yalnızca doğruluğu ele alır: WER ne ölçer, ses türü ve dile göre kıyaslamalar ne söyler, Whisper nerede hata yapar ve kendiniz nasıl test edersiniz? Modelin geçmişi için Whisper AI nedir açıklamamıza bakın.

Çoğu rakam, her modeli test kümelerinde ince ayar yapmadan “zero-shot” test eden Whisper makalesinden (Radford ve diğerleri, 2022) gelir. Daha yeni large-v3 model kartı, birçok dilde large-v2'den %10–20 daha az hata bildirir ancak veri kümesi başına tam tablo sunmaz. Bu yazıyı whispertranscribe.ai yayımlar. Yazı için kıyaslama yapmadık; hiçbir rakam kendi test sonucumuz değildir.

Whisper doğruluğuna genel bakış

Tek bir test kümesi soruyu yanıtlamaz; sayıyı en çok ses değiştirir. Tablo, OpenAI'nin metin normalleştiricisinden sonra beam search ve sıcaklık geri dönüşüyle large-v2 sonuçlarını (ek tablo 9) gösterir.

Ses türü Makaledeki test kümesi Whisper large-v2 WER Yaklaşık doğru sözcük payı
Sesli kitap, net okuyucu LibriSpeech test-clean %2,5 100'de yaklaşık 97,5
Okunmuş haber metni WSJ %2,6 100'de yaklaşık 97,4
TED konuşmaları TED-LIUM 3 %3,7 100'de yaklaşık 96
Sesli kitap, daha zor konuşmacılar LibriSpeech test-other %4,9 100'de yaklaşık 95
Ev mikrofonlu gönüllüler Common Voice 5.1 %8,2 100'de yaklaşık 92
Telefon görüşmeleri Switchboard %13,6 100'de yaklaşık 86
Uzun sosyodilbilim röportajları CORAAL %14,2 100'de yaklaşık 86
Aile ve arkadaşlar arası telefon görüşmeleri CallHome %16,4 100'de yaklaşık 84
Her kişinin kulaklık mikrofonu olan toplantılar AMI IHM %17,4 100'de yaklaşık 83
Uzak alan mikrofonlu yemekler CHiME-6 %24,9 100'de yaklaşık 75
Tek uzak masa mikrofonlu toplantılar AMI SDM1 %39,9 100'de yaklaşık 60

“Doğru sözcük payı” 100 eksi WER'dir; WER eklenen sözcükleri de saydığı için bu yaklaşık bir kısayoldur.

Sıklıkla %2,7 görürsünüz: bu, aynı modelin daha basit greedy kod çözmeyle sonucudur (makale tablo 2). AMI satırları aynı toplantıların iki farklı kaydıdır. Mikrofonu her konuşmacının başından masanın ortasına taşımak hata oranını iki kattan fazla artırır.

Sözcük hata oranı (WER) nedir, nasıl hesaplanır?

WER, insan kontrolünden geçmiş referansa göre dökümdeki sözcük hatalarının oranıdır. Üç hata türünü sayıp referanstaki sözcük sayısına bölün:

WER = (değiştirmeler + silmeler + eklemeler) ÷ referanstaki sözcük sayısı

  • Değiştirme: Doğru sözcük yerine yanlış sözcük (“lansman” yerine “liman”).
  • Silme: Söylenen bir sözcüğün dökümde eksik olması.
  • Ekleme: Kimsenin söylemediği bir sözcüğün dökümde bulunması.

Açık kaynak jiwer kitaplığındaki yöntemle değerlendirilebilecek kendi örneğimiz:

Satır Metin
Referans (22 sözcük) ürün lansmanını mart ayına erteledik çünkü tedarikçi iki teslim tarihini kaçırdı ve doktor patel yeni bir test planı istiyor herkes bunu biliyor
Döküm ürün limanını mart ayına erteledik çünkü tedarikçi teslim tarihini kaçırdı ve doktor batel yeni bir test planı istiyor herkes bunu biliyor yarın
Hatalar 2 değiştirme (limanını, batel), 1 silme (iki), 1 ekleme (yarın)
WER 4 ÷ 22 = %18,2

WER hakkında üç şaşırtıcı nokta:

  1. %100'ü aşabilir. Eklemelerin üst sınırı yoktur ve makalenin Fleurs sonuçlarında az kaynaklı birkaç dil %100'ün üzerindedir.
  2. Normalleştirme puanı değiştirir. “Dr.” ve “doktor”, iki metin aynı şekilde temizlenmedikçe hata sayılır. OpenAI, normalleştiricinin bazı kümelerde çoğunlukla biçim farklarını kaldırarak WER'i %50'ye kadar düşürdüğünü söyler.
  3. Bazı diller karakter hata oranını (CER) kullanır. Sözcükleri boşlukla ayırmayan Çince, Japonca, Tayca, Laoca ve Birmanca için makale karakterleri puanlar.

Test kümesi ve puanlama yöntemi belirtilmeyen doğruluk iddiası, biz dahil kim yaparsa yapsın bir ölçüm değildir.

Whisper İngilizcede ne kadar doğru?

Whisper temiz İngilizcede çok doğrudur ve zor İngilizcede kullanılabilir kalır. Makalede, LibriSpeech puanı neredeyse aynı olan denetimli wav2vec 2.0 modeline göre diğer 12 İngilizce veri kümesinde %55,2 daha az hata yaptı.

Uzun kayıtlar

Whisper sesi 30 saniyelik pencerelerle okur; makale bu nedenle uzun dosyaları ayrıca test etti (ek tablo 16, large-v2):

Uzun biçimli test kümesi İçeriği WER
TED-LIUM 3 11 tam TED konuşması %3,5
Meanwhile Olağandışı sözcükleri bol 64 gece televizyonu bölümü %5,1
Kincaid46 2018 karşılaştırmasından 46 karma kayıt %8,8
Earnings-21 Şirket kazanç görüşmeleri %9,7
Rev16 16 podcast bölümü %11,3
Earnings-22 Çok aksanlı ek kazanç görüşmeleri %12,6
CORAAL Afrika kökenli Amerikalı İngilizcesinde 231 tam röportaj %19,6

Whisper ve insan transkripsiyon uzmanları

OpenAI, 25 Kincaid46 kaydını dört insan hizmetine ve bir bilgisayar destekli hizmete transkribe ettirdi. Bilgisayar destekli hizmet Whisper'dan 1,15 yüzde puanı daha iyiydi; tamamen insan hizmetleri ise puanın küçük bir kesri kadar daha iyiydi. Makalenin değerlendirmesi, sonucun kusursuz olmasa da insan düzeyine çok yakın olduğuydu.

Model boyutu önemlidir

Whisper birkaç boyutta gelir ve uygulamalar hangisini çalıştırdıklarını her zaman söylemez (ek tablo 9):

Model Parametre LibriSpeech clean Common Voice 5.1 Switchboard CHiME-6
tiny 39M %6,7 %26,1 %18,3 %48,0
base 74M %4,9 %19,4 %15,6 %40,0
small 244M %3,3 %12,8 %13,3 %30,9
medium 769M %2,7 %9,7 %13,2 %27,6
large-v2 1550M %2,5 %8,2 %13,6 %24,9

Ses zorlaştıkça fark büyür: temiz sesli kitapta yaklaşık 4 puan, yemekte 23 puan. Optimize edilmiş large-v3 olan daha yeni turbo, çok daha hızlı transkripsiyon için OpenAI'nin GitHub README'sinde doğrulukta asgari düşüş olarak tanımlanan ödünü kabul eder.

Whisper diğer dillerde ne kadar doğru?

İngilizce dışında doğruluk en çok Whisper'ın o dilde ne kadar eğitim sesi gördüğüne bağlıdır. Makale, eğitim saatleri logaritması ile WER logaritması arasında 0,83 karesel korelasyon buldu ve verinin her 16 kat artışında WER'in yarıya indiğini tahmin etti. İngilizce dışındaki 96 dilin çoğunda 1.000 saatten az vardı.

Seçilmiş Fleurs sonuçları (okunmuş cümleler, large-v2, ek tablo 13):

Dil Fleurs WER Not
İspanyolca %3,0 Tablodaki en düşük
İngilizce %4,2
Portekizce %4,3
Almanca %4,5
Japonca %5,3 Karakter hata oranı
Rusça %5,6
Fransızca %8,3
Korece %14,3 Aykırı değer olarak işaretlenmiş
Çince %14,7 Karakter hata oranı
Arapça %16,0
Hintçe %21,5
İbranice %27,1 Aykırı değer olarak işaretlenmiş
Svahili %39,3
Telugu %99,0 Aykırı değer olarak işaretlenmiş

Makale İbranice, Telugu, Çince ve Korecenin eğitim verisinin öngördüğünden daha kötü performans gösterdiğini belirtir; neden dilsel uzaklık, bu yazılara kötü uyan tokenizer veya veri kalitesi olabilir. Fleurs okunmuş konuşmadır; sohbette daha yüksek hata bekleyin. README'de Common Voice 15 ve Fleurs üzerinde large-v3 ile large-v2 için daha yeni grafik vardır.

İspanyolca sesi metne transkribe ediyorsanız sonuçlar umut vericidir. Az kaynaklı dillerde tüm projeye başlamadan kısa klip test edin.

Whisper doğruluğunu neler etkiler?

Kayıt koşulları her şeyden önemlidir. Makale ve model kartından kanıtlar:

Etken Kanıt ne gösteriyor? Ne yapmalı?
Arka plan gürültüsü Pub gürültüsünde 10 dB sinyal-gürültü oranı altında Whisper 14 karşılaştırma modelinin tümünü geçti, ama gürültü arttıkça hepsi kötüleşti Fan ve müzikten uzak sessiz odada kaydedin
Mikrofon uzaklığı Aynı AMI toplantıları: kulaklık mikrofonuyla %17,4, tek masa mikrofonuyla %39,9 Mikrofonu konuşmacıya yakın tutun
Sohbet ve örtüşme Telefon görüşmeleri ve yemekler %13,6–24,9; okunmuş konuşma %2,5 Sırayla konuşun; kişi başına mikrofon kullanın
Aksan ve lehçeler Model kartı aksan ve lehçelerde eşitsizlik bildirir; uzun CORAAL röportajları %19,6 Gerçek kayıtlarınızdaki kişilere benzeyen konuşmacılarla test edin
Nadir sözcük ve jargon Jargon yoğun Meanwhile'da iyi (%5,1), ancak isimler ve teknik terimler sık hatalı İsim ve terimleri listeyle karşılaştırın
Dil kaynakları Fleurs WER İspanyolcada %3,0'dan Telugu'da %99,0'a uzanır Dili kendiniz seçin; az kaynaklı dillerde daha fazla kontrol planlayın
Model boyutu tiny CHiME-6'da %48,0, large-v2 %24,9 alır Aracın hangi modeli kullandığını sorun veya kullanabildiğiniz en büyüğü seçin
Dosya biçimi ve örnekleme hızı Whisper kodu tüm sesi 16 kHz monoya yeniden örnekler 48 kHz WAV, temiz 16 kHz dosyaya göre avantaj sağlamaz

MP3'ü büyük WAV'a çevirmek kayıp ayrıntıları geri getirmez. Orta bit hızındaki temiz kayıt, yüksek bit hızındaki gürültülü kayıttan iyidir.

Bilinen Whisper sorunları: halüsinasyon, döngü ve zaman damgası

OpenAI, WER içindeki paylarından daha önemli olabilecek bu hata türlerinin her birini belgeliyor.

Uydurulmuş metin

Whisper kimsenin söylemediği sözcükleri yazabilir. Model kartı, muhtemelen model sonraki olası sözcükleri de tahmin ettiği için çıktının seste söylenmeyen metin içerebileceğini belirtir. Makalenin sınırlamalar bölümü sesle ilgisiz çıktı olan “tam halüsinasyon”dan da söz eder.

Bağımsız Careless Whisper çalışması (Koenecke ve diğerleri, 2024), Nisan ve Mayıs 2023'te 13.140 ses bölümünü OpenAI Whisper API'sinden geçirdi. Dökümlerin yaklaşık %1'i (ortalama %1,4) uydurulmuş tam ifadeler veya cümleler içeriyordu; bunların %38'inde şiddet veya yanlış ilişkilendirme gibi zararlı içerik vardı. Daha uzun duraklayan konuşmacılar, burada afazili kişiler, daha fazla tetikledi. API o zamandan beri değiştiğinden bunu 2023 ölçümü sayın.

Tekrar döngüleri ve atlanan sözcükler

Model kartı Whisper'ın tekrarlı metin üretmeye yatkın olduğunu; beam search ve sıcaklık planlamasının bunu azalttığını ama tamamen çözmediğini söyler. Makale ayrıca bölümün ilk veya son sözcüklerinin atlanmasını listeler. Kod çözme düzeltmeleri ortalama uzun kayıt WER'ini %11,0'dan %10,0'a indirdi: iyileşme var, sorun çözülmüş değil.

Sessizlik, müzik ve dolgu

Uydurulmuş metin uzun sessizlik ve müzikte ortaya çıkma eğilimindedir. Makale Whisper'ın kendi “konuşma yok” sinyalinin tek başına güvenilmez olduğunu buldu; açık kaynak kodda olası halüsinasyon algılandığında uzun sessizlikleri atlama seçeneği bulunur.

Zaman damgası kayması ve uzun dosyalar

Whisper uzun seste her seferinde 30 saniyelik pencereyle ilerler, sonraki pencereyi kendi tahmin ettiği zaman damgalarıyla yerleştirir; bu yüzden makaleye göre bir penceredeki hata sonrakine taşınabilir. Sözcük düzeyindeki zaman damgaları kodda “deneysel” işaretlenmiştir. Altyazılarda duraklamalar çevresindeki zamanlamayı örnekleyin.

Geliştirme sırasında OpenAI Whisper'ın neredeyse her zaman yanlış konuşmacı isimleri tahmin ettiğini de gördü. Yayımlanan modellere bunu azaltmak için ince ayar yapıldı, ancak metindeki her ismi kontrol edin.

Whisper transkripsiyon doğruluğunu artırmanın 10 yolu

İyileştirmelerin çoğu transkripsiyon öncesindedir. Yaklaşık en büyük etkiden küçüğe sıralama:

  1. Mikrofonu yaklaştırın. AMI toplantılarında yalnızca uzaklık hata oranını iki kattan fazla artırdı.
  2. Gürültüyü kaynağında azaltın. Pencereleri ve fanları kapatın, müziği durdurun.
  3. Üst üste konuşmayın. Bir seferde tek konuşmacı her ayardan iyidir.
  4. Uzun sessizlik ve müzik girişlerini kırpın; uydurma metin en çok burada görünür. Cümlenin ortasından değil duraklamadan kesin.
  5. Dili kendiniz ayarlayın. Whisper 82 Fleurs dili genelinde dili %80,3 oranında doğru belirledi; kısa veya aksanlı kliplerde otomatik algılama yanılabilir.
  6. Mevcut en büyük modeli kullanın, özellikle gürültülü kayıtlarda.
  7. Kendiniz barındırıyorsanız isim ve terimleri isteme ekleyin. Açık kaynak Whisper beklenen yazımlarla --initial_prompt kabul eder.
  8. Orijinal dosyayı yükleyin. Hoparlörden tekrar kaydetmek veya sürekli sıkıştırmak ayrıntı kaybettirir.
  9. Terim kontrolü yapın. Her isim, sayı, tarih ve kısaltmayı arayıp sesle doğrulayın.
  10. İki geçişte inceleyin. Önce normal hızda hataları düzeltin. Sonra tekrarlı satırlar, sessizlikte cümleler, “İzlediğiniz için teşekkürler” gibi kapanışlar dahil halüsinasyon işaretlerini tarayın. Hukuki, tıbbi veya yayımlanacak işler için her şeyi insan gözden geçirsin.

Kendi sesinizde Whisper doğruluğu nasıl ölçülür?

İşiniz için en iyi tahmin kendi kayıtlarınızla 30 dakikalık testtir. Bu adımlar sizin uygulamanız içindir; whispertranscribe.ai testi değildir.

  1. Üç adet 2 dakikalık klip seçin: Gerçek işinize benzeyen kolay, tipik ve zor birer klip.
  2. Referans dökümü elle yazın, sözcüğü sözcüğüne. Önce “ıı” ifadelerinin tutulması ve sayıların rakamla mı yazıyla mı yazılacağı gibi kuralları belirleyin.
  3. Her klibi transkribe edin: Test ettiğiniz araçla işleyip düz metin kaydedin.
  4. İki metni aynı şekilde normalleştirin. OpenAI normalleştiricisi openai-whisper ile gelir.
  5. WER'i jiwer ile hesaplayın:
# pip install jiwer openai-whisper
import jiwer
from whisper.normalizers import EnglishTextNormalizer

norm = EnglishTextNormalizer()
ref = norm(open("reference.txt", encoding="utf-8").read())
hyp = norm(open("transcript.txt", encoding="utf-8").read())

out = jiwer.process_words(ref, hyp)
print(f"WER {out.wer:.1%}  S={out.substitutions} D={out.deletions} I={out.insertions}")
  1. Kritik hataları ayrıca sayın. Beş yanlış dolgu sözcüğü ile beş yanlış müşteri adı aynı WER'i verir ama aynı sorun değildir.
  2. Sonuçları kaydedin, araç ve ayarları karşılaştırmak için:
Klip Koşullar Referans sözcük S D I WER Kritik hatalar
Klip A Sessiz oda, tek konuşmacı 310
Klip B Görüntülü görüşme, iki konuşmacı 285
Klip C Kafe, aksanlı konuşmacı 296

Sözcük sayıları örnektir. 4. adım için uyarı: OpenAI İngilizce normalleştiricisi örneğinde “Dr.” ile “doctor” ve “two” ile “2” eşleşirken “9th” ile “ninth” yine hata sayılabilir. Puana güvenmeden işaretli farkları okuyun. Whisper CLI burada yüklü değildi; kod örneği test edilmedi.

whispertranscribe.ai ne kadar doğru?

whispertranscribe.ai, 130'dan fazla dili destekleyen ve 5 GB ile 10 saate kadar yükleme alan, Whisper destekli web tabanlı AI transkripsiyon aracıdır. Temiz seste doğruluk %99'a kadar ulaşır; Whisper'ın yukarıdaki kıyaslamalarının gösterdiği gibi gürültü, güçlü aksan ve örtüşme bunu düşürür. Makalenin rakamlarına ulaştığımızı veya geçtiğimizi iddia etmiyoruz ve kendi kıyaslamamızı yayımlamadık; yukarıdaki adımlarla kendi kliplerinizi test edin.

Hesapsız ücretsiz başlayabilirsiniz. Ücretli planlar yıllık ödemeyle aylık 9,99 ABD dolarından başlar; fiyatlara bakın.

Sık sorulan sorular

Whisper %99 doğru mu?

Genel olarak değil. Whisper'ın yayımlanmış en iyi sonucu, net okunmuş sesli kitap kümesi LibriSpeech test-clean'de %2,5 WER'dir; bu yaklaşık %97,5 doğru sözcüğe karşılık gelir. Telefon görüşmeleri, toplantılar ve gürültülü odalarda OpenAI rakamları yaklaşık %13–40 WER arasındadır. “%99” iddiası ancak ölçülen sesi belirtiyorsa anlamlıdır. whispertranscribe.ai dahil Whisper üzerine kurulu araçlar, başlık yüzdesiyle değil kendi kayıtlarınızla değerlendirilmelidir.

Hangi Whisper modeli en doğru?

Large modeller en doğrudur. OpenAI makalesinde large-v2 çoğu test kümesinde en düşük hata oranına sahipti; large-v3 model kartı birçok dilde large-v2'den %10–20 daha az hata bildirir. Turbo, OpenAI'ye göre çok daha fazla hız karşılığında az doğruluk kaybeden optimize large-v3'tür. En küçük tiny, zor seste çok daha az doğrudur: gürültülü yemekte large-v2'nin %24,9'una karşı %48,0 WER.

Whisper neden söylenmeyen sözcükler yazar?

Whisper sesi transkribe ederken olası metni tahmin etmek üzere de eğitildiğinden halüsinasyon üretebilir ve OpenAI model kartı seste olmayan metin çıktısına karşı uyarır. Bu en çok uzun sessizlik, müzik veya gürültü sırasında olur. Bağımsız bir 2023 ölçümü dökümlerin yaklaşık %1'inde uydurma ifadeler buldu ve duraklamalar olasılığı artırdı. Sessizliği kırpmak, dili ayarlamak ve sessiz bölümleri incelemek riski azaltır.

Whisper aksanlarda ne kadar doğru?

Whisper aksanları birçok eski sistemden iyi işler ama eşit değildir. OpenAI model kartı aynı dilin aksan ve lehçelerinde doğruluğun değiştiğini söyler. Makalede Afrika kökenli Amerikalı İngilizcesindeki uzun CORAAL röportajları %19,6 WER, tam TED konuşmaları %3,5 aldı; ancak kayıt koşulları da farklıdır. En güvenilir yaklaşım gerçek kayıtlarınızdakilere benzeyen konuşmacılarla klip test etmek ve güçlü aksanlarda daha çok kontrol planlamaktır.

Whisper bir insan transkripsiyon uzmanı kadar doğru mu?

İngilizcede yaklaşır ama en iyilere eşit değildir. OpenAI 25 kayıtta beş profesyonel hizmetle karşılaştırdı. Bilgisayar destekli hizmetin toplam WER'i Whisper'dan 1,15 puan daha düşük, dört tamamen insan hizmetininki bir puanın küçük kesri kadar daha iyiydi. İnsanlar isimleri, örtüşmeyi ve belirsiz konuşmayı hâlâ daha iyi ele alma eğilimindedir. Alıntılanacak, sunulacak veya yayımlanacak her şeyi bir insan kayıtla karşılaştırmalıdır.

Whisper İngilizce dışındaki dillerde ne kadar doğru?

Dile göre çok değişir. Fleurs benchmarkında large-v2 İspanyolcada %3,0, Almancada %4,5 ve Fransızcada %8,3 WER alırken İbranicede %27,1, Telugu'da %99,0 aldı. Çince ve Japonca karakter hata oranıyla ölçüldü: sırasıyla %14,7 ve %5,3. Makale doğruluğun her dildeki eğitim sesi miktarını izlediğini buldu. Az kaynaklı dillerde önce kısa klip test edin ve düzeltmeye daha fazla zaman ayırın.

Kendi kaydınızda doğruluğu test edin

Kıyaslamalar başkalarının sesini anlatır. whispertranscribe.ai'ye 130'dan fazla dilden birinde klip yükleyin ve bu rehberdeki adımlarla puanlayın. Hesapsız ücretsiz başlayın veya planları karşılaştırın.

İlgili yazılar: Whisper AI nedir? · En iyi ücretsiz transkripsiyon yazılımları · En iyi TurboScribe alternatifleri · YouTube videosu nasıl transkribe edilir? · SRT dosyası nedir? · Gömülü ve seçilebilir altyazılar

Kaynaklar

Kayıtlarınızı metne dönüştürmek ister misiniz?

Ses ve videolarınızı whispertranscribe.ai ile metne dönüştürün.

Metne dönüştürmeye başlayın ↗