Apakah Whisper AI? Cara Model Pengecaman Pertuturan OpenAI Berfungsi

Oleh Pasukan Editorial whispertranscribe.ai · Kemas kini terakhir: November 2026 · 13 minit bacaan

Apakah Whisper AI? Dalam kebanyakan carian, ia merujuk OpenAI Whisper, model pengecaman pertuturan sumber terbuka yang diterbitkan OpenAI pada September 2022. Ia menukar pertuturan rakaman kepada teks, mengenal pasti bahasa dan boleh menterjemah bahasa lain kepada bahasa Inggeris. OpenAI melatihnya pada 680,000 jam audio web dan mengeluarkan kod serta pemberat di bawah Lesen MIT.

Pendedahan ringkas: kami membuat whispertranscribe.ai. whispertranscribe.ai ialah alat transkripsi AI web yang menukar audio dan video kepada teks dalam 130+ bahasa. Panduan ini membezakan model dengan produk yang dibina di sekelilingnya, dan setiap nombor tentang model datang daripada kertas, repositori atau kad model OpenAI sendiri.

Jawapan ringkas: apakah Whisper AI?

Whisper ialah model pertuturan kepada teks, bukan aplikasi atau syarikat. Anda boleh memuat turunnya daripada repositori GitHub OpenAI dan menjalankannya pada komputer sendiri atau menggunakan perkhidmatan yang menjalankannya untuk anda.

  • Dibuat oleh: OpenAI. Kertas Robust Speech Recognition via Large-Scale Weak Supervision disiarkan di arXiv pada 6 Disember 2022.
  • Fungsi: mentranskrip pertuturan, mengesan bahasa, menterjemah pertuturan kepada bahasa Inggeris dan menambah cap masa segmen.
  • Tidak dilakukan secara terus: melabel siapa bercakap atau transkripsi langsung. Kad model OpenAI menyatakan ia tidak boleh digunakan untuk transkripsi masa nyata tanpa kerja tambahan.
  • Saiz: enam, daripada tiny (39 juta parameter) hingga large (1,550 juta).
  • Kos: percuma dimuat turun dan dijalankan. Anda menyediakan perkakasan.

"Whisper AI" boleh bermaksud tiga perkara

Nama digunakan secara longgar dan tiga maksud ini mudah dikelirukan.

Apa yang dipanggil "Whisper AI" Apakah ia Pembuat Cara digunakan
OpenAI Whisper Model pengecaman pertuturan sumber terbuka OpenAI Muat turun kod dan pemberat, jalankan sendiri
whisper-1 Model API terhos OpenAI untuk transkripsi OpenAI Hantar fail audio ke API OpenAI dan bayar mengikut penggunaan
Aplikasi bernama "Whisper" Produk transkripsi seperti whisperai.com dan whispertranscribe.ai (laman ini) Syarikat berasingan Muat naik atau rakam audio dalam aplikasi mereka

Produk dalam baris ketiga bukan model itu sendiri dan tidak saling boleh ditukar ganti. Setiap syarikat menetapkan ciri, had, harga dan terma privasinya. Dalam artikel ini, "Whisper" bermaksud model OpenAI.

Bagaimana Whisper berfungsi?

Whisper ialah Transformer pengekod-penyahkod. Pengekod menukar 30 saat audio kepada perwakilan angka, dan penyahkod menulis teks sepadan satu token demi satu, dipandu token khas yang memberitahu tugasnya.

Kertas Whisper menerangkan proses:

  1. Sampel semula. Audio ditukar kepada 16,000 Hz.
  2. Pecahkan kepada tetingkap 30 saat. Model sentiasa melihat 30 saat sekali. Klip lebih pendek ditambah pelapik.
  3. Buat spektrogram. Setiap tetingkap menjadi spektrogram log-Mel 80 saluran, gambaran perubahan tenaga bunyi merentas frekuensi, dikira pada bingkai 25 milisaat setiap 10 milisaat. (Large-v3 beralih kepada 128 saluran.)
  4. Kodkan. Dua lapisan konvolusi dan susunan blok Transformer memproses spektrogram.
  5. Nyahkod. Penyahkod mula-mula meramal bahasa atau token "tiada pertuturan". Kemudian tugas (transkrip atau terjemah), sama ada cap masa disertakan, dan akhirnya teks.

Cap masa juga diramal sebagai token, dibundarkan kepada 20 milisaat terdekat. Begitulah satu model mengendalikan pengesanan bahasa, transkripsi, terjemahan dan pemasaan.

Whisper dilatih menggunakan apa?

Model asal belajar daripada 680,000 jam audio internet dengan transkrip sepadan. OpenAI memanggilnya "penyeliaan lemah" kerana transkrip tidak disemak secara manual seperti set data penanda aras.

Bahagian audio latihan Jam Kandungan
Kira-kira 65% 438,000 Audio Inggeris dengan transkrip Inggeris
Kira-kira 18% 126,000 Audio bukan Inggeris dengan transkrip Inggeris (data terjemahan)
Kira-kira 17% 117,000 Audio bukan Inggeris dengan transkrip bahasa sama

Sumber: kad model Whisper OpenAI. Kertas membundarkan bahagian terjemahan kepada 125,000 jam.

Dua butiran menerangkan banyak tingkah laku Whisper. OpenAI menapis transkrip yang kelihatan dijana mesin, seperti teks huruf besar semuanya, jadi model belajar menulis ayat dengan tanda baca. Model awal juga cenderung meneka nama penutur kerana banyak transkrip web mengandunginya. OpenAI menala halus untuk mengurangkan tabiat itu, tetapi ia menunjukkan betapa model mencerminkan teks latihan.

Large-v3 dilatih secara berbeza pada kira-kira 5 juta jam: 1 juta dengan label web lemah dan 4 juta dilabel large-v2, menurut kad model Hugging Face.

Perbandingan saiz model Whisper

Whisper mempunyai enam saiz. Model kecil lebih pantas pada perkakasan sederhana; model besar menghasilkan lebih sedikit kesilapan tetapi memerlukan lebih banyak memori video (VRAM). Angka berikut daripada README OpenAI.

Saiz Parameter Versi Inggeris sahaja Versi pelbagai bahasa VRAM diperlukan Kelajuan berbanding large
tiny 39 M tiny.en tiny ~1 GB ~10x
base 74 M base.en base ~1 GB ~7x
small 244 M small.en small ~2 GB ~4x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M Tiada large ~10 GB 1x
turbo 809 M Tiada turbo ~6 GB ~8x

OpenAI mengukur kelajuan pada pertuturan Inggeris dengan GPU pusat data A100 dan mengatakan kelajuan sebenar boleh sangat berbeza. Komputer riba akan lebih perlahan.

Model Whisper mana patut dipilih?

Mulakan dengan memori dan tujuan transkrip:

  • Menguji pada mesin asas: tiny atau base, sekitar 1 GB VRAM. Jangkakan lebih banyak kesilapan.
  • Bahasa Inggeris sahaja: gunakan model .en. OpenAI menyatakan ia lebih baik, terutama saiz tiny dan base.
  • Kualiti baik dengan kelajuan munasabah: turbo, sekitar 6 GB. Ia lalai baris arahan.
  • Menterjemah pertuturan ke bahasa Inggeris: medium atau large. Turbo tidak dilatih untuk terjemahan dan mengembalikan bahasa asal walaupun diminta menterjemah.
  • Audio paling sukar, hasil terbaik: large, sekitar 10 GB VRAM.

Versi Whisper: garis masa ringkas

"Large" merangkumi tiga keluaran dan turbo ialah large-v3 yang diringankan. Versi penting kerana hasil berbeza mengikut checkpoint.

Versi Dikeluarkan Perubahan
Model asal (tiny hingga large) September 2022 Keluaran sumber terbuka pertama bersama kertas
large-v2 Disember 2022 Saiz sama, dilatih 2.5 kali lebih lama dengan regularisasi tambahan
large-v3 November 2023 128 saluran Mel, token Kantonis baharu, 10% hingga 20% kurang ralat daripada v2 merentas banyak bahasa
turbo (large-v3-turbo) September 2024 Lapisan penyahkod dikurangkan daripada 32 kepada 4 untuk kelajuan; tiada terjemahan

Sumber: kad model Whisper, nota kaki kertas tentang large-v2 dan kad Hugging Face untuk large-v3 serta large-v3-turbo.

Berapa banyak bahasa disokong Whisper?

Whisper mengenali kira-kira 99 bahasa. Pengesan bahasa dalam kertas menggunakan 99 token bahasa dan tokenizer semasa menyenaraikan 100 kod selepas large-v3 menambah Kantonis. Sokongan tidak sama dengan kualiti: kad model menyatakan hasil kukuh dalam kira-kira 10 bahasa.

Kualiti berkait dengan data latihan. Kertas mendapati prestasi sesuatu bahasa sangat dipengaruhi jumlah jam yang dilihat model, dan kebanyakan bahasa mempunyai kurang 1,000 jam. Bahasa Inggeris, Sepanyol atau Jerman biasanya lebih bersih berbanding bahasa kurang sumber. README memautkan carta ralat setiap bahasa jika anda mahu menyemak.

Jangan keliru dengan bilangan produk. whispertranscribe.ai menyokong 130+ bahasa. Angka ini sokongan produk kami (halaman harga menyatakan "130+ languages & accents"), bukan sifat model Whisper sumber terbuka.

Sejauh mana tepat Whisper?

Tiada satu angka ketepatan Whisper kerana ia bergantung pada saiz model, bahasa dan rakaman. Pada bacaan Inggeris jelas, large-v2 memperoleh kadar ralat perkataan (WER) 2.7%. Purata 14 set ujian Inggeris yang kebanyakannya lebih sukar ialah 12.8%.

WER ialah bahagian perkataan salah, termasuk yang ditukar, tertinggal atau ditambah, berbanding transkrip rujukan manusia. Lebih rendah lebih baik. Angka di bawah daripada Jadual 2 kertas, membandingkan Whisper large-v2 dengan model wav2vec 2.0 yang dilatih pada set buku audio LibriSpeech:

Set ujian WER wav2vec 2.0 WER Whisper large-v2
LibriSpeech clean (buku audio dibaca) 2.7% 2.7%
Common Voice (pertuturan rakaman ramai pengguna) 29.9% 9.0%
CHiME-6 (rakaman makan malam bising) 65.8% 25.5%
Purata semua 14 set dalam jadual 29.3% 12.8%

Coraknya yang penting. Kedua-dua model seri pada ujian buku audio, tetapi Whisper jauh lebih baik pada yang lain dengan purata 55.2% kurang ralat. Pengumuman OpenAI membundarkannya kepada 50% kurang ralat. Dalam ujian hingar kertas, model yang dilatih pada LibriSpeech mengatasi Whisper pada audio hampir bersih tetapi ketinggalan apabila hingar latar seperti pub kuat, di bawah nisbah isyarat kepada hingar 10 dB.

Ini penanda aras penyelidikan, bukan janji untuk fail anda, dan dakwaan produk berasingan. whispertranscribe.ai contohnya mencapai sehingga 99% ketepatan pada audio jelas; hingar, suara bertindih dan loghat kuat mengurangkannya.

Apakah batasan Whisper?

Kelemahan utama Whisper ialah ia boleh menulis teks lancar yang tidak pernah disebut. Kad model OpenAI memanggilnya halusinasi dan mengaitkannya dengan latihan penyeliaan lemah. Ia juga menyenaraikan pengulangan, ketepatan tidak sekata mengikut bahasa dan loghat serta tiada label penutur terbina dalam.

  1. Teks halusinasi. Dalam kajian 2024 Careless Whisper, penyelidik mendapati kira-kira 1% transkrip yang diperiksa mempunyai frasa atau ayat penuh yang tiada dalam audio. Halusinasi lebih kerap berlaku sekitar jeda panjang.
  2. Gelung pengulangan. Model boleh tersekat mengulangi frasa. Beam search dan temperature fallback mengurangkan hal ini sedikit menurut kad model, tetapi tidak sepenuhnya.
  3. Perkataan pertama atau akhir hilang. Kertas menyenaraikan pengguguran beberapa perkataan mula atau akhir segmen sebagai kegagalan diketahui.
  4. Rakaman panjang memerlukan tetingkap. Whisper hanya melihat 30 saat sekali. Untuk fail panjang, alat transcribe mengalihkan tetingkap menggunakan cap masa yang diramal, jadi kesilapan satu tetingkap boleh menjejaskan yang berikutnya.
  5. Tiada label penutur. Diarisasi, menentukan siapa bercakap bila, tidak dinilai secara menyeluruh menurut kad model. Anda memerlukan alat berasingan.
  6. Bukan masa nyata secara lalai. Ia dibina untuk fail rakaman. Kapsyen langsung memerlukan kejuruteraan tambahan.
  7. Tidak sekata mengikut bahasa dan loghat. Kad model menyatakan kadar ralat lebih tinggi untuk sesetengah loghat, dialek dan kumpulan demografi.

OpenAI juga memberi amaran agar tidak mentranskrip orang tanpa persetujuan dan tidak menggunakannya untuk keputusan berisiko tinggi.

Apabila sumber rasmi berbeza

Sesetengah angka berbeza antara dokumen OpenAI sendiri, kebanyakannya kerana pembundaran atau perubahan versi. Semak sebelum memetik:

Topik Satu sumber rasmi menyatakan Sumber lain menyatakan Apa digunakan
Pengurangan ralat berbanding model LibriSpeech Kertas: purata 55.2% kurang ralat Pengumuman OpenAI: 50% kurang Petik kertas dan namakan perbandingan
Bahasa selain Inggeris dalam data latihan Kertas: 96 bahasa lain Kad model: 98 bahasa "Kira-kira 99 bahasa" untuk pengecaman
Jam latihan terjemahan Kad model: 126,000 Kertas: 125,000 Mana-mana, nyatakan anggaran
Bilangan parameter turbo README dan Hugging Face: 809 M Jadual kad model: 798 M 809 M, angka kebanyakan sumber
Saiz data latihan Kertas asal: 680,000 jam Kad large-v3: 5 juta jam Namakan versi yang dimaksudkan
Lesen GitHub: MIT untuk kod dan pemberat Metadata Hugging Face large-v3: Apache-2.0 Semak fail lesen salinan yang dimuat turun

Cara menggunakan Whisper: jalankan sendiri, panggil API atau gunakan aplikasi

Terdapat tiga cara praktikal. Menjalankan Whisper sendiri percuma dan mengekalkan audio pada mesin. API OpenAI menghapuskan persediaan tetapi mengehadkan saiz fail. Aplikasi transkripsi terhos menambah editor, label penutur dan eksport, tetapi merupakan perkhidmatan pihak ketiga dengan terma sendiri.

Jalankan Whisper sumber terbuka API transkripsi OpenAI Aplikasi transkripsi terhos
Persediaan Python, PyTorch dan FFmpeg Kod dan kunci API Pelayar
Kos Percuma; perkakasan sendiri Bayar mengikut penggunaan Pelan percuma atau langganan, bergantung aplikasi
Had fail Perkakasan anda 25 MB setiap fail Ditetapkan setiap aplikasi
Ke mana audio pergi Kekal pada komputer Dihantar kepada OpenAI Dihantar ke pelayan aplikasi
Label penutur Tidak terbina dalam Tiada dalam whisper-1 Bergantung pada aplikasi
Suntingan dan eksport TXT, SRT, VTT, TSV, JSON daripada baris arahan Dikembalikan ke kod anda; anda bina selebihnya Biasanya editor serta eksport dokumen dan sari kata

Jalankan Whisper pada komputer sendiri

README OpenAI memberikan arahan pemasangan dan asas:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

FFmpeg juga perlu dipasang dan README menyatakan kod sepatutnya berjalan pada Python 3.8 hingga 3.11. Tambah --language untuk bahasa pertuturan atau --task translate dengan model pelbagai bahasa untuk bahasa Inggeris. Pemberat model dimuat turun pada penggunaan pertama. Whisper CLI tidak dipasang dalam persekitaran ini; arahan ini tidak kami jalankan.

Gunakan API OpenAI

Panduan pertuturan kepada teks OpenAI mengehadkan muat naik kepada 25 MB setiap fail, jadi mampatkan atau pecahkan fail lebih besar. Seperti disemak November 2026, panduan menandakan whisper-1 sebagai usang dengan tarikh penutupan 26 Februari 2027 dan mengarahkan pembangun kepada model transkripsi lebih baharu. Model baharu itu model pertuturan OpenAI, bukan keluaran baharu keluarga Whisper sumber terbuka.

Gunakan aplikasi transkripsi terhos

Jika tidak mahu memasang apa-apa, aplikasi terhos memproses fail pada pelayannya. whispertranscribe.ai ialah satu pilihan, dan penukar audio kepada teks percuma ialah cara cepat mencubanya. Halaman utama menerangkan whispertranscribe.ai sebagai "powered by Whisper and next-generation AI". Berikut tawaran daripada halaman produk kami:

Terdapat pertukaran: fail anda pergi ke perkhidmatan awan, bukan kekal pada komputer. Kami tidak menawarkan API, kosa kata tersuai atau bot mesyuarat. Pelan berbayar bermula $9.99/bulan bil tahunan (harga), dan anda boleh mula percuma tanpa akaun. Lihat halaman alat transkripsi Whisper AI atau semua ciri untuk butiran.

Adakah Whisper sumber terbuka dan apa dibenarkan lesen?

Ya. Repositori OpenAI menyatakan kod dan pemberat model Whisper dikeluarkan di bawah Lesen MIT. MIT ialah lesen permisif. Secara umum ia membenarkan penggunaan, penyalinan, pengubahsuaian dan penjualan perisian berasaskan kod tersebut selagi notis hak cipta dan lesen dikekalkan.

Dua peringatan. Salinan pada laman lain mungkin mempunyai metadata lesen berbeza; halaman large-v3 Hugging Face menyenaraikan Apache-2.0. Baca lesen yang mengiringi salinan anda. Lesen meliputi perisian, bukan rakaman yang dimasukkan. Peraturan persetujuan dan privasi tetap terpakai kepada audio. Ini maklumat umum, bukan nasihat undang-undang; teks lesen MIT ialah sumber rasmi.

Whisper untuk siapa?

Whisper sesuai untuk pembangun dan sesiapa yang selesa menggunakan terminal serta mahu transkripsi percuma, peribadi dan tanpa had. Jika mahukan transkrip siap dengan editor dan eksport, aplikasi terhos biasanya lebih cepat.

Anda ialah… Pilihan sesuai Mengapa
Pembangun membina produk Whisper sumber terbuka atau API Kawalan penuh proses
Penyelidik dengan temu bual sensitif Whisper sumber terbuka dijalankan setempat Audio tidak meninggalkan mesin
Pencipta yang perlu sari kata minggu ini Aplikasi terhos dengan eksport SRT atau VTT Tiada persediaan; fail bertempoh sedia dimuat naik
Pengguna komputer riba tanpa GPU Model kecil setempat atau aplikasi terhos Model besar memerlukan kira-kira 10 GB VRAM

Sebelum mempercayai transkrip Whisper: senarai semak

Kami membina senarai ini daripada kegagalan yang diterangkan dalam kertas dan kad model OpenAI:

  • Semak sampel pada jeda dan bahagian senyap untuk ayat yang tidak disebut.
  • Cari frasa sama yang diulang beberapa kali berturut-turut.
  • Semak baris pertama dan terakhir fail dengan audio.
  • Sahkan nama, nombor dan istilah teknikal.
  • Pastikan bahasa dikesan dengan betul atau tetapkannya secara manual.
  • Untuk terjemahan, pastikan anda tidak menggunakan turbo.
  • Tambah label penutur dengan alat berasingan jika perlu.
  • Dapatkan persetujuan sebelum merakam atau mentranskrip orang lain.

Soalan lazim

Adakah Whisper AI percuma?

Ya, OpenAI Whisper percuma dimuat turun dan dijalankan. OpenAI melesenkan kod dan pemberat di bawah MIT, jadi anda boleh menggunakannya tanpa membayar OpenAI. Anda menyediakan komputer dan model besar memerlukan kira-kira 10 GB memori GPU. Pilihan terhos berbayar: API OpenAI mengenakan caj penggunaan dan aplikasi transkripsi menetapkan pelan sendiri. "Percuma" juga tidak bermakna mudah; anda memerlukan Python, FFmpeg dan keselesaan menggunakan baris arahan.

Bolehkah Whisper mengenal pasti penutur berbeza?

Tidak dengan sendirinya. Whisper menulis apa yang dikatakan tetapi tidak melabel siapa berkata. Kad model OpenAI menyatakan keupayaan seperti diarisasi penutur tidak dinilai secara menyeluruh. Untuk label, orang biasanya menggabungkan Whisper dengan alat diarisasi berasingan atau menggunakan aplikasi transkripsi yang menambah pengesanan penutur. whispertranscribe.ai contohnya mempunyai pilihan pengesanan penutur sebelum transkripsi. Sentiasa semak label apabila suara serupa.

Bolehkah Whisper mentranskrip dalam masa nyata?

Tidak secara terus. Whisper direka untuk audio rakaman dan memprosesnya dalam tetingkap 30 saat, dan kad model OpenAI menyatakan ia tidak boleh digunakan untuk transkripsi masa nyata tanpa kerja tambahan. Pembangun membina alat hampir masa nyata dengan memasukkan cebisan pendek apabila tiba. Jika memerlukan kapsyen langsung, cari alat dengan mod langsung khusus dan jangkakan output langsung memerlukan lebih banyak pembetulan daripada transkrip rakaman siap.

Berapa bahasa disokong Whisper?

Whisper mengenali kira-kira 99 bahasa dan tokenizer semasa menyenaraikan 100 kod selepas Kantonis ditambah dalam large-v3. Kualiti sangat berbeza. Kad model OpenAI melaporkan hasil kukuh dalam kira-kira 10 bahasa dan kertas mendapati kebanyakan bahasa mempunyai kurang 1,000 jam audio latihan. Sebelum bergantung pada bahasa kurang lazim, uji klip pendek. Angka produk seperti 130+ bahasa whispertranscribe.ai menerangkan sokongan produk, bukan model sumber terbuka.

Adakah whispertranscribe.ai sama dengan OpenAI Whisper?

Tidak. OpenAI Whisper ialah model sumber terbuka yang dimuat turun dan dijalankan sendiri. whispertranscribe.ai ialah perkhidmatan transkripsi pelayar berasingan; halaman utamanya menyatakan ia dikuasakan Whisper dan AI generasi baharu. Ia menambah perkara yang tiada pada model mentah seperti muat naik sehingga 5GB, import pautan YouTube atau Google Drive, pengesanan penutur dan eksport DOCX, PDF, SRT dan VTT. Aplikasi lain bernama "Whisper" ialah produk berasingan daripada syarikat berbeza.

Mengapa Whisper kadangkala menulis perkataan yang tidak disebut?

Kerana ia meramal teks seperti model bahasa. Kad model OpenAI menyatakan latihan pada data web besar dan bising menyebabkan model kadangkala menghasilkan perkataan yang tiada dalam audio. Penjelasan OpenAI ialah ia menggabungkan ramalan perkataan berikutnya dengan transkripsi yang didengar. Kajian 2024 mendapati frasa rekaan penuh dalam kira-kira 1% transkrip yang diperiksa, lebih kerap sekitar jeda panjang. Semak jeda, bahagian senyap dan apa-apa yang penting dengan audio.


Mahu transkrip Whisper tanpa persediaan? Muat naik fail atau tampal pautan ke whispertranscribe.ai dan dapatkan teks dalam 130+ bahasa, dengan eksport DOCX, PDF, SRT dan VTT.

Rujukan

Mahu menukar rakaman kepada teks?

Transkripsikan audio dan video dengan whispertranscribe.ai.

Mulakan transkripsi ↗