Whisper AI چیست؟ مدل تشخیص گفتار OpenAI چگونه کار می‌کند

نوشته تحریریه whispertranscribe.ai · آخرین به‌روزرسانی: نوامبر ۲۰۲۶ · زمان مطالعه: ۱۳ دقیقه

Whisper AI چیست؟ در بیشتر جست‌وجوها منظور OpenAI Whisper است، مدل متن‌باز تشخیص گفتار که OpenAI در سپتامبر ۲۰۲۲ منتشر کرد. گفتار ضبط‌شده را به متن تبدیل می‌کند، زبان گفتار را تشخیص می‌دهد و می‌تواند زبان‌های دیگر را به انگلیسی ترجمه کند. OpenAI آن را با 680,000 ساعت صدای وب آموزش داد و کد و وزن‌ها را با مجوز MIT منتشر کرد.

برای شفافیت: ما whispertranscribe.ai را می‌سازیم. whispertranscribe.ai ابزار رونویسی هوش مصنوعی تحت وب است که صوت و ویدیو را به بیش از ۱۳۰ زبان به متن تبدیل می‌کند. این راهنما مدل را از محصولات مبتنی بر آن جدا می‌کند و هر عدد مربوط به مدل از مقاله، مخزن یا کارت مدل خود OpenAI آمده است.

پاسخ کوتاه: Whisper AI چیست؟

Whisper مدل گفتار به متن است، نه برنامه یا شرکت. می‌توانید آن را از مخزن GitHub اوپن‌ای‌آی دانلود و روی رایانه خود اجرا کنید یا از سرویسی استفاده کنید که آن را برای شما اجرا می‌کند.

  • سازنده: OpenAI. مقاله پژوهشی Robust Speech Recognition via Large-Scale Weak Supervision در ۶ دسامبر ۲۰۲۲ در arXiv منتشر شد.
  • کاربرد: رونویسی گفتار، تشخیص زبان، ترجمه گفتار به انگلیسی و افزودن زمان‌بندی بخش‌ها.
  • آنچه به‌صورت پیش‌فرض انجام نمی‌دهد: برچسب‌گذاری گویندگان یا رونویسی زنده. کارت مدل OpenAI می‌گوید بدون کار اضافی برای رونویسی بلادرنگ آماده نیست.
  • اندازه‌ها: شش اندازه، از tiny با ۳۹ میلیون پارامتر تا large با 1,550 میلیون.
  • هزینه: دانلود و اجرا رایگان است. سخت‌افزار را خودتان فراهم می‌کنید.

«Whisper AI» می‌تواند سه معنی متفاوت داشته باشد

این نام به‌شکل گسترده استفاده می‌شود و سه معنی آن به‌راحتی اشتباه گرفته می‌شوند.

آنچه «Whisper AI» نامیده می‌شود چیست سازنده روش استفاده
OpenAI Whisper مدل متن‌باز تشخیص گفتار OpenAI کد و وزن‌ها را دانلود و خودتان اجرا کنید
whisper-1 مدل رونویسی میزبانی‌شده API اوپن‌ای‌آی OpenAI فایل صوتی را به API اوپن‌ای‌آی بفرستید و به‌اندازه استفاده بپردازید
برنامه‌هایی با نام «Whisper» محصولات رونویسی مانند whisperai.com و whispertranscribe.ai، یعنی همین سایت شرکت‌های مستقل صدا را در برنامه بارگذاری یا ضبط کنید

محصولات ردیف سوم خود مدل نیستند و قابل جایگزینی با یکدیگر نیستند. هر شرکت قابلیت‌ها، محدودیت‌ها، قیمت‌ها و شرایط حریم خصوصی خود را تعیین می‌کند. در این مقاله منظور از «Whisper» مدل OpenAI است.

Whisper چگونه کار می‌کند؟

Whisper یک Transformer رمزگذار-رمزگشاست. رمزگذار ۳۰ ثانیه صوت را به نمایش عددی تبدیل می‌کند و رمزگشا متن متناظر را یک توکن در هر مرحله می‌نویسد؛ توکن‌های ویژه مشخص می‌کنند چه کاری انجام شود.

مقاله Whisper این فرایند را توضیح می‌دهد:

  1. نمونه‌برداری مجدد. صدا به 16,000 Hz تبدیل می‌شود.
  2. تقسیم به پنجره‌های ۳۰ ثانیه‌ای. مدل همواره هر بار ۳۰ ثانیه را می‌بیند. کلیپ کوتاه‌تر با داده تکمیلی پر می‌شود.
  3. ساخت طیف‌نگاره. هر پنجره به طیف‌نگاره log-Mel با ۸۰ کانال تبدیل می‌شود؛ تصویری از تغییر انرژی صوت در فرکانس‌ها که با فریم‌های ۲۵ میلی‌ثانیه‌ای هر ۱۰ میلی‌ثانیه محاسبه می‌شود. Large-v3 به ۱۲۸ کانال تغییر کرد.
  4. رمزگذاری. دو لایه کانولوشن و مجموعه‌ای از بلوک‌های Transformer طیف‌نگاره را پردازش می‌کنند.
  5. رمزگشایی. رمزگشا ابتدا زبان یا توکن «بدون گفتار» را پیش‌بینی می‌کند. سپس نوع کار، رونویسی یا ترجمه، وجود زمان‌بندی و در پایان خود متن می‌آید.

زمان‌بندی نیز به‌شکل توکن پیش‌بینی و به نزدیک‌ترین ۲۰ میلی‌ثانیه گرد می‌شود. به این ترتیب یک مدل تشخیص زبان، رونویسی، ترجمه و زمان‌بندی را انجام می‌دهد.

Whisper با چه داده‌ای آموزش دید؟

مدل‌های اولیه از 680,000 ساعت صدای اینترنت همراه با متن متناظر آموختند. OpenAI آن را «نظارت ضعیف» می‌نامد، چون متن‌ها مانند مجموعه‌های معیار با دست بررسی نشده بودند.

سهم صدای آموزشی ساعت محتوا
حدود ۶۵٪ 438,000 صدای انگلیسی با متن انگلیسی
حدود ۱۸٪ 126,000 صدای غیرا‌نگلیسی با متن انگلیسی، داده ترجمه
حدود ۱۷٪ 117,000 صدای غیرا‌نگلیسی با متن به همان زبان

منبع: کارت مدل Whisper از OpenAI. مقاله سهم ترجمه را به 125,000 ساعت گرد می‌کند.

دو جزئیات بسیاری از رفتار Whisper را توضیح می‌دهند. OpenAI متن‌هایی را که ماشینی به نظر می‌رسیدند، مانند متن تمام‌حروف‌بزرگ، حذف کرد؛ بنابراین مدل نوشتن جمله با نشانه‌گذاری را آموخت. مدل‌های اولیه همچنین نام گویندگان را حدس می‌زدند، چون بسیاری متن‌های وب نام داشتند. OpenAI با آموزش تکمیلی این رفتار را کاهش داد، اما نشان می‌دهد مدل چقدر متن آموزشی را بازتاب می‌دهد.

Large-v3 متفاوت آموزش دید: طبق کارت مدل Hugging Face، حدود ۵ میلیون ساعت شامل ۱ میلیون با برچسب ضعیف وب و ۴ میلیون با برچسب large-v2.

مقایسه اندازه‌های مدل Whisper

Whisper در شش اندازه عرضه می‌شود. مدل کوچک روی سخت‌افزار معمولی سریع‌تر است؛ مدل بزرگ خطای کمتر اما حافظه ویدیویی (VRAM) بیشتری می‌خواهد. اعداد زیر از README اوپن‌ای‌آی هستند.

اندازه پارامتر نسخه فقط انگلیسی نسخه چندزبانه VRAM لازم سرعت نسبت به large
tiny 39 M tiny.en tiny ~1 GB ~10x
base 74 M base.en base ~1 GB ~7x
small 244 M small.en small ~2 GB ~4x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M ندارد large ~10 GB 1x
turbo 809 M ندارد turbo ~6 GB ~8x

OpenAI این سرعت‌ها را با گفتار انگلیسی و GPU مرکز داده A100 اندازه گرفت و می‌گوید سرعت واقعی ممکن است بسیار متفاوت باشد. لپ‌تاپ کندتر خواهد بود.

کدام مدل Whisper را انتخاب کنیم؟

از حافظه موجود و کاربرد متن شروع کنید:

  • آزمایش روی رایانه معمولی: tiny یا base با حدود 1 GB حافظه VRAM؛ خطای بیشتری انتظار داشته باشید.
  • فقط انگلیسی: از مدل .en استفاده کنید. OpenAI می‌گوید به‌ویژه در اندازه tiny و base بهتر است.
  • کیفیت خوب با سرعت مناسب: turbo با حدود 6 GB؛ گزینه پیش‌فرض خط فرمان است.
  • ترجمه گفتار به انگلیسی: medium یا large. Turbo برای ترجمه آموزش ندیده است و حتی با درخواست ترجمه زبان اصلی را برمی‌گرداند.
  • دشوارترین صوت و بهترین نتیجه ممکن: large با حدود 10 GB حافظه VRAM.

نسخه‌های Whisper: تاریخچه کوتاه

«Large» سه انتشار داشته و turbo نسخه سبک‌شده large-v3 است. نسخه اهمیت دارد، چون نتیجه با وزن‌های مدل متفاوت است.

نسخه انتشار تغییر
مدل‌های اصلی tiny تا large سپتامبر ۲۰۲۲ انتشار متن‌باز اولیه همراه مقاله
large-v2 دسامبر ۲۰۲۲ همان اندازه با آموزش 2.5 برابر طولانی‌تر و منظم‌سازی بیشتر
large-v3 نوامبر ۲۰۲۳ ۱۲۸ کانال Mel، توکن جدید کانتونی، ۱۰٪ تا ۲۰٪ خطای کمتر از v2 در بسیاری زبان‌ها
turbo (large-v3-turbo) سپتامبر ۲۰۲۴ کاهش لایه‌های رمزگشا از ۳۲ به ۴ برای سرعت؛ بدون ترجمه

منابع: کارت مدل Whisper، پانویس مقاله درباره large-v2 و کارت‌های Hugging Face برای large-v3 و large-v3-turbo.

Whisper از چند زبان پشتیبانی می‌کند؟

Whisper حدود ۹۹ زبان را تشخیص می‌دهد. تشخیص‌دهنده زبان مقاله ۹۹ توکن زبان داشت و توکن‌ساز فعلی پس از افزودن کانتونی در large-v3، صد کد زبان فهرست می‌کند. پشتیبانی با کیفیت یکسان نیست: کارت مدل می‌گوید Whisper در حدود ۱۰ زبان نتایج قوی دارد.

کیفیت با داده آموزشی مرتبط است. مقاله دریافت عملکرد زبان با تعداد ساعت‌های آموزشی آن به‌خوبی پیش‌بینی می‌شود و بیشتر زبان‌ها کمتر از 1,000 ساعت داشتند. انگلیسی، اسپانیایی یا آلمانی معمولاً واضح‌تر از زبان کم‌منبع درمی‌آیند. README نمودار خطای هر زبان را برای بررسی لینک می‌دهد.

این را با تعداد زبان محصول اشتباه نگیرید. whispertranscribe.ai از بیش از ۱۳۰ زبان پشتیبانی می‌کند. این عدد مربوط به محصول ماست؛ صفحه قیمت «بیش از ۱۳۰ زبان و لهجه» می‌گوید و ویژگی خود مدل متن‌باز Whisper نیست.

دقت Whisper چقدر است؟

Whisper یک عدد دقت واحد ندارد، چون به اندازه مدل، زبان و ضبط بستگی دارد. در انگلیسی خوانده‌شده و واضح، large-v2 نرخ خطای کلمات (WER) برابر 2.7% داشت. میانگین ۱۴ مجموعه آزمون انگلیسی که بیشترشان دشوارتر بودند 12.8% بود.

WER سهم کلماتی است که سیستم نسبت به متن مرجع انسانی جایگزین، حذف یا اضافه می‌کند؛ عدد کمتر بهتر است. اعداد جدول ۲ مقاله، Whisper large-v2 را با مدل wav2vec 2.0 آموزش‌دیده روی کتاب صوتی LibriSpeech مقایسه می‌کنند:

مجموعه آزمون WER مدل wav2vec 2.0 WER مدل Whisper large-v2
LibriSpeech clean، کتاب صوتی خوانده‌شده 2.7% 2.7%
Common Voice، گفتار ضبط‌شده مشارکت‌کنندگان 29.9% 9.0%
CHiME-6، ضبط مهمانی شام پرنویز 65.8% 25.5%
میانگین ۱۴ مجموعه آزمون جدول 29.3% 12.8%

نکته الگوست: دو مدل در آزمون کتاب صوتی برابرند، اما Whisper در بقیه بهتر عمل می‌کند و به‌طور میانگین 55.2% خطای کمتر دارد. اطلاعیه OpenAI آن را به «۵۰٪ خطای کمتر» گرد می‌کند. در آزمون نویز، مدل‌های آموزش‌دیده با LibriSpeech در صدای تقریباً واضح بهتر از Whisper بودند، اما با افزایش نویز شبیه کافه و نسبت سیگنال به نویز کمتر از 10 dB عقب افتادند.

این‌ها معیار پژوهشی‌اند، نه وعده برای فایل شما؛ ادعاهای محصولات جداگانه‌اند. برای نمونه whispertranscribe.ai در صدای واضح تا ۹۹٪ دقت دارد و نویز، صحبت هم‌زمان و لهجه سنگین آن را کاهش می‌دهند.

محدودیت‌های Whisper چیست؟

ضعف اصلی Whisper این است که می‌تواند متن روانی بنویسد که کسی نگفته است. کارت مدل OpenAI این را توهم می‌نامد و به آموزش با نظارت ضعیف مرتبط می‌کند. تکرار، دقت نابرابر میان زبان‌ها و لهجه‌ها و نداشتن برچسب گوینده داخلی نیز ذکر شده است.

  1. متن ساختگی. در مطالعه سال ۲۰۲۴ با نام Careless Whisper، پژوهشگران دریافتند حدود ۱٪ متن‌های بررسی‌شده عبارت یا جمله کاملی دارند که در صدا نبود. توهم نزدیک مکث‌های طولانی بیشتر رخ داد.
  2. حلقه تکرار. مدل ممکن است در تکرار یک عبارت گیر کند. طبق کارت مدل، جست‌وجوی پرتو و تغییر دما این را تا حدی کم می‌کنند، نه کامل.
  3. حذف کلمات ابتدا یا انتها. مقاله حذف چند کلمه اول یا آخر بخش را خطای شناخته‌شده می‌داند.
  4. ضبط طولانی به پنجره‌بندی نیاز دارد. Whisper هر بار فقط ۳۰ ثانیه را می‌بیند. برای فایل طولانی ابزار transcribe پنجره را با زمان‌بندی پیش‌بینی‌شده جلو می‌برد؛ خطای یک پنجره ممکن است بعدی را مختل کند.
  5. بدون برچسب گوینده. طبق کارت مدل، تفکیک اینکه چه کسی چه زمانی صحبت کرده به‌طور قوی ارزیابی نشده است. ابزار جداگانه لازم دارید.
  6. به‌طور پیش‌فرض بلادرنگ نیست. برای فایل ضبط‌شده ساخته شده و زیرنویس زنده به مهندسی اضافی نیاز دارد.
  7. تفاوت میان زبان‌ها و لهجه‌ها. کارت مدل نرخ خطای بالاتر برای بعضی لهجه‌ها، گویش‌ها و گروه‌های جمعیتی را ذکر می‌کند.

OpenAI همچنین درباره رونویسی افراد بدون رضایت و استفاده در تصمیم‌گیری پرخطر هشدار می‌دهد.

موارد اختلاف منابع رسمی

برخی اعداد حتی میان اسناد OpenAI متفاوت‌اند، عمدتاً به‌دلیل گرد کردن یا تغییر نسخه. پیش از نقل عدد بررسی کنید:

موضوع یک منبع رسمی منبع دیگر چه چیزی استفاده شود
کاهش خطا نسبت به مدل‌های LibriSpeech مقاله: میانگین 55.2% خطای کمتر اطلاعیه OpenAI: ۵۰٪ خطای کمتر مقاله و نوع مقایسه را ذکر کنید
زبان‌های آموزشی غیر از انگلیسی مقاله: ۹۶ زبان دیگر کارت مدل: ۹۸ زبان برای تشخیص «حدود ۹۹ زبان»
ساعات آموزش ترجمه کارت مدل: 126,000 مقاله: 125,000 هر کدام با ذکر تقریبی بودن
تعداد پارامتر turbo README و Hugging Face: 809 M جدول کارت مدل: 798 M 809 M، عددی که بیشتر منابع به‌کار می‌برند
اندازه داده آموزشی مقاله اصلی: 680,000 ساعت کارت large-v3: ۵ میلیون ساعت نسخه موردنظر را مشخص کنید
مجوز GitHub: مجوز MIT برای کد و وزن‌ها فراداده large-v3 در Hugging Face: Apache-2.0 فایل مجوز نسخه دانلودشده را بررسی کنید

روش استفاده از Whisper: اجرای شخصی، API یا برنامه

سه راه عملی دارید. اجرای شخصی رایگان است و صدا را در دستگاه نگه می‌دارد. API اوپن‌ای‌آی تنظیمات را حذف می‌کند، اما اندازه فایل را محدود می‌کند. برنامه میزبانی‌شده ویرایش، برچسب گوینده و خروجی دارد، اما سرویس شخص ثالث با شرایط خاص خود است.

اجرای Whisper متن‌باز API رونویسی OpenAI برنامه رونویسی میزبانی‌شده
تنظیمات Python، PyTorch و FFmpeg کد و کلید API مرورگر
هزینه رایگان؛ سخت‌افزار با شما پرداخت بر اساس استفاده طرح رایگان یا اشتراک، بسته به برنامه
محدودیت فایل سخت‌افزار شما 25 MB برای هر فایل تعیین‌شده توسط هر برنامه
مقصد صدا در رایانه شما می‌ماند به OpenAI ارسال می‌شود به سرورهای برنامه ارسال می‌شود
برچسب گوینده داخلی ندارد در whisper-1 ندارد به برنامه بستگی دارد
ویرایش و خروجی TXT، SRT، VTT، TSV، JSON از خط فرمان به کد شما برمی‌گردد؛ بقیه را خودتان می‌سازید معمولاً ویرایشگر و خروجی سند و زیرنویس

اجرای Whisper روی رایانه خود

README اوپن‌ای‌آی دستور نصب و اجرای پایه را ارائه می‌دهد:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

باید FFmpeg نیز نصب باشد و README می‌گوید کد باید با Python 3.8 تا 3.11 اجرا شود. برای تعیین زبان گفتار --language یا برای دریافت انگلیسی با مدل چندزبانه --task translate را اضافه کنید. وزن‌های مدل در اولین استفاده دانلود می‌شوند.

استفاده از API اوپن‌ای‌آی

راهنمای گفتار به متن اوپن‌ای‌آی بارگذاری را به 25 MB در هر فایل محدود می‌کند؛ فایل بزرگ‌تر را فشرده یا تقسیم کنید. طبق بررسی نوامبر ۲۰۲۶، راهنما whisper-1 را منسوخ اعلام و تاریخ توقف ۲۶ فوریه ۲۰۲۷ را ذکر می‌کند و توسعه‌دهندگان را به مدل‌های جدیدتر رونویسی ارجاع می‌دهد. این‌ها مدل‌های گفتار OpenAI هستند، نه نسخه جدید خانواده متن‌باز Whisper.

استفاده از برنامه رونویسی میزبانی‌شده

اگر نمی‌خواهید چیزی نصب کنید، برنامه میزبانی‌شده فایل را روی سرور خود پردازش می‌کند. whispertranscribe.ai یکی از گزینه‌هاست و تبدیل‌کننده رایگان صوت به متن راه سریعی برای آزمایش آن است. صفحه اصلی ما whispertranscribe.ai را مبتنی بر Whisper و هوش مصنوعی نسل بعد توصیف می‌کند. طبق صفحات محصول، امکانات آن عبارت‌اند از:

محدودیت‌ها واقعی‌اند. فایل شما به سرویس ابری می‌رود و تنها روی رایانه نمی‌ماند. ما API، واژگان سفارشی یا ربات جلسه نداریم. طرح پولی از 9.99 دلار در ماه با پرداخت سالانه شروع می‌شود (قیمت‌ها) و می‌توانید رایگان بدون حساب شروع کنید. برای جزئیات ابزار رونویسی Whisper AI یا همه قابلیت‌ها را ببینید.

آیا Whisper متن‌باز است و مجوز چه اجازه‌ای می‌دهد؟

بله. مخزن OpenAI می‌گوید کد و وزن‌های Whisper با مجوز MIT منتشر شده‌اند. MIT مجوزی آسان‌گیر است و به‌طور کلی اجازه استفاده، کپی، تغییر و فروش نرم‌افزار مبتنی بر کد را می‌دهد، مشروط به حفظ اطلاعیه حق نشر و مجوز.

دو نکته: نسخه‌های سایت‌های دیگر ممکن است فراداده مجوز متفاوت داشته باشند؛ صفحه large-v3 در Hugging Face مجوز Apache-2.0 فهرست می‌کند. مجوز همراه نسخه خود را بخوانید. همچنین مجوز نرم‌افزار را پوشش می‌دهد، نه ضبط‌هایی که به آن می‌دهید. قوانین رضایت و حریم خصوصی همچنان برای صوت اعمال می‌شوند. این اطلاعات عمومی است، نه مشاوره حقوقی؛ متن مجوز MIT منبع رسمی است.

Whisper برای چه کسانی مناسب است؟

Whisper برای توسعه‌دهندگان و کسانی که با ترمینال راحت‌اند و رونویسی رایگان، خصوصی و بدون محدودیت می‌خواهند مناسب است. اگر متن آماده با ویرایشگر و خروجی می‌خواهید، برنامه میزبانی‌شده معمولاً سریع‌تر است.

شما… گزینه مناسب دلیل
توسعه‌دهنده در حال ساخت محصول Whisper متن‌باز یا API کنترل کامل بر فرایند
پژوهشگر با مصاحبه حساس Whisper متن‌باز با اجرای محلی صوت از رایانه خارج نمی‌شود
تولیدکننده‌ای که این هفته زیرنویس می‌خواهد برنامه میزبانی‌شده با خروجی SRT یا VTT بدون تنظیمات؛ فایل زمان‌دار آماده بارگذاری
کاربر لپ‌تاپ بدون GPU مدل کوچک محلی یا برنامه میزبانی‌شده مدل بزرگ حدود 10 GB حافظه VRAM می‌خواهد

پیش از اتکا به متن Whisper: فهرست بررسی

این فهرست را از خطاهای مقاله و کارت مدل OpenAI تهیه کرده‌ایم:

  • مکث‌ها و سکوت‌ها را برای جمله‌هایی که کسی نگفته بررسی کنید.
  • تکرار چندباره یک عبارت را جست‌وجو کنید.
  • سطرهای اول و آخر فایل را با صدا تطبیق دهید.
  • نام‌ها، اعداد و اصطلاحات فنی را بررسی کنید.
  • مطمئن شوید زبان درست تشخیص داده شده یا آن را دستی تنظیم کنید.
  • برای ترجمه مطمئن شوید از turbo استفاده نکرده‌اید.
  • در صورت نیاز با ابزار جداگانه برچسب گوینده اضافه کنید.
  • پیش از ضبط یا رونویسی دیگران رضایت بگیرید.

پرسش‌های متداول

آیا Whisper AI رایگان است؟

بله، OpenAI Whisper رایگان دانلود و اجرا می‌شود. OpenAI کد و وزن‌ها را تحت MIT منتشر کرده، پس بدون پرداخت به OpenAI قابل استفاده‌اند. رایانه با شماست و مدل large حدود 10 GB حافظه GPU می‌خواهد. گزینه‌های میزبانی‌شده هزینه دارند: API بر اساس استفاده پول می‌گیرد و برنامه‌ها طرح خود را دارند. «رایگان» به معنی آسان نیست؛ Python، FFmpeg و آشنایی با خط فرمان لازم دارید.

آیا Whisper می‌تواند گویندگان را تشخیص دهد؟

به‌تنهایی خیر. Whisper آنچه گفته شده می‌نویسد، اما مشخص نمی‌کند چه کسی گفته است. کارت مدل OpenAI می‌گوید قابلیت‌هایی مانند تفکیک گویندگان به‌طور قوی ارزیابی نشده‌اند. برای برچسب معمولاً Whisper را با ابزار تفکیک جداگانه ترکیب می‌کنند یا برنامه‌ای با تشخیص گوینده به‌کار می‌برند. مثلاً whispertranscribe.ai گزینه تشخیص گوینده پیش از رونویسی دارد. در ضبط با صداهای مشابه برچسب‌ها را همیشه بررسی کنید.

آیا Whisper در زمان واقعی رونویسی می‌کند؟

نه به‌صورت پیش‌فرض. Whisper برای صوت ضبط‌شده طراحی شده و در پنجره‌های ۳۰ ثانیه‌ای پردازش می‌کند؛ کارت OpenAI می‌گوید بدون کار اضافی برای رونویسی بلادرنگ قابل استفاده نیست. توسعه‌دهندگان با فرستادن قطعات کوتاه هنگام رسیدن، ابزارهای نزدیک به بلادرنگ ساخته‌اند. اگر زیرنویس زنده می‌خواهید، ابزار دارای حالت زنده اختصاصی انتخاب کنید و انتظار ویرایش بیشتری نسبت به متن ضبط کامل داشته باشید.

Whisper از چند زبان پشتیبانی می‌کند؟

Whisper حدود ۹۹ زبان را تشخیص می‌دهد و توکن‌ساز فعلی پس از افزودن کانتونی در large-v3، صد کد زبان دارد. کیفیت بسیار متفاوت است. کارت OpenAI نتایج قوی را در حدود ۱۰ زبان گزارش می‌کند و مقاله دریافت بیشتر زبان‌ها کمتر از 1,000 ساعت صوت آموزشی داشتند. پیش از اتکا به زبان کمتر رایج، کلیپی کوتاه آزمایش کنید. اعداد محصول مانند بیش از ۱۳۰ زبان whispertranscribe.ai مربوط به همان محصول‌اند، نه مدل متن‌باز.

آیا whispertranscribe.ai همان OpenAI Whisper است؟

خیر. OpenAI Whisper مدل متن‌بازی است که دانلود و اجرا می‌کنید. whispertranscribe.ai سرویس جداگانه رونویسی مبتنی بر مرورگر است؛ صفحه اصلی آن را مبتنی بر Whisper و هوش مصنوعی نسل بعد توصیف می‌کند. امکاناتی فراتر از مدل خام دارد، از جمله بارگذاری تا 5GB، وارد کردن لینک YouTube یا Google Drive، تشخیص گوینده و خروجی DOCX، PDF، SRT و VTT. برنامه‌های دیگر با «Whisper» در نام نیز محصولات مستقل شرکت‌های دیگرند.

چرا Whisper گاهی کلماتی می‌نویسد که کسی نگفته است؟

زیرا متن را مشابه مدل زبانی پیش‌بینی می‌کند. کارت مدل OpenAI می‌گوید آموزش با داده گسترده و پرنویز وب باعث می‌شود مدل گاهی کلماتی خارج از صدا تولید کند. طبق توضیح OpenAI، مدل پیش‌بینی کلمه محتمل بعدی را با رونویسی آنچه می‌شنود ترکیب می‌کند. مطالعه‌ای در ۲۰۲۴ عبارت‌های ساختگی کامل را در حدود ۱٪ متن‌های بررسی‌شده یافت، بیشتر نزدیک مکث‌های طولانی. مکث، بخش‌های آرام و موارد مهم را با صدا تطبیق دهید.


متن Whisper بدون تنظیمات می‌خواهید؟ فایل یا لینک را در whispertranscribe.ai وارد کنید و متن بیش از ۱۳۰ زبان را با خروجی DOCX، PDF، SRT و VTT بگیرید.

منابع

می‌خواهید فایل‌های ضبط‌شدهٔ خود را به متن تبدیل کنید؟

صدا و ویدیو را با whispertranscribe.ai به متن تبدیل کنید.

شروع تبدیل به متن ↗