⚡️ مدل OLMoASR: مدل‌های وزن باز ASR از AI2
مؤسسه هوش مصنوعی آلن (Allen Institute for AI) مدل‌های OLMoASR را منتشر کرده است؛ خانواده‌ای شامل ۶ مدل برای بازشناسی خودکار گفتار انگلیسی.
▶️ مدل‌ها:
🟢 مدل OLMoASR-tiny.en ( 39M پارامتر)
🟢 مدل OLMoASR-base.en ( 74M پارامتر)
🟢 مدل OLMoASR-small.en ( 244M پارامتر)
🟢 مدل OLMoASR-medium.en ( 769M پارامتر)
🟠 مدل OLMoASR-large.en-v1 ( 1.5B پارامتر، آموزش‌دیده روی 440 هزار ساعت صوت)
🟠 مدل OLMoASR-large.en-v2 ( 1.5B پارامتر، آموزش‌دیده روی 680 هزار ساعت صوت)
نتایج آزمایش روی ۲۱ دیتاست نشان داده است که مدل‌های OLMoASR عملکردی قابل مقایسه با Whisper اوپن‌اِی‌آی دارند و حتی در برخی موارد، به‌ویژه هنگام کار با فایل‌های صوتی طولانی، از آن پیشی می‌گیرند.
این پروژه کاملاً متن‌باز است: وزن مدل‌ها، دیتاست، کد پردازش داده و اسکریپت‌های آموزش و ارزیابی همگی منتشر شده‌اند. تمام اجزا، از جمله کد و داده، در GitHub و Hugging Face در دسترس‌اند.
🟡 مقاله
🟡 مجموعه مدل‌ها
🟡 گزارش فنی
🟡 نسخه آزمایشی (Demo)
🖥 گیت‌هاب
#AI #ASR #OLMoASR #AI2
@asrgooyeshpardaz
مؤسسه هوش مصنوعی آلن (Allen Institute for AI) مدل‌های OLMoASR را منتشر کرده است؛ خانواده‌ای شامل ۶ مدل برای بازشناسی خودکار گفتار انگلیسی.
▶️ مدل‌ها:
🟢 مدل OLMoASR-tiny.en ( 39M پارامتر)
🟢 مدل OLMoASR-base.en ( 74M پارامتر)
🟢 مدل OLMoASR-small.en ( 244M پارامتر)
🟢 مدل OLMoASR-medium.en ( 769M پارامتر)
🟠 مدل OLMoASR-large.en-v1 ( 1.5B پارامتر، آموزش‌دیده روی 440 هزار ساعت صوت)
🟠 مدل OLMoASR-large.en-v2 ( 1.5B پارامتر، آموزش‌دیده روی 680 هزار ساعت صوت)
نتایج آزمایش روی ۲۱ دیتاست نشان داده است که مدل‌های OLMoASR عملکردی قابل مقایسه با Whisper اوپن‌اِی‌آی دارند و حتی در برخی موارد، به‌ویژه هنگام کار با فایل‌های صوتی طولانی، از آن پیشی می‌گیرند.
این پروژه کاملاً متن‌باز است: وزن مدل‌ها، دیتاست، کد پردازش داده و اسکریپت‌های آموزش و ارزیابی همگی منتشر شده‌اند. تمام اجزا، از جمله کد و داده، در GitHub و Hugging Face در دسترس‌اند.
🟡 مقاله
🟡 مجموعه مدل‌ها
🟡 گزارش فنی
🟡 نسخه آزمایشی (Demo)
🖥 گیت‌هاب
#AI #ASR #OLMoASR #AI2
@asrgooyeshpardaz
❤7
🎧🌍 آیا SpeechLLMها واقعاً ترجمه گفتار را متحول کرده‌اند؟
📄 مقاله‌ای جدید با عنوان Hearing to Translate به‌طور نظام‌مند بررسی می‌کند که آیا ادغام «گفتار به‌عنوان مدالیته بومی» در LLMها (یعنی SpeechLLMها) می‌تواند عملکرد ترجمه گفتار را نسبت به معماری‌های کلاسیک زنجیره‌ای (Cascaded) بهبود دهد یا نه.
🔬 روش مطالعه:
این کار اولین بنچمارک جامع در این حوزه است که:
🧠 تعداد ۵ SpeechLLM پیشرفته
🔗 ۱۶ سیستم قوی مستقیم و زنجیره‌ای (ترکیب مدل‌های پایه گفتار + LLMهای چندزبانه)
را با هم مقایسه می‌کند.
📊 ارزیابی در مقیاسی گسترده انجام شده است:
۱۶ بنچمارک معتبر
۱۳ جفت‌زبانی
۹ سناریوی چالش‌برانگیز (گفتار نویزی، ناپیوسته، طولانی و …)
🔎 یافته‌های کلیدی:
✅ سیستم‌های Cascaded همچنان قابل‌اعتمادترین گزینه در مجموع هستند.
⚠️ مدل‌های SpeechLLMهای فعلی فقط در برخی شرایط خاص می‌توانند به عملکرد سیستم‌های زنجیره‌ای برسند، اما برتری کلی ندارند.
📉 مدل‌های پایه گفتار (SFMها) به‌تنهایی از هر دو رویکرد عقب‌ترند.
🧩 نتیجه مهم: حضور LLM—چه درون مدل و چه به‌صورت پایپلاین—برای دستیابی به ترجمه گفتار باکیفیت ضروری است.
🧠 جمع‌بندی تحلیلی:
با وجود جذابیت ایده «ترجمه مستقیم گفتار با LLM»، معماری‌های کلاسیک زنجیره‌ای (ASR → LLM → MT) هنوز از نظر پایداری و کیفیت، دست بالا را دارند. به نظر می‌رسد مسیر آینده نه حذف پایپلاین‌ها، بلکه ادغام هوشمند LLMها در آن‌ها باشد.
🔗 لینک مقاله (arXiv):
https://arxiv.org/abs/2512.16378
#SpeechLLM #SpeechTranslation #CascadedSystems #LLM #ASR #AIResearch
@asrgooyeshpardaz
📄 مقاله‌ای جدید با عنوان Hearing to Translate به‌طور نظام‌مند بررسی می‌کند که آیا ادغام «گفتار به‌عنوان مدالیته بومی» در LLMها (یعنی SpeechLLMها) می‌تواند عملکرد ترجمه گفتار را نسبت به معماری‌های کلاسیک زنجیره‌ای (Cascaded) بهبود دهد یا نه.
🔬 روش مطالعه:
این کار اولین بنچمارک جامع در این حوزه است که:
🧠 تعداد ۵ SpeechLLM پیشرفته
🔗 ۱۶ سیستم قوی مستقیم و زنجیره‌ای (ترکیب مدل‌های پایه گفتار + LLMهای چندزبانه)
را با هم مقایسه می‌کند.
📊 ارزیابی در مقیاسی گسترده انجام شده است:
۱۶ بنچمارک معتبر
۱۳ جفت‌زبانی
۹ سناریوی چالش‌برانگیز (گفتار نویزی، ناپیوسته، طولانی و …)
🔎 یافته‌های کلیدی:
✅ سیستم‌های Cascaded همچنان قابل‌اعتمادترین گزینه در مجموع هستند.
⚠️ مدل‌های SpeechLLMهای فعلی فقط در برخی شرایط خاص می‌توانند به عملکرد سیستم‌های زنجیره‌ای برسند، اما برتری کلی ندارند.
📉 مدل‌های پایه گفتار (SFMها) به‌تنهایی از هر دو رویکرد عقب‌ترند.
🧩 نتیجه مهم: حضور LLM—چه درون مدل و چه به‌صورت پایپلاین—برای دستیابی به ترجمه گفتار باکیفیت ضروری است.
🧠 جمع‌بندی تحلیلی:
با وجود جذابیت ایده «ترجمه مستقیم گفتار با LLM»، معماری‌های کلاسیک زنجیره‌ای (ASR → LLM → MT) هنوز از نظر پایداری و کیفیت، دست بالا را دارند. به نظر می‌رسد مسیر آینده نه حذف پایپلاین‌ها، بلکه ادغام هوشمند LLMها در آن‌ها باشد.
🔗 لینک مقاله (arXiv):
https://arxiv.org/abs/2512.16378
#SpeechLLM #SpeechTranslation #CascadedSystems #LLM #ASR #AIResearch
@asrgooyeshpardaz
arXiv.org
Hearing to Translate: The Effectiveness of Speech Modality...
As Large Language Models (LLMs) expand beyond text, integrating speech as a native modality has given rise to SpeechLLMs, which directly process spoken language and enable speech-to-text...
❤6👍1🍾1
🗣 وقتی LM ضعیف، کلمات نادر رو قربانی می‌کنه
طبق گزارش جدید کانال فناوری گفتار، ترکیب مدل‌های CTC با یک LM ساده (n‑gram) خطای بازشناسی کلمات نادر را به‌شدت افزایش می‌دهد.
همیشه فکر می‌کردیم که ترکیب CTC + LM برای تطبیق سریع با دامنه‌ی جدید، معماری خوبی است. حتی تست‌های WER هم مزیتش رو نشون می‌داد. ولی آزمایش‌های جدید روی کلمات نادر، نشون داده که این ترکیب به اون خوبی که فکر می‌کردیم عمل نمی‌کنه.
بیشتر سیستم‌هایی که از n-gram shallow fusion استفاده می‌کنند، WER کلمات نادرشون به‌مراتب بدتر از WER کلمات نادر در مدل‌های RNNT و حتی خود CTC بدون LM هست.
داستان از این قراره که دقت مدل Conformer به‌تنهایی اونقدر بالاست که یه LM اضافه‌ی ضعیف با perplexity ۱۰۰–۲۰۰ نه‌تنها کمکی نمی‌کنه، بلکه اوضاع رو بدتر می‌کنه و مدل رو گیج می‌کنه. از طرفی، ساختن یه n-gram LM قوی‌تر هم کار آسونی نیست. برای کاهش perplexity به معماری پیشرفته‌تری نیازه که بتونه زمینه‌ی طولانی‌تری رو ببینه، و این فقط با ترنسفورمرها ممکنه.
واقعاً قضیه جالبی شده. یه LLM قوی مطمئناً اینجا کمک می‌کنه، ولی سؤال اصلی اینه که چطور می‌تونیم سریع با دامنه‌ی جدید تطبیق پیدا کنیم.
🔍 چهار یافته‌ی مهم از یک مقایسه:
🔹مورد اول GigaAM3 CTC به‌تنهایی:
WER کلی ۱۶.۷۲٪ – WER کلمات نادر ۲۱.۷۶٪
🔹مورد دوم GigaAM3 CTC + LM:
خطای WER کلی ۱۵.۲۳٪ – WER کلمات نادر ۲۹.۵۹٪
یعنی اضافه کردن مدل زبانی، WER کلی را کمی بهتر کرده، اما کلمات نادر را ۳۶٪ بدتر تشخیص داده!
🔹مورد سوم T-one CTC + LM از همه بدتر:
خطای WER کلی ۱۶.۸٪ – WER کلمات نادر ۳۷.۸۳٪
یعنی از هر سه کلمه‌ی نادر، بیش از یک کلمه اشتباه تشخیص داده می‌شه.
🔹مورد چهارم اما GigaAM3 RNNT بدون LM:
خطای WER کلی ۱۵.۶۵٪ – WER کلمات نادر ۲۰.۵۸٪
تعادل رو به‌خوبی حفظ کرده.
🔹 بهترین نتیجه؟ فاین‌تیون GigaAM3 RNNT:
خطای WER کلی ۱۴.۶۴٪ – WER کلمات نادر ۲۱.۲۲٪
🎯 چرا این اتفاق می‌افته؟
مدل‌های آکوستیک مدرن (مثل Conformer) آنقدر قوی شدن که اطلاعات زبانی زیادی رو یاد گرفتن. وقتی یه LM ضعیف (با پرپلکسیتی ۱۰۰ تا ۲۰۰) رو بهش وصل می‌کنیم، به‌جای کمک، مدل رو گیج می‌کنه. مخصوصاً برای کلمات نادر، پیشنهادهای اشتباه LM، تشخیص رو بدتر می‌کنه.
💡 پس راهکار چیه؟
به‌جای ترکیب سطحی (Shallow Fusion):
✅ از مدل‌های Transducer (RNNT) بدون LM خارجی استفاده کنید.
✅ مدل رو روی داده‌های همون حوزه فاین‌تیون کنید.
✅ از بازبینی دومرحله‌ای (Second‑pass Rescoring) با یه LLM سبک استفاده کنید.
✅ از سوگیری زمینه‌ای (Contextual Biasing) برای تقویت کلمات کلیدی استفاده کنید.
🔗 منابع برای مطالعه بیشتر:
- Improving Rare Word Recognition with LM-aware MWER Training
- Mask The Bias: Improving Domain-Adaptive Generalization of CTC-based ASR
- CTC-Assisted LLM-Based Contextual ASR
#ASR #SpeechRecognition #NLP #CTC #LM
🆔 @asrgooyeshpardaz
طبق گزارش جدید کانال فناوری گفتار، ترکیب مدل‌های CTC با یک LM ساده (n‑gram) خطای بازشناسی کلمات نادر را به‌شدت افزایش می‌دهد.
همیشه فکر می‌کردیم که ترکیب CTC + LM برای تطبیق سریع با دامنه‌ی جدید، معماری خوبی است. حتی تست‌های WER هم مزیتش رو نشون می‌داد. ولی آزمایش‌های جدید روی کلمات نادر، نشون داده که این ترکیب به اون خوبی که فکر می‌کردیم عمل نمی‌کنه.
بیشتر سیستم‌هایی که از n-gram shallow fusion استفاده می‌کنند، WER کلمات نادرشون به‌مراتب بدتر از WER کلمات نادر در مدل‌های RNNT و حتی خود CTC بدون LM هست.
داستان از این قراره که دقت مدل Conformer به‌تنهایی اونقدر بالاست که یه LM اضافه‌ی ضعیف با perplexity ۱۰۰–۲۰۰ نه‌تنها کمکی نمی‌کنه، بلکه اوضاع رو بدتر می‌کنه و مدل رو گیج می‌کنه. از طرفی، ساختن یه n-gram LM قوی‌تر هم کار آسونی نیست. برای کاهش perplexity به معماری پیشرفته‌تری نیازه که بتونه زمینه‌ی طولانی‌تری رو ببینه، و این فقط با ترنسفورمرها ممکنه.
واقعاً قضیه جالبی شده. یه LLM قوی مطمئناً اینجا کمک می‌کنه، ولی سؤال اصلی اینه که چطور می‌تونیم سریع با دامنه‌ی جدید تطبیق پیدا کنیم.
🔍 چهار یافته‌ی مهم از یک مقایسه:
🔹مورد اول GigaAM3 CTC به‌تنهایی:
WER کلی ۱۶.۷۲٪ – WER کلمات نادر ۲۱.۷۶٪
🔹مورد دوم GigaAM3 CTC + LM:
خطای WER کلی ۱۵.۲۳٪ – WER کلمات نادر ۲۹.۵۹٪
یعنی اضافه کردن مدل زبانی، WER کلی را کمی بهتر کرده، اما کلمات نادر را ۳۶٪ بدتر تشخیص داده!
🔹مورد سوم T-one CTC + LM از همه بدتر:
خطای WER کلی ۱۶.۸٪ – WER کلمات نادر ۳۷.۸۳٪
یعنی از هر سه کلمه‌ی نادر، بیش از یک کلمه اشتباه تشخیص داده می‌شه.
🔹مورد چهارم اما GigaAM3 RNNT بدون LM:
خطای WER کلی ۱۵.۶۵٪ – WER کلمات نادر ۲۰.۵۸٪
تعادل رو به‌خوبی حفظ کرده.
🔹 بهترین نتیجه؟ فاین‌تیون GigaAM3 RNNT:
خطای WER کلی ۱۴.۶۴٪ – WER کلمات نادر ۲۱.۲۲٪
🎯 چرا این اتفاق می‌افته؟
مدل‌های آکوستیک مدرن (مثل Conformer) آنقدر قوی شدن که اطلاعات زبانی زیادی رو یاد گرفتن. وقتی یه LM ضعیف (با پرپلکسیتی ۱۰۰ تا ۲۰۰) رو بهش وصل می‌کنیم، به‌جای کمک، مدل رو گیج می‌کنه. مخصوصاً برای کلمات نادر، پیشنهادهای اشتباه LM، تشخیص رو بدتر می‌کنه.
💡 پس راهکار چیه؟
به‌جای ترکیب سطحی (Shallow Fusion):
✅ از مدل‌های Transducer (RNNT) بدون LM خارجی استفاده کنید.
✅ مدل رو روی داده‌های همون حوزه فاین‌تیون کنید.
✅ از بازبینی دومرحله‌ای (Second‑pass Rescoring) با یه LLM سبک استفاده کنید.
✅ از سوگیری زمینه‌ای (Contextual Biasing) برای تقویت کلمات کلیدی استفاده کنید.
🔗 منابع برای مطالعه بیشتر:
- Improving Rare Word Recognition with LM-aware MWER Training
- Mask The Bias: Improving Domain-Adaptive Generalization of CTC-based ASR
- CTC-Assisted LLM-Based Contextual ASR
#ASR #SpeechRecognition #NLP #CTC #LM
🆔 @asrgooyeshpardaz
Telegram
Speech Technology
I always used to think that CTC + LM is a good architecture for quick domain adaptation. Even WER tests demoed the advantage. But recent experiments with rare words WER show that CTC + LM doesn't work as great as expected. Most systems that use ngram shallow…
👍1
🔥 سری جدید مدل‌های ASR فارسی از Reza2kn منتشر شد!
یک مجموعه کامل شامل مدل، دیتاست و بنچمارک برای پردازش گفتار فارسی، روانهٔ Hugging Face شد.
---
🎙️ خانوادهٔ مدل‌های Shenava-1 (با معماری FastConformer Hybrid RNNT/CTC)
خانوادهٔ شنوا در سه سایز طراحی شده تا هم کیفیت و هم سرعت را پوشش بدهد:
· مدل Koochik با ۱۱۴ میلیون پارامتر، پرچمدار این مجموعه است. این مدل با WER معادل ۷.۴۹٪ و CER برابر ۲.۳۰٪ روی دیتاست golden-6669، موفق شده رتبهٔ #۲ را در بنچمارک عمومی کسب کند و فقط از مدل ابری Gemini عقب‌تر است.
· مدل Rizeh با ۳۲ میلیون پارامتر، گزینهٔ میانی محسوب می‌شود و عملکرد بسیار خوبی با WER برابر ۱۲.۱۱٪ و CER معادل ۳.۹۴٪ ارائه می‌دهد.
· مدل Rizeh-Pizeh با تنها ۶.۹ میلیون پارامتر، فوق‌کوچک و فوق‌سریع است. با وجود اندازهٔ جیبی، WER آن ۲۴.۵۵٪ و CER آن ۸.۸۹٪ است و به‌صورت Real-Time روی پردازندهٔ Cortex-A7 هم اجرا می‌شود.
✅ جالب اینجاست که مدل Koochik v1.0 با تنها ۱/۱۳ حجم مدل ۱.۵ میلیاردی Whisper-Persian، توانسته آن را با بیش از ۲ برابر WER بهتر شکست بدهد و به بهترین مدل on-device فارسی تبدیل شود.
---
📊 دیتاست‌های منتشر شده:
🔹 persian-asr-relabeled-gemini
یک دیتاست شامل بازبرچسب‌زنی حرفه‌ای دیتاست‌های موجود ASR فارسی با استفاده از Gemini 3.5-flash که کیفیت برچسب‌ها را به طرز چشمگیری بالا برده است.
🔹 persian-asr-text-2.69M-deduped
یک منبع عظیم شامل ۲.۶۹ میلیون جملهٔ فارسی کاملاً منحصربه‌فرد (بدون هیچ تکراری) که برای آموزش و فاین‌تیون مدل‌های زبانی و گفتاری بسیار ارزشمند است.
---
🏆 بنچمارک تخصصی:
Persian ASR Double-Benchmark
یک محیط استاندارد و منصفانه برای مقایسهٔ مدل‌های مختلف ASR فارسی که فرآیند نرمال‌سازی اعداد و ITN را هم پوشش می‌دهد.
---
🔗 لینک‌های دسترسی مستقیم:
📌 مدل‌ها:
https://huggingface.co/Reza2kn/Shenava-Koochik-v1.0
https://huggingface.co/Reza2kn/Shenava-Rizeh-v1.0
https://huggingface.co/Reza2kn/Shenava-Rizeh-Pizeh-v1.0
📌 دیتاست‌ها:
https://huggingface.co/datasets/Reza2kn/persian-asr-relabeled-gemini
https://huggingface.co/datasets/Reza2kn/persian-asr-text-2.69M-deduped
📌 بنچمارک:
https://huggingface.co/spaces/Reza2kn/persian-asr-double-benchmark
---
#پردازش_گفتار #ASR #هوش_مصنوعی #پایتون #NLP #PersianASR #Shenava
🆔 @asrgooyeshpardaz
یک مجموعه کامل شامل مدل، دیتاست و بنچمارک برای پردازش گفتار فارسی، روانهٔ Hugging Face شد.
---
🎙️ خانوادهٔ مدل‌های Shenava-1 (با معماری FastConformer Hybrid RNNT/CTC)
خانوادهٔ شنوا در سه سایز طراحی شده تا هم کیفیت و هم سرعت را پوشش بدهد:
· مدل Koochik با ۱۱۴ میلیون پارامتر، پرچمدار این مجموعه است. این مدل با WER معادل ۷.۴۹٪ و CER برابر ۲.۳۰٪ روی دیتاست golden-6669، موفق شده رتبهٔ #۲ را در بنچمارک عمومی کسب کند و فقط از مدل ابری Gemini عقب‌تر است.
· مدل Rizeh با ۳۲ میلیون پارامتر، گزینهٔ میانی محسوب می‌شود و عملکرد بسیار خوبی با WER برابر ۱۲.۱۱٪ و CER معادل ۳.۹۴٪ ارائه می‌دهد.
· مدل Rizeh-Pizeh با تنها ۶.۹ میلیون پارامتر، فوق‌کوچک و فوق‌سریع است. با وجود اندازهٔ جیبی، WER آن ۲۴.۵۵٪ و CER آن ۸.۸۹٪ است و به‌صورت Real-Time روی پردازندهٔ Cortex-A7 هم اجرا می‌شود.
✅ جالب اینجاست که مدل Koochik v1.0 با تنها ۱/۱۳ حجم مدل ۱.۵ میلیاردی Whisper-Persian، توانسته آن را با بیش از ۲ برابر WER بهتر شکست بدهد و به بهترین مدل on-device فارسی تبدیل شود.
---
📊 دیتاست‌های منتشر شده:
🔹 persian-asr-relabeled-gemini
یک دیتاست شامل بازبرچسب‌زنی حرفه‌ای دیتاست‌های موجود ASR فارسی با استفاده از Gemini 3.5-flash که کیفیت برچسب‌ها را به طرز چشمگیری بالا برده است.
🔹 persian-asr-text-2.69M-deduped
یک منبع عظیم شامل ۲.۶۹ میلیون جملهٔ فارسی کاملاً منحصربه‌فرد (بدون هیچ تکراری) که برای آموزش و فاین‌تیون مدل‌های زبانی و گفتاری بسیار ارزشمند است.
---
🏆 بنچمارک تخصصی:
Persian ASR Double-Benchmark
یک محیط استاندارد و منصفانه برای مقایسهٔ مدل‌های مختلف ASR فارسی که فرآیند نرمال‌سازی اعداد و ITN را هم پوشش می‌دهد.
---
🔗 لینک‌های دسترسی مستقیم:
📌 مدل‌ها:
https://huggingface.co/Reza2kn/Shenava-Koochik-v1.0
https://huggingface.co/Reza2kn/Shenava-Rizeh-v1.0
https://huggingface.co/Reza2kn/Shenava-Rizeh-Pizeh-v1.0
📌 دیتاست‌ها:
https://huggingface.co/datasets/Reza2kn/persian-asr-relabeled-gemini
https://huggingface.co/datasets/Reza2kn/persian-asr-text-2.69M-deduped
📌 بنچمارک:
https://huggingface.co/spaces/Reza2kn/persian-asr-double-benchmark
---
#پردازش_گفتار #ASR #هوش_مصنوعی #پایتون #NLP #PersianASR #Shenava
🆔 @asrgooyeshpardaz
huggingface.co
Reza2kn/Shenava-Koochik-v1.0 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
🔥5❤2⚡1