🎙️مدل PlayDiffusion: بازسازی هوشمند صدا

در دنیای سنتز گفتار، مدل‌های ترنسفورمر اتورگرسیو (autoregressive) ابزارهای قدرتمندی برای تولید گفتار از متن هستند، اما وقتی صحبت از ویرایش صوتی به میان می‌آید، مشکلات زیادی ایجاد می‌کنند. بازتولید کامل جملات منابع زیادی مصرف می‌کند و اغلب به تغییر آهنگ یا ریتم منجر می‌شود. جایگزینی یک کلمه هم معمولاً در مرزها نویزهای ناخوشایندی ایجاد می‌کند.

🔷 شرکت PlayAI نسخه ۱.۰ مدل PlayDiffusion را معرفی کرده؛ یک مدل دیفیوژن برای ویرایش گفتار که می‌تواند بخش‌های خاصی از صدا را تغییر دهد بدون اینکه روانی و ویژگی‌های صدای اصلی از بین برود. این مدل هم روی صداهای واقعی و هم صداهای تولید شده توسط TTS‌های دیگر کار می‌کند.

🔍 روش کار PlayDiffusion:

1. صدا به فضای گسسته (discrete space) تبدیل می‌شود و به توکن‌های فشرده‌شده تبدیل می‌گردد.


2. بخش مورد نظر برای ویرایش ماسک می‌شود.


3. مدل دیفیوژن با استفاده از محتوای متنی جدید، بخش ماسک‌شده را بازسازی کرده و نویز را حذف می‌کند.


4. در نهایت، توالی توکن‌ها توسط دیکودر BigVGAN به صدا تبدیل می‌شود.



🛠 نوآوری‌های کلیدی PlayDiffusion:

استفاده از ماسک‌گذاری غیرعلّی (non-causal) که برخلاف مدل‌های GPT، همزمان گذشته، حال و آینده را در نظر می‌گیرد.

بهره‌گیری از توکنایزر BPE سفارشی با فقط ۱۰,۰۰۰ توکن متنی برای کاهش حجم جدول embedding و افزایش سرعت.

لحاظ کردن ویژگی‌های گوینده با یک مدل embedding پیش‌آموزش دیده که طول متغیر صداها را به بردارهای ثابت تبدیل می‌کند.


💡 نکته جالب: اگر کل صدا ماسک شود، PlayDiffusion می‌تواند به عنوان یک سیستم TTS کامل عمل کند. برخلاف مدل‌های اتورگرسیو که توکن‌ها را یکی‌یکی تولید می‌کنند، مدل دیفیوژن کل توکن‌ها را یکجا تولید و طی چند مرحله بهبود می‌دهد.

📊 مقایسه: برای تولید ۲۰ ثانیه صدا با کدک ۵۰ هرتز:

مدل اتورگرسیو به حدود ۱۰۰۰ مرحله نیاز دارد.

مدل PlayDiffusion فقط در ۲۰ مرحله کار را تمام می‌کند؛ تا ۵۰ برابر سریع‌تر از نظر تعداد مراحل تولید!


📜 لایسنس: متن‌باز تحت Apache 2.0

🔗 مقاله | مدل | دمو | GitHub

#هوش_مصنوعی #یادگیری_ماشین #TTS #بازسازی_صدا #دیفیوژن #PlayDiffusion #PlayAI

@asrgooyeshpardaz

🎙 معرفی Eleven v3 (نسخه آلفا) توسط ElevenLabs
پیشرفته‌ترین مدل تبدیل متن به گفتار (TTS) تا امروز!

🧠 این نسخه‌ی جدید با معماری بهینه‌شده، متن و زمینه را بهتر درک می‌کند و خروجی صوتی زنده و طبیعی تولید می‌کند.

🗣 قابلیت‌های برجسته‌ی Eleven v3:
• تولید گفت‌وگوی واقع‌گرایانه با چندین صدا
• خوانش دقیق تغییرات احساسی در متن
• واکنش به زمینه و تغییر تُن صدا در حین گفتار

🎛 کنترل صداها با تگ‌های هوشمند:
🔹 حالت‌های احساسی: [sad] [angry] [happily]
🔹 نوع بیان: [whispers] [shouts]
🔹 واکنش‌ها: [laughs] [sighs][clears throat]

🌐 پشتیبانی از بیش از ۷۰ زبان و قابلیت Multi-Voice

📡 به‌زودی API عمومی برای توسعه‌دهندگان منتشر خواهد شد.

⚠️ توجه: این نسخه هنوز در حالت آزمایشی (آلفا) است و ممکن است نیاز به تنظیم دقیق پرامپت‌ها داشته باشد — اما نتایج واقعاً شگفت‌انگیز هستند!

💸 تخفیف ۸۰٪ در طول ماه ژوئن برای تولید صوت

🔗 راهنمای پرامپت‌نویسی برای Eleven v3:
https://elevenlabs.io/docs/best-practices/prompting/eleven-v3
🔗 صفحه رسمی مدل:
https://elevenlabs.io/v3

📡
#ElevenLabs
#TTS
#هوش_مصنوعی
#تبدیل_متن_به_گفتار
@asrgooyeshpardaz

🎉 معرفی آریانا۴ — نسل جدید تبدیل متن به گفتار فارسی 🇮🇷🇦🇫🇹🇯
محصولی نوآورانه از شرکت عصر گویش‌پرداز

🗣 آریانا۴، دقیق‌ترین و طبیعی‌ترین سرویس تبدیل متن به گفتار فارسی است که با صدایی زنده، روان و نزدیک به گویندگان حرفه‌ای، تجربه‌ای بی‌نظیر در تولید محتوای صوتی برایتان فراهم می‌کند.

🔍 چرا آریانا۴؟

✅ صدای بسیار طبیعی و انسانی

✅ پشتیبانی از سبک‌های مختلف بیان (رسمی، محاوره‌ای و احساسی)

✅ مناسب برای پادکست، کتاب صوتی، آموزش آنلاین، دستیارهای هوشمند و اپلیکیشن‌ها

✅ بدون نیاز به تجهیزات ضبط یا دوبله حرفه‌ای

✅ در کنار مدل‌های پیش فرض می‌توانید از لحن و صدای خود یا گوینده‌ مورد نظرتان برای تولید گفتار استفاده کنید.

🚀 آماده‌اید محتوای متنی‌تان را به صدایی واقعی و تأثیرگذار تبدیل کنید؟

📌 همین حالا با آریانا۴، صدای محتوای خود را حرفه‌ای کنید!

🔗 برای دریافت نسخه آزمایشی و اطلاعات بیشتر:

🌐 https://asr-gooyesh.com

📧 info@asr-gooyesh.com

💬 @asrgooyesh

📣 قدرت بیان فارسی، با صدای آریانا۴

#آریانا۴ #تبدیل_متن_به_گفتار #TTS #هوش_مصنوعی #عصر_گویش_پرداز #محتوای_صوتی

@asrgooyeshpardaz

🔊 مدل Maya1: مدل متن‌به‌گفتار متن‌باز و احساسی فقط با یک GPU!

شرکت Maya Research از مدل جدید Maya1 رونمایی کرده است — یک مدل ۳ میلیارد پارامتری برای تبدیل متن به گفتار (TTS) که با سبک معماری Llama طراحی شده و تنها با یک GPU شانزده‌گیگابایتی قابل اجراست.

🎙 ویژگی‌های کلیدی:

🔁 ساختار decoder-only با پیش‌بینی توکن‌های SNAC neural codec برای تولید صدای 24kHz مونو با پشتیبانی از استریم زنده

💬 امکان دریافت توضیح گفتاری طبیعی همراه با متن ورودی

😄 پشتیبانی از بیش از ۲۰ تگ احساسی درون‌خطی مثل <laugh>، <whisper>، <angry> و ... برای کنترل دقیق احساس و لحن صدا

⚙️ اجرای کامل روی یک کارت گرافیک 16GB با vLLM streaming

🧩 مجوز Apache 2.0 برای استفاده و استقرار آزاد در پروژه‌های محلی و سازمانی
این مدل گامی مهم در مسیر تولید گفتار طبیعی، احساسی و قابل‌استقرار به‌صورت محلی است و می‌تواند جایگزینی قدرتمند برای سرویس‌های ابری متن‌به‌گفتار باشد.

🔗 تحلیل کامل: Marktechpost
🧠 وزن مدل: HuggingFace - maya1
🎧 دمو: HuggingFace Spaces

#AI #TTS #OpenSource #Maya1 #SpeechSynthesis #LLM #vLLM

@asrgooyeshpardaz

🗣 سری جدید Qwen3-TTS: VoiceDesign و VoiceClone

گروه Qwen نسل جدیدی از مدل‌های تبدیل متن به گفتار (TTS) را معرفی کرده است که کنترل صدا و voice cloning را به سطحی کاملاً جدید می‌برد؛ سریع‌تر، بیان‌گرتر و انعطاف‌پذیرتر از قبل.

❇️مدل VoiceDesign – VD-Flash
مدلی برای طراحی کامل صدا از صفر.

قابلیت‌ها:
کنترل کامل گفتار تنها با دستورهای متنی معمولی
امکان تنظیم لحن، ریتم، احساسات و شخصیت صدا
بدون استفاده از صداهای آماده؛ شما یک هویت صوتی کاملاً منحصربه‌فرد می‌سازید
عملکرد بهتر از GPT-4o-mini-tts و Gemini-2.5-pro در بنچمارک‌های role-play

مناسب برای:
شخصیت‌های بازی
دستیارهای مجازی
داستان‌گویی و دیالوگ‌سازی
شخصیت‌های هوش مصنوعی با هویت و کاراکتر مشخص

❇️مدل VoiceClone – VC-Flash
متمرکز بر کلون‌سازی سریع و باکیفیت صدا.

ویژگی‌های کلیدی:
کلون‌کردن هر صدا تنها با ۳ ثانیه نمونه صوتی
تولید گفتار به ۱۰ زبان (از جمله چینی، انگلیسی، ژاپنی، اسپانیایی و …)
۱۵٪ خطای کلمه (WER) کمتر نسبت به ElevenLabs و GPT-4o-Audio در آزمون‌های چندزبانه
لحن و ریتم وابسته به متن و زمینه برای طبیعی‌تر شدن صدا

🔗 منبع خبر:
https://x.com/Alibaba_Qwen/status/2003445076257656880

امتحان کنید:

Qwen Chat:
http://chat.qwen.ai

وبلاگ:
https://qwen.ai/blog?id=qwen3-tts-vc-voicedesign

VoiceDesign:
http://hf.co/spaces/Qwen/Qwen3-TTS-Voice-Design

http://modelscope.cn/studios/Qwen/Qwen3-TTS-Voice-Design

VoiceClone:
http://hf.co/spaces/Qwen/Qwen-TTS-Clone-Demo

http://modelscope.cn/studios/Qwen/Qwen-TTS-Clone-Demo

#AI #TTS #VoiceCloning

@asrgooyeshpardaz

🎙️ مدل TTS جدید که فراتر از تولید گفتار عمل می‌کند

مدل Ming-omni-tts با ۱۶.۸ میلیارد پارامتر (۳ میلیارد فعال) منتشر شده است. این مدل به‌طور همزمان گفتار، افکت‌های صوتی و موسیقی تولید می‌کند.

✨ قابلیت‌های کلیدی:
- کنترل دقیق بر سرعت، زیروبمی، احساسات و لهجه
- نرمال‌سازی حرفه‌ای فرمول‌های ریاضی و شیمیایی
- طراحی صدای بدون نمونه (zero-shot) با توضیح متنی
- بیش از ۱۰۰ صدای داخلی با کیفیت بالا
- تأخیر پایین و مناسب برای پادکست‌های طولانی

در بنچمارک‌ها عملکردی در سطح مدل‌های پیشرو دارد و در کنترل لهجه و احساسات از رقبا بهتر عمل کرده است.

🔗 مدل روی HuggingFace

https://huggingface.co/inclusionAI/Ming-omni-tts-16.8B-A3B

#TTS #هوش_مصنوعی #تولید_صدا

🆔 @asrgooyeshpardaz

🎤 معرفی FreyaTTS؛ مدل ۱۸۳ میلیون پارامتری ترکی استانبولی که روی لپ‌تاپ هم اجرا می‌شود

یک مدل جالب و کارآمد برای تبدیل متن به گفتار (TTS) زبان ترکی با طراحی هوشمندانه منتشر شده است. FreyaTTS تنها ۱۸۳ میلیون پارامتر دارد و با معماری غیرخودبازگشتی (Non-Autoregressive) مبتنی بر Diffusion Transformer (DiT) و فضای نهان AudioVAE2 (با نرخ ۲۵ هرتز و ۶۴ بُعد) کار می‌کند.

---

✨ نکات برجسته و طراحی جالب

🔹 کوچک و سریع: با ۱۸۳.۲ میلیون پارامتر، روی RTX 4090 به نرخ زمان واقعی (RTF) حدود ۰.۱۰ تا ۰.۱۱ و زمان تا اولین توکن صوتی (TTFT) حدود نیم ثانیه می‌رسد. این یعنی ۳.۲ برابر سریع‌تر و ۳.۷ برابر حافظه‌ی کم‌مصرف‌تر نسبت به مدل ۲ میلیاردی VoxCPM2.

🔹 بدون رمزگذار و آواساز (Tokenizer‑Free): ورودی مدل، مستقیماً سطح کاراکترهای ترکی استانبولی با الفبای ۹۲ سمبلی است و نیازی به فونم‌ساز یا تبدیل گرافم به فونم (G2P) ندارد.

🔹 خروجی ۴۸ کیلوهرتز: رمزگشا (Decoder) صوتی VAE، داده‌های ۲۵ هرتزی را مستقیماً به صدای ۴۸ کیلوهرتز تبدیل می‌کند.

🔹 قابل اجرا روی CPU: به‌صورت لحظه‌ای روی پردازنده‌ی لپ‌تاپ Apple M3 (با RTF ۰.۷۰) و حتی سریع‌تر (RTF ~۰.۱۲) از طریق Core ML روی تراشه‌های Apple Silicon اجرا می‌شود.

🔹 حداقل سخت‌افزار: تنها به ۱.۵ گیگابایت VRAM روی کارت گرافیک نیاز دارد.

---

📊 عملکرد و کیفیت

در مجموعه‌ی ارزیابی Freya-TR-Eval، این مدل با وجود حجم کم، نرخ خطای کلمه (WER) ۸.۰٪ را ثبت کرده است که از مدل‌های بزرگ‌تری مثل XTTS-v2 (با ۱۱.۱٪) و F5-TTS (با ۲۴.۳٪) بهتر عمل می‌کند. همچنین از نظر نرخ خطای کاراکتر (CER) به ۳.۰٪ رسیده است.

---

🎮 نصب و راه‌اندازی آسان

نصب با چند خط کد ساده انجام می‌شود:

git clone https://github.com/freyavoiceai/FreyaTTS.git
cd FreyaTTS
pip install -r requirements.txt

و استفاده‌ی عملی با یک خط فرمان:

python infer.py --text "Merhaba, size nasıl yardımcı olabilirim?" --out output.wav

برای پردازش دسته‌ای (Batch) نیز می‌توانید از اسکریپت batch_infer.py استفاده کنید.

---

🔗 لینک‌های مفید

📦 گیت‌هاب پروژه:
github.com/freyavoiceai/FreyaTTS
📄 مقاله‌ی فنی:
arxiv.org/abs/2607.09530

---

💡 جمع‌بندی: FreyaTTS یک مدل TTS بسیار کارآمد، سریع و کم‌مصرف برای زبان ترکی است که با معماری مبتنی بر دیفیوژن، بدون نیاز به فونم‌ساز و با کیفیت قابل‌قبول، روی سخت‌افزارهای معمولی (حتی پردازنده‌ی لپ‌تاپ) اجرا می‌شود. این طراحی می‌تواند الهام‌بخش ساخت مدل‌های مشابه برای زبان‌های دیگر، از جمله فارسی باشد.

---

#FreyaTTS #تبدیل_متن_به_گفتار #پردازش_زبان_طبیعی #هوش_مصنوعی #مدل_صوتی #TTS

🆔 @asrgooyeshpardaz

🎤 معماری ساده اما قدرتمند مدل‌های صوتی مبتنی بر LLM

مدل‌های جدید تبدیل متن به گفتار (TTS) مانند Orpheus، Spark-TTS، Cosyvoice و Kimi-Audio با معماری ساده‌ای از دو بخش اصلی کار می‌کنند و به کیفیت فوق‌العاده‌ای دست یافته‌اند. این مدل‌ها حتی می‌توانند وظایف دیگری مثل تشخیص گفتار (ASR) را نیز انجام دهند.

---

🧩 معماری کلی: دو بخش ساده

۱. کدک عصبی (Neural Codec) : صدا را به توکن‌های گسسته (Discrete Tokens) تبدیل می‌کند و دوباره به صدا بازمی‌گرداند.

۲. مدل زبانی بزرگ (LLM) : توکن‌های صوتی را به‌صورت دنباله‌ای (Sequential) از روی متن، توکن‌های صوتی مرجع و دستورات تولید می‌کند.

---

🔊 کدک عصبی؛ فشرده‌سازی صدا به توکن

کدک‌های عصبی، صدا را به توکن‌های گسسته فشرده می‌کنند و ویژگی‌های کلیدی آنها شامل موارد زیر است:

🔹 تعداد توکن در ثانیه: این عدد مشخص می‌کند که هر ثانیه صدا به چند توکن تبدیل می‌شود. هرچه این عدد کمتر باشد، مدل سریع‌تر عمل می‌کند. برای مثال، کدک XCodec2 که در مدل‌های Llasa و T5GemmaTTS استفاده شده، با نرخ ۵۰ توکن در ثانیه کار می‌کند. کدک Snac که در مدل Orpheus به کار رفته، نرخ ۸۳ توکن در ثانیه دارد و کدک Cosyvoice با نرخ ۲۵ توکن در ثانیه، کمترین میزان را در میان این نمونه‌ها ارائه می‌دهد.

🔹 تعداد کتاب‌کد (Codebook) : برخی کدک‌ها صدا را به چند گروه توکن تبدیل می‌کنند. اکثر مدل‌های TTS از کدک‌های تک‌کتاب‌کدی استفاده می‌کنند چون کارآمدترند. برای مثال، کدک XCodec2 یک کتاب‌کد دارد، در حالی که کدک DAC از ۸ کتاب‌کد مجزا تشکیل شده است.

🔹 نوع تولید: کدک‌های مبتنی بر دیفیوژن (مانند Cosyvoice و VibeVoice) کندتر هستند اما کیفیت بالاتری ارائه می‌دهند، در حالی که کدک‌های تک‌مرحله‌ای (مانند Snac و Zonos) بسیار سریع‌تر عمل می‌کنند اما معمولاً فشرده‌سازی کم‌تری دارند و ممکن است از نظر کیفیت کمی پایین‌تر باشند.

🔹 اندازه‌ی کتاب‌کد: این عدد نشان می‌دهد که چند توکن مختلف می‌توانند صدا را نمایش دهند. هرچه این عدد کوچک‌تر باشد، فرایند آموزش سریع‌تر انجام می‌شود. برای نمونه، کدک XCodec2 دارای ۶۵,۵۳۶ توکن ممکن است، در حالی که کدک Snac تنها ۸,۱۹۲ توکن دارد.

🔹 نرخ نمونه‌برداری: کدک‌ها در نرخ‌های نمونه‌برداری متفاوتی کار می‌کنند. نرخ بالاتر به معنای کیفیت clearer است اما معمولاً توکن بیشتری در ثانیه تولید می‌کند. برای مثال، کدک Snac روی ۲۴ کیلوهرتز و کدک DAC روی ۴۴.۱ کیلوهرتز کار می‌کنند.

معرفی کدک‌های معروف:

کدک XCodec2 که در مدل‌های Llasa و T5GemmaTTS استفاده می‌شود، یک کدک تک‌کتاب‌کدی است که صدا را با نرخ ۱۶ کیلوهرتز و سرعت ۵۰ توکن در ثانیه پردازش می‌کند و حجم کتاب‌کد آن ۶۵,۵۳۶ توکن است.

کدک DAC که در مدل‌های Zonos و Parler-TTS به کار رفته، از ۸ کتاب‌کد مجزا تشکیل شده و با نرخ ۴۴.۱ کیلوهرتز و سرعت ۷۷۴ توکن در ثانیه کار می‌کند. هر کتاب‌کد این کدک ۱,۰۲۴ توکن دارد.

کدک Cosyvoice که در مدل‌های CosyVoice، GLM-TTS، Chatterbox و Qwen-Omni استفاده می‌شود، یک کدک تک‌کتاب‌کدی مبتنی بر دیفیوژن است که با نرخ ۲۴ کیلوهرتز و سرعت ۲۵ توکن در ثانیه کار می‌کند و حجم کتاب‌کد آن ۸,۱۹۲ توکن است.

---

🧠 مدل زبانی بزرگ؛ تولید گفتار از متن

چگونه صدا به زبان تبدیل می‌شود؟

ایده‌ی اصلی بسیار ساده است: صدا به‌عنوان یک «زبان» جدید در نظر گرفته می‌شود. برای این کار، دو مرحله انجام می‌شود:

🔹 دایره‌ی واژگان مدل با توکن‌های صوتی گسترش می‌یابد.

🔹 مدل یاد می‌گیرد توکن صوتی بعدی را با توجه به توکن‌های متنی یا صوتی مرجع پیش‌بینی کند؛ درست مثل یک مدل زبانی معمولی که کلمه‌ی بعدی را پیش‌بینی می‌کند.

این رویکرد ساده، مزایای شگفت‌انگیزی دارد. از جمله اینکه شبیه‌سازی صدا (Voice Cloning) بدون نیاز به معماری خاصی امکان‌پذیر می‌شود؛ کافی است توکن‌های صوتی یک نمونه‌ی مرجع و متن مربوط به آن در اختیار مدل قرار گیرد.
---
💡 نتیجه

معماری مدل‌های صوتی مبتنی بر LLM به‌طرز شگفت‌آوری ساده است: یک کدک عصبی صدا را به توکن تبدیل می‌کند و یک مدل زبانی بزرگ این توکن‌ها را تولید می‌کند. این رویکرد، امکان تولید گفتار با کیفیت بالا، شبیه‌سازی صدا و حتی تشخیص گفتار را در یک مدل واحد فراهم می‌کند. با توجه به پیشرفت‌های سریع در حوزه‌ی کدک‌های عصبی و بهینه‌سازی‌های مدل‌های زبانی، انتظار می‌رود در آینده شاهد مدل‌های صوتی حتی قدرتمندتر و کارآمدتر باشیم.

---

🔗 مقاله‌ی کامل:
https://huggingface.co/blog/YatharthS/llm-tts-models

--- 
#پردازش_گفتار #مدل_صوتی #هوش_مصنوعی #TTS #پیشرفت_فناوری

🆔 @asrgooyeshpardaz

💬 آماده برای صحبت: هم‌ترازی مدل‌های زبانی برای تولید متن مناسب گفتار

مدل‌های زبانی بزرگ (LLM) عمدتاً برای متن نوشته‌شده بهینه شده‌اند و اغلب خروجی‌هایی تولید می‌کنند که از نظر گرامری درست و مفید هستند، اما برای ارائه‌ی شفاهی از طریق تبدیل متن به گفتار (TTS) چندان مناسب نیستند. مقاله‌ای جدید از محققان NAVER LABS Europe به این چالش پرداخته و روشی برای هم‌ترازی مستقیم مدل‌ها به‌منظور تولید متن‌های آماده برای گفتار ارائه داده است.

---

🎯 مشکل اصلی چیست؟

متن‌های تولیدشده توسط مدل‌های زبانی معمولاً پر از نمادها، مخفف‌ها، آدرس‌های وب، اعداد فشرده و اختصارات هستند که سیستم‌های TTS در خواندن آنها دچار مشکل می‌شوند. راه‌حل فعلی، استفاده از ماژول‌های بازنویسی پس از تولید است که باعث افزایش تأخیر، هزینه و پیچیدگی می‌شود.

---

🔧 راه‌حل پیشنهادی: هم‌ترازی ترجیحی

محققان این مشکل را به‌عنوان یک مسئله‌ی هم‌ترازی ترجیحی (Preference Alignment) فرموله کرده‌اند. به‌جای تکیه بر ماژول‌های بازنویسی، مدل را مستقیماً برای تولید متن مناسب گفتار تنظیم می‌کنند. برای این کار، دو مجموعه‌داده‌ی ترجیحی ساخته‌اند:

· داده CORA: مجموعه‌ای مصنوعی از مکالمات یک دستیار کافی‌شاپ

· داده Recipe: برگرفته از دستورهای آشپزی واقعی

هر دو مجموعه شامل جفت‌های متنی هستند که یکی «مناسب گفتار» و دیگری «نامناسب برای گفتار» است.

---

📊 معیارهای ارزیابی

برای سنجش کیفیت، سه معیار ترکیبی ارائه شده:

۱. نمره‌ی ابتکاری (Heuristic Score) : یک امتیاز ۱ تا ۵ که بر اساس الگوهای متنی، وجود نمادها، مخفف‌ها و آدرس‌ها محاسبه می‌شود.

۲. ارزیابی TTS→ASR: متن توسط یک سیستم TTS به گفتار تبدیل شده و سپس دوباره توسط یک سیستم تشخیص گفتار (ASR) به متن برگردانده می‌شود. هرچه نرخ خطا (CER/WER) کمتر باشد، متن مناسب‌تر است.

۳. مطالعه‌ی شنیداری MUSHRA: با حضور ارزیاب‌های انسانی برای تأیید کیفیت ادراکی.

---

⚡ روش FaST؛ برنده‌ی میدان

محققان روش جدیدی به نام Feature-aware Sampling and Tuning (FaST) را با روش‌های متداول هم‌ترازی مقایسه کرده‌اند. نتایج نشان می‌دهد که FaST بهترین تعادل را بین مناسب‌بودن برای گفتار و مفیدبودن پاسخ‌ها ارائه می‌دهد.

مزیت کلیدی FaST این است که به‌جای یک مدل پاداش جعبه‌سیاه (Black-box Reward Model) با میلیاردها پارامتر، از ویژگی‌های تفسیرپذیر (مثل میزان استفاده از مخفف‌ها، قالب‌بندی اعداد و ساختار جملات) استفاده می‌کند. این روش با تنها ۴۰ ویژگی و در شرایط داده‌ی کم (حتی با ۱۰ نمونه آموزشی) عملکردی عالی دارد و از روش‌هایی مانند DPO، GRPO و RFT بهتر عمل می‌کند.

---

💡 اهمیت این پژوهش

این مقاله نشان می‌دهد که به‌جای تغییر سیستم TTS یا افزودن ماژول‌های پس‌پردازش، می‌توان خود مدل زبانی را برای تولید متن‌های آماده برای گفتار هم‌تراز کرد. این رویکرد نه‌تنها تأخیر و هزینه را کاهش می‌دهد، بلکه کیفیت خروجی نهایی را نیز بهبود می‌بخشد. با روش FaST، حتی با داده‌های محدود، می‌توان مدل‌ها را برای کاربردهای صوتی مانند دستیارهای گفتاری، پادکست‌ها و کتاب‌های صوتی بهینه کرد.

---

🔗 مقاله و کد منبع

📄 مقاله:
arxiv.org/abs/2609.01246

💻 کد و داده‌ها:
github.com/naver/tts-friendly-gen

---

#پردازش_زبان_طبیعی #TTS #هم_ترازی_مدل #هوش_مصنوعی #پژوهش_هوش_مصنوعی

🆔 @asrgooyeshpardaz

🎙️ مدل OmniVoice؛ کلون صدا در بیش از ۶۰۰ زبان

یک پروژه متن‌باز جالب به نام OmniVoice معرفی شده که یک مدل قدرتمند تبدیل متن به گفتار (TTS) است و می‌تواند بدون نیاز به Fine-tuning، به بیش از ۶۰۰ زبان صحبت کند.

🔊 کلون صدا با یک نمونه کوتاه
کافی است یک نمونه کوتاه از صدای فرد موردنظر را به مدل بدهید تا بتواند متن جدید را با همان صدا تولید کند؛ برای مثال، یک گوینده می‌تواند چند ثانیه از صدای خود را ضبط کند و سپس متن فارسی، انگلیسی یا زبان دیگری را با همان صدا تولید کند.

🎛️ ساخت صدا بدون نمونه صوتی
اگر نمونه صدا ندارید، می‌توانید ویژگی‌های صدای موردنظر را مشخص کنید؛ مثلاً:
• جنسیت صدا

• سن

• زیر و بمی صدا (Pitch)

• لهجه

• حالت نجوا یا Whisper
مدل حتی می‌تواند تگ‌هایی مانند [laughter] را در متن تشخیص دهد و خنده را نیز در خروجی صوتی ایجاد کند.

🗣️ کنترل دقیق تلفظ
برای اصلاح تلفظ کلمات نیز می‌توان از Pinyin یا Phoneme استفاده کرد؛ قابلیتی که برای زبان‌هایی با تلفظ‌های پیچیده یا نام‌های خاص می‌تواند بسیار کاربردی باشد.

⚡ معماری و سرعت
معماری OmniVoice از ایده‌های مربوط به Diffusion Language Models الهام گرفته و هدف آن ترکیب کیفیت بالای صدا با سرعت مناسب تولید است.

🎬 کاربردهای عملی
این مدل می‌تواند برای تولید محتوای صوتی و تصویری بسیار کاربردی باشد؛ مثلاً:
🎙️ ساخت پادکست با صدای گوینده

🎬 دوبله ویدیو به زبان‌های مختلف

📚 تولید کتاب صوتی

🗣️ ساخت صدای مصنوعی برای دستیارهای هوشمند

🌍 تولید محتوای چندزبانه با حفظ صدای گوینده

🛠️ راه‌اندازی
مدل OmniVoice را می‌توان با pip یا uv نصب کرد و از طریق API پایتون یا خط فرمان (CLI) از آن استفاده کرد. همچنین نسخه دموی وب و Space آن در Hugging Face نیز در دسترس است.

🔗 GitHub: https://github.com/k2-fsa/OmniVoice

#هوش_مصنوعی #AI #TTS #تبدیل_متن_به_گفتار #کلون_صدا #VoiceCloning #OmniVoice #OpenSource

🆔 @asrgooyeshpardaz

معرفی GrainSpeech: یک مدل صوتی بسیار کوچک با کیفیتی فراتر از انتظار

پژوهشگران دانشگاه فنی دلفت (TU Delft) مدلی به نام GrainSpeech معرفی کرده‌اند که فقط ۲۶۴.۸ هزار پارامتر دارد — یعنی حدود ۱.۵ درصد اندازه مدل‌های بزرگ فعلی — اما کیفیت صدای تولیدی آن با مدل‌هایی بسیار بزرگ‌تر قابل مقایسه است.

🔹 چه چیزی آن را متفاوت می‌کند؟

مدل GrainSpeech یک مدل صوتی (acoustic model) برای تبدیل متن به گفتار است. نوآوری اصلی آن در دو بخش است:

نخست، رمزگذار کانولوشنی با میدان پذیرش ثابت (fixed-receptive-field). پژوهشگران در مطالعه‌ای نشان دادند که افزایش توجه خودی (self-attention) به بیش از ۱۵ واکه (phoneme) هیچ بهبود پایداری در پیش‌بینی زیر و بمی، انرژی یا دیرش صدا ایجاد نمی‌کند. بر همین اساس، آن‌ها رمزگذاری ساختند که به‌جای نگاه به کل جمله، فقط روی زمینه محدودی از واکه‌ها تمرکز می‌کند. این تغییر خطای پیش‌بینی را به‌ترتیب ۳۶.۰٪، ۱۷.۳٪ و ۳.۴٪ کاهش داد.

دوم، تابع زیان Mel ضد هموارسازی (anti-oversmoothing Mel loss). در مدل‌های کوچک، طیف‌نگاره Mel معمولاً بیش از حد صاف و بی‌جزئیات می‌شود. GrainSpeech با ترکیب سه معیار — L1، SSIM و واریانس گرادیان محلی — این مشکل را حل کرده است. پژوهشگران ابتدا سراغ روش‌های پردازش تصویر رفتند، اما نتیجه کیفیت را پایین آورد. بنابراین نسخه‌ای مخصوص Mel ساختند با گرادیان‌های محورمحور و تطبیق واریانس در دامنه لگاریتمی.

🔹 نتایج

مدل GrainSpeech در بنچمارک UTMOS (معیاری برای سنجش طبیعی بودن صدای سنتز شده) نسبت به مدل EfficientSpeech-Tiny با همان اندازه، ۰.۴۹۶ امتیاز بهتر عمل می‌کند و از نظر آماری با MixerTTS که ۷۵.۷ برابر بزرگ‌تر است، هم‌سطح است.

نکته چشمگیرتر اینکه این مدل روی یک میکروکنترلر (MCU) — یعنی تراشه‌های کوچک و کم‌مصرف — به تولید Mel با سرعت ۱۷.۹ برابر زمان واقعی می‌رسد.

🔹 خب که چی؟

مدل GrainSpeech نشان می‌دهد برای ساخت صدای طبیعی، لزوماً به مدل‌های غول‌پیکر نیازی نیست. این مدل روی دستگاه‌های کوچک و بدون اینترنت هم کار می‌کند و می‌تواند راه را برای فناوری‌های صوتی کم‌هزینه و در دسترس هموار کند.

📄 دسترسی:

🔸 مقاله:
https://arxiv.org/abs/2609.18856

🔸 کد و نمونه‌های صوتی:
https://github.com/lab-emi/GrainSpeech

🔸 دموی صوتی:
https://lab-emi.github.io/GrainSpeech/

#AI #TTS #GrainSpeech #SpeechSynthesis

🆔 @asrgooyeshpardaz