🎙️مدل PlayDiffusion: بازسازی هوشمند صدا
در دنیای سنتز گفتار، مدل‌های ترنسفورمر اتورگرسیو (autoregressive) ابزارهای قدرتمندی برای تولید گفتار از متن هستند، اما وقتی صحبت از ویرایش صوتی به میان می‌آید، مشکلات زیادی ایجاد می‌کنند. بازتولید کامل جملات منابع زیادی مصرف می‌کند و اغلب به تغییر آهنگ یا ریتم منجر می‌شود. جایگزینی یک کلمه هم معمولاً در مرزها نویزهای ناخوشایندی ایجاد می‌کند.
🔷 شرکت PlayAI نسخه ۱.۰ مدل PlayDiffusion را معرفی کرده؛ یک مدل دیفیوژن برای ویرایش گفتار که می‌تواند بخش‌های خاصی از صدا را تغییر دهد بدون اینکه روانی و ویژگی‌های صدای اصلی از بین برود. این مدل هم روی صداهای واقعی و هم صداهای تولید شده توسط TTSهای دیگر کار می‌کند.
🔍 روش کار PlayDiffusion:
1. صدا به فضای گسسته (discrete space) تبدیل می‌شود و به توکن‌های فشرده‌شده تبدیل می‌گردد.
2. بخش مورد نظر برای ویرایش ماسک می‌شود.
3. مدل دیفیوژن با استفاده از محتوای متنی جدید، بخش ماسک‌شده را بازسازی کرده و نویز را حذف می‌کند.
4. در نهایت، توالی توکن‌ها توسط دیکودر BigVGAN به صدا تبدیل می‌شود.
🛠 نوآوری‌های کلیدی PlayDiffusion:
استفاده از ماسک‌گذاری غیرعلّی (non-causal) که برخلاف مدل‌های GPT، همزمان گذشته، حال و آینده را در نظر می‌گیرد.
بهره‌گیری از توکنایزر BPE سفارشی با فقط ۱۰,۰۰۰ توکن متنی برای کاهش حجم جدول embedding و افزایش سرعت.
لحاظ کردن ویژگی‌های گوینده با یک مدل embedding پیش‌آموزش دیده که طول متغیر صداها را به بردارهای ثابت تبدیل می‌کند.
💡 نکته جالب: اگر کل صدا ماسک شود، PlayDiffusion می‌تواند به عنوان یک سیستم TTS کامل عمل کند. برخلاف مدل‌های اتورگرسیو که توکن‌ها را یکی‌یکی تولید می‌کنند، مدل دیفیوژن کل توکن‌ها را یکجا تولید و طی چند مرحله بهبود می‌دهد.
📊 مقایسه: برای تولید ۲۰ ثانیه صدا با کدک ۵۰ هرتز:
مدل اتورگرسیو به حدود ۱۰۰۰ مرحله نیاز دارد.
مدل PlayDiffusion فقط در ۲۰ مرحله کار را تمام می‌کند؛ تا ۵۰ برابر سریع‌تر از نظر تعداد مراحل تولید!
📜 لایسنس: متن‌باز تحت Apache 2.0
🔗 مقاله | مدل | دمو | GitHub
#هوش_مصنوعی #یادگیری_ماشین #TTS #بازسازی_صدا #دیفیوژن #PlayDiffusion #PlayAI
@asrgooyeshpardaz
در دنیای سنتز گفتار، مدل‌های ترنسفورمر اتورگرسیو (autoregressive) ابزارهای قدرتمندی برای تولید گفتار از متن هستند، اما وقتی صحبت از ویرایش صوتی به میان می‌آید، مشکلات زیادی ایجاد می‌کنند. بازتولید کامل جملات منابع زیادی مصرف می‌کند و اغلب به تغییر آهنگ یا ریتم منجر می‌شود. جایگزینی یک کلمه هم معمولاً در مرزها نویزهای ناخوشایندی ایجاد می‌کند.
🔷 شرکت PlayAI نسخه ۱.۰ مدل PlayDiffusion را معرفی کرده؛ یک مدل دیفیوژن برای ویرایش گفتار که می‌تواند بخش‌های خاصی از صدا را تغییر دهد بدون اینکه روانی و ویژگی‌های صدای اصلی از بین برود. این مدل هم روی صداهای واقعی و هم صداهای تولید شده توسط TTSهای دیگر کار می‌کند.
🔍 روش کار PlayDiffusion:
1. صدا به فضای گسسته (discrete space) تبدیل می‌شود و به توکن‌های فشرده‌شده تبدیل می‌گردد.
2. بخش مورد نظر برای ویرایش ماسک می‌شود.
3. مدل دیفیوژن با استفاده از محتوای متنی جدید، بخش ماسک‌شده را بازسازی کرده و نویز را حذف می‌کند.
4. در نهایت، توالی توکن‌ها توسط دیکودر BigVGAN به صدا تبدیل می‌شود.
🛠 نوآوری‌های کلیدی PlayDiffusion:
استفاده از ماسک‌گذاری غیرعلّی (non-causal) که برخلاف مدل‌های GPT، همزمان گذشته، حال و آینده را در نظر می‌گیرد.
بهره‌گیری از توکنایزر BPE سفارشی با فقط ۱۰,۰۰۰ توکن متنی برای کاهش حجم جدول embedding و افزایش سرعت.
لحاظ کردن ویژگی‌های گوینده با یک مدل embedding پیش‌آموزش دیده که طول متغیر صداها را به بردارهای ثابت تبدیل می‌کند.
💡 نکته جالب: اگر کل صدا ماسک شود، PlayDiffusion می‌تواند به عنوان یک سیستم TTS کامل عمل کند. برخلاف مدل‌های اتورگرسیو که توکن‌ها را یکی‌یکی تولید می‌کنند، مدل دیفیوژن کل توکن‌ها را یکجا تولید و طی چند مرحله بهبود می‌دهد.
📊 مقایسه: برای تولید ۲۰ ثانیه صدا با کدک ۵۰ هرتز:
مدل اتورگرسیو به حدود ۱۰۰۰ مرحله نیاز دارد.
مدل PlayDiffusion فقط در ۲۰ مرحله کار را تمام می‌کند؛ تا ۵۰ برابر سریع‌تر از نظر تعداد مراحل تولید!
📜 لایسنس: متن‌باز تحت Apache 2.0
🔗 مقاله | مدل | دمو | GitHub
#هوش_مصنوعی #یادگیری_ماشین #TTS #بازسازی_صدا #دیفیوژن #PlayDiffusion #PlayAI
@asrgooyeshpardaz
❤6👍1
🎙️ ویرایش دقیق گفتار با PlayDiffusion 1.0
مدل PlayDiffusion با استفاده از توکنایزیشن گسسته (discrete tokenization) و ماسک‌گذاری غیرعلّی (non-causal masking)، ویرایش هدفمند بخش‌های صوتی را بدون آسیب به پیوستگی و ویژگی‌های صوتی ممکن ساخته است. مدل با tokenization فشرده و مدل embedding گوینده، ویژگی‌های صوتی فردی را حفظ می‌کند و بازسازی بخش‌های ماسک شده را با دقت بالا انجام می‌دهد. جایگزینی کارآمد و سریع برای مدل‌های اتورگرسیو TTS — با تولید همزمان کل توالی و پالایش چندمرحله‌ای.
🔗 بازطراحی معماری TTS با دیفیوژن — طبیعی‌تر، سریع‌تر و مقیاس‌پذیرتر. 🚀
#DiffusionModels #SpeechInpainting #DiscreteTokenization #NonCausalMasking #SpeakerEmbedding #PlayDiffusion #AI #TTS
مدل PlayDiffusion با استفاده از توکنایزیشن گسسته (discrete tokenization) و ماسک‌گذاری غیرعلّی (non-causal masking)، ویرایش هدفمند بخش‌های صوتی را بدون آسیب به پیوستگی و ویژگی‌های صوتی ممکن ساخته است. مدل با tokenization فشرده و مدل embedding گوینده، ویژگی‌های صوتی فردی را حفظ می‌کند و بازسازی بخش‌های ماسک شده را با دقت بالا انجام می‌دهد. جایگزینی کارآمد و سریع برای مدل‌های اتورگرسیو TTS — با تولید همزمان کل توالی و پالایش چندمرحله‌ای.
🔗 بازطراحی معماری TTS با دیفیوژن — طبیعی‌تر، سریع‌تر و مقیاس‌پذیرتر. 🚀
#DiffusionModels #SpeechInpainting #DiscreteTokenization #NonCausalMasking #SpeakerEmbedding #PlayDiffusion #AI #TTS
👍2🔥1