❇️ مدل dots.tts به‌طور کامل متن‌باز شد
تیم Dots Studio از پلتفرم RedNote، مدل dots.tts را به‌صورت کامل متن‌باز منتشر کرده است. این یک مدل ۲ میلیارد پارامتری، کاملاً پیوسته و خودبازگشتی برای تبدیل متن به گفتار (TTS) است.
برخلاف سیستم‌های رایج که از توکن‌های صوتی گسسته استفاده می‌کنند، dots.tts گفتار را مستقیماً در یک فضای پیوسته‌ی نهان مدل‌سازی می‌کند. این رویکرد امکان شبیه‌سازی صدای بدون نیاز به نمونه‌های زیاد، تولید گفتار چندزبانه، خروجی‌های رسا و پخش جریانی بلادرنگ را فراهم می‌کند.
---
🌟 ویژگی‌های برجسته:
🔹 معماری کاملاً پیوسته: این مدل با ترکیب AudioVAE (با کیفیت ۴۸ کیلوهرتز)، رمزگذار معنایی، یک مدل زبانی بزرگ (LLM) و یک سر آکوستیک مبتنی بر تطبیق جریان خودبازگشتی، گفتار را به‌صورت پچ‌های پیوسته تولید می‌کند و توکن‌های گسسته را حذف می‌کند.
🔹 ثبات در بازه‌های طولانی: با استفاده از شرطی‌سازی بر کل تاریخچه، مدل انحراف (Drift) را در تولید خودبازگشتی کاهش می‌دهد و کیفیت را در خروجی‌های طولانی حفظ می‌کند.
🔹 پخش جریانی با تأخیر بسیار کم: فناوری MeanFlow باعث شده که مدل فقط با ۲ تا ۴ مرحله ارزیابی، تأخیر اولین بسته را به ۸۵ میلی‌ثانیه (در حالت خروجی جریانی) و ۵۴ میلی‌ثانیه (در حالت پخش دوگانه) برساند که برای مکالمات بلادرنگ عالی است.
🔹 شبیه‌سازی قوی صدا و چندزبانه: مدل روی ۱.۵ میلیون ساعت داده‌ی چندزبانه آموزش دیده و در ۲۴ زبان ارزیابی شده است.
---
🏆 عملکرد پیشرو در بنچمارک‌ها
مدل dots.tts در بنچمارک معروف Seed-TTS-Eval بهترین عملکرد متوسط را داشته است. روی داده‌های آزمایشی چینی، نرخ خطای کلمه ۰.۹۴٪ و شباهت گوینده ۸۱.۰، روی داده‌های انگلیسی نرخ خطای کلمه ۱.۳۰٪ و شباهت گوینده ۷۷.۱، و روی داده‌های سخت چینی نرخ خطای کلمه ۶.۶۰٪ و شباهت گوینده ۷۹.۵ ثبت شده است. همچنین در بنچمارک چندزبانه‌ی MiniMax، بالاترین میانگین شباهت گوینده (۸۳.۹) را کسب کرده است.
---
🚀 دسترسی و نصب
این پروژه با مجوز Apache 2.0 منتشر شده و شامل چک‌پوینت‌های از پیش‌آموزش‌دیده، پس‌آموزش‌دیده و تقطیرشده، به‌همراه کدهای آموزش، استنتاج و تنظیم دقیق است.
لینک‌های مفید:
- 💻 گیت‌هاب:
https://github.com/studio-dots-ai/dots.tts
- 🤗 مدل‌ها در Hugging Face:
https://huggingface.co/collections/dots-studio/dotstts
- 🎧 دموی آنلاین:
https://studio-dots-ai.github.io/dots.tts-demo/
- 📄 مقاله:
https://arxiv.org/abs/2606.07080
---
#dots.tts #تبدیل_متن_به_گفتار #هوش_مصنوعی #پردازش_گفتار
🆔 @asrgooyeshpardaz
تیم Dots Studio از پلتفرم RedNote، مدل dots.tts را به‌صورت کامل متن‌باز منتشر کرده است. این یک مدل ۲ میلیارد پارامتری، کاملاً پیوسته و خودبازگشتی برای تبدیل متن به گفتار (TTS) است.
برخلاف سیستم‌های رایج که از توکن‌های صوتی گسسته استفاده می‌کنند، dots.tts گفتار را مستقیماً در یک فضای پیوسته‌ی نهان مدل‌سازی می‌کند. این رویکرد امکان شبیه‌سازی صدای بدون نیاز به نمونه‌های زیاد، تولید گفتار چندزبانه، خروجی‌های رسا و پخش جریانی بلادرنگ را فراهم می‌کند.
---
🌟 ویژگی‌های برجسته:
🔹 معماری کاملاً پیوسته: این مدل با ترکیب AudioVAE (با کیفیت ۴۸ کیلوهرتز)، رمزگذار معنایی، یک مدل زبانی بزرگ (LLM) و یک سر آکوستیک مبتنی بر تطبیق جریان خودبازگشتی، گفتار را به‌صورت پچ‌های پیوسته تولید می‌کند و توکن‌های گسسته را حذف می‌کند.
🔹 ثبات در بازه‌های طولانی: با استفاده از شرطی‌سازی بر کل تاریخچه، مدل انحراف (Drift) را در تولید خودبازگشتی کاهش می‌دهد و کیفیت را در خروجی‌های طولانی حفظ می‌کند.
🔹 پخش جریانی با تأخیر بسیار کم: فناوری MeanFlow باعث شده که مدل فقط با ۲ تا ۴ مرحله ارزیابی، تأخیر اولین بسته را به ۸۵ میلی‌ثانیه (در حالت خروجی جریانی) و ۵۴ میلی‌ثانیه (در حالت پخش دوگانه) برساند که برای مکالمات بلادرنگ عالی است.
🔹 شبیه‌سازی قوی صدا و چندزبانه: مدل روی ۱.۵ میلیون ساعت داده‌ی چندزبانه آموزش دیده و در ۲۴ زبان ارزیابی شده است.
---
🏆 عملکرد پیشرو در بنچمارک‌ها
مدل dots.tts در بنچمارک معروف Seed-TTS-Eval بهترین عملکرد متوسط را داشته است. روی داده‌های آزمایشی چینی، نرخ خطای کلمه ۰.۹۴٪ و شباهت گوینده ۸۱.۰، روی داده‌های انگلیسی نرخ خطای کلمه ۱.۳۰٪ و شباهت گوینده ۷۷.۱، و روی داده‌های سخت چینی نرخ خطای کلمه ۶.۶۰٪ و شباهت گوینده ۷۹.۵ ثبت شده است. همچنین در بنچمارک چندزبانه‌ی MiniMax، بالاترین میانگین شباهت گوینده (۸۳.۹) را کسب کرده است.
---
🚀 دسترسی و نصب
این پروژه با مجوز Apache 2.0 منتشر شده و شامل چک‌پوینت‌های از پیش‌آموزش‌دیده، پس‌آموزش‌دیده و تقطیرشده، به‌همراه کدهای آموزش، استنتاج و تنظیم دقیق است.
لینک‌های مفید:
- 💻 گیت‌هاب:
https://github.com/studio-dots-ai/dots.tts
- 🤗 مدل‌ها در Hugging Face:
https://huggingface.co/collections/dots-studio/dotstts
- 🎧 دموی آنلاین:
https://studio-dots-ai.github.io/dots.tts-demo/
- 📄 مقاله:
https://arxiv.org/abs/2606.07080
---
#dots.tts #تبدیل_متن_به_گفتار #هوش_مصنوعی #پردازش_گفتار
🆔 @asrgooyeshpardaz
GitHub
GitHub - studio-dots-ai/dots.tts
Contribute to studio-dots-ai/dots.tts development by creating an account on GitHub.
❤1🔥1
📌 شرکت OpenAI دستیارهای شخصی Dots را معرفی کرد
شرکت OpenAI از Dots رونمایی کرد؛ دستیارهای هوش مصنوعی شخصی‌سازی‌شده‌ای در ChatGPT که با مدل GPT-6 Astra کار می‌کنند و برای انجام وظایف طولانی و چندمرحله‌ای طراحی شده‌اند.
⚙️ دستیار Dots چه کاری انجام می‌دهد؟
• هر Dot یک رایانه مجازی اختصاصی در فضای ابری دارد و می‌تواند حتی پس از بستن ChatGPT، کار را در پس‌زمینه ادامه دهد.
• کاربران می‌توانند نام، ظاهر، دستورالعمل‌ها و نحوه رفتار دستیارشان را شخصی‌سازی کنند.
• امکان مکالمه صوتی و اتصال به بیش از ۴۰۰۰ اپلیکیشن و سرویس فراهم شده است؛ البته دسترسی به هر سرویس به اجازه کاربر نیاز دارد.
• ارتباط با Dot از طریق ChatGPT، Slack و Microsoft Teams امکان‌پذیر است و پشتیبانی از پیامک نیز به‌زودی اضافه می‌شود.
📅 دسترسی
در شروع، هر کاربر می‌تواند یک Dot بسازد و امکان ساخت چند دستیار بعداً اضافه خواهد شد. عرضه برای کاربران Pro به‌صورت تدریجی آغاز شده و کاربران Business Premium و Enterprise نیز به آن دسترسی خواهند داشت.
🔗 معرفی رسمی
🔗 توییت
#AI #OpenAI #ChatGPT #Dots #Astra #AIAgent
🆔 @asrgooyeshpardaz
شرکت OpenAI از Dots رونمایی کرد؛ دستیارهای هوش مصنوعی شخصی‌سازی‌شده‌ای در ChatGPT که با مدل GPT-6 Astra کار می‌کنند و برای انجام وظایف طولانی و چندمرحله‌ای طراحی شده‌اند.
⚙️ دستیار Dots چه کاری انجام می‌دهد؟
• هر Dot یک رایانه مجازی اختصاصی در فضای ابری دارد و می‌تواند حتی پس از بستن ChatGPT، کار را در پس‌زمینه ادامه دهد.
• کاربران می‌توانند نام، ظاهر، دستورالعمل‌ها و نحوه رفتار دستیارشان را شخصی‌سازی کنند.
• امکان مکالمه صوتی و اتصال به بیش از ۴۰۰۰ اپلیکیشن و سرویس فراهم شده است؛ البته دسترسی به هر سرویس به اجازه کاربر نیاز دارد.
• ارتباط با Dot از طریق ChatGPT، Slack و Microsoft Teams امکان‌پذیر است و پشتیبانی از پیامک نیز به‌زودی اضافه می‌شود.
📅 دسترسی
در شروع، هر کاربر می‌تواند یک Dot بسازد و امکان ساخت چند دستیار بعداً اضافه خواهد شد. عرضه برای کاربران Pro به‌صورت تدریجی آغاز شده و کاربران Business Premium و Enterprise نیز به آن دسترسی خواهند داشت.
🔗 معرفی رسمی
🔗 توییت
#AI #OpenAI #ChatGPT #Dots #Astra #AIAgent
🆔 @asrgooyeshpardaz
OpenAI
Introducing dots
Dots by OpenAI are proactive assistants that can keep working across complex projects and everyday tasks. Learn how dots help you stay in control while work moves forward.
❤5