🧠 چارچوب تازه برای ارزیابی گفتار نقش‌آفرینانه: Speech-DRAME
پژوهشگران دانشگاه کارنگی ملون و تنسنت با همکاری شینجی واتانابه، چارچوبی نو با نام Speech-DRAME معرفی کرده‌اند؛ سامانه‌ای که همان کاری را برای گفتار انجام می‌دهد که HELM و MT-Bench برای مدل‌های متنی انجام دادند — یعنی ایجاد معیاری انسان‌محور و بازتولیدپذیر برای سنجش کیفیت گفتارهای نقش‌آفرین (Speech Role-Play).
🎯 ایده اصلی
ارزیابی سامانه‌های گفتاری نباید فقط بر پایه‌ی متن و دقت بازشناسی گفتار (ASR) انجام شود. مدل‌های داور فعلی، با اتکا بر معیارهای ارزیابی مانند WER، ظرافت‌هایی مانند لحن، احساس، آهنگ و هم‌خوانی نقش را درک نمی‌کنند.
چارچوب Speech-DRAME برای حل این مشکل، سه مؤلفه‌ی کلیدی ارائه کرده است: داده، مدل و بستر ارزیابی.
📚 ۱. مجموعه داده دو‌زبانه (Speech-DRAME-EvalBench)
این مجموعه شامل گفت‌وگوهای نقش‌آفرینانه‌ی واقعی به دو زبان انگلیسی و چینی است که توسط انسان ارزیابی شده‌اند. معیارهایی چون «واقع‌نمایی نقش»، «بیان احساسی» و «تناسب گفتار» در آن لحاظ شده است. این داده‌ها مبنای آموزش مدل‌های ارزیابی گفتار (Speech Evaluation Models) قرار می‌گیرند.
🤖 ۲. مدل ارزیابی DRAME-Eval
این مدل به‌صورت تنظیمی (Fine-tuned) آموزش دیده تا بتواند مانند داور انسانی، کیفیت گفتار را بسنجند.
نتایج نشان می‌دهد همبستگی آن با ارزیابی انسانی از حدود ۰٫۴۸ به ۰٫۶۳ در «ارزیابی نقش‌نمونه‌ای» و از ۰٫۳۹ به ۰٫۶۳ در «ارزیابی واقع‌گرایانه» افزایش یافته است — جهشی چشمگیر در هم‌خوانی با درک انسان.
🎭 ۳. بستر مقایسه‌ای (Speech-DRAME-RoleBench)
در این بستر، مدل DRAME-Eval نقش داور خودکار را ایفا می‌کند تا بتوان عملکرد مدل‌های بنیادی گفتار (Speech Foundation Models) مانند VALL-E-X، CosyVoice و GPT-4o-audio را در سناریوهای واقعی گفتار نقش‌آفرین (Speech Role-Play) مقایسه کرد.
🔍 دو شیوه ارزیابی
1️⃣ ارزیابی نقش‌نمونه‌ای (Archetype Evaluation): سنجش میزان انطباق گفتار با نقش‌های عمومی مانند «پزشک»، «معلم» یا «دوست».
2️⃣ ارزیابی واقع‌گرایانه (Realism Evaluation): بررسی طبیعی بودن، خودانگیختگی و ظرافت احساسی بر پایه‌ی گفتارهای انسانی واقعی.
⚙️ ویژگی‌های فنی برجسته
🔸ارزیابی مستقیم سیگنال صوتی بدون اتکا به متن.
🔸استفاده از ویژگی‌های فرازبانی مانند زیر و بمی، شدت و آهنگ گفتار.
🔸آموزش دو‌زبانه برای درک تفاوت‌های فرهنگی در بیان احساس.
🔸انتشار عمومی داده، کد و دستورالعمل برای بازتولید نتایج.
💡 اهمیت پژوهش
چارچوب Speech-DRAME گامی بزرگ به سوی ارزیابی واقع‌گرایانه و انسان‌محور در مدل‌های گفتاری است.
با گسترش مدل‌هایی چون GPT-4o، WhisperSpeech و Qwen-Audio-VL، اهمیت چنین چارچوب‌هایی دوچندان می‌شود.
در حقیقت، این پژوهش ما را از سنجش درستی زبانی به‌سوی سنجش کیفیت ارتباط انسانی سوق می‌دهد — یعنی اینکه هوش مصنوعی فقط چه می‌گوید مهم نیست، بلکه چگونه می‌گوید نیز معیار سنجش خواهد بود.
📎 مشاهده کد و داده در GitHub
📄 مطالعه مقاله در arXiv
#SpeechDRAME #AI #Speech #Evaluation #RolePlay #Multimodal #LLM #VoiceAI
@asrgooyeshpardaz
پژوهشگران دانشگاه کارنگی ملون و تنسنت با همکاری شینجی واتانابه، چارچوبی نو با نام Speech-DRAME معرفی کرده‌اند؛ سامانه‌ای که همان کاری را برای گفتار انجام می‌دهد که HELM و MT-Bench برای مدل‌های متنی انجام دادند — یعنی ایجاد معیاری انسان‌محور و بازتولیدپذیر برای سنجش کیفیت گفتارهای نقش‌آفرین (Speech Role-Play).
🎯 ایده اصلی
ارزیابی سامانه‌های گفتاری نباید فقط بر پایه‌ی متن و دقت بازشناسی گفتار (ASR) انجام شود. مدل‌های داور فعلی، با اتکا بر معیارهای ارزیابی مانند WER، ظرافت‌هایی مانند لحن، احساس، آهنگ و هم‌خوانی نقش را درک نمی‌کنند.
چارچوب Speech-DRAME برای حل این مشکل، سه مؤلفه‌ی کلیدی ارائه کرده است: داده، مدل و بستر ارزیابی.
📚 ۱. مجموعه داده دو‌زبانه (Speech-DRAME-EvalBench)
این مجموعه شامل گفت‌وگوهای نقش‌آفرینانه‌ی واقعی به دو زبان انگلیسی و چینی است که توسط انسان ارزیابی شده‌اند. معیارهایی چون «واقع‌نمایی نقش»، «بیان احساسی» و «تناسب گفتار» در آن لحاظ شده است. این داده‌ها مبنای آموزش مدل‌های ارزیابی گفتار (Speech Evaluation Models) قرار می‌گیرند.
🤖 ۲. مدل ارزیابی DRAME-Eval
این مدل به‌صورت تنظیمی (Fine-tuned) آموزش دیده تا بتواند مانند داور انسانی، کیفیت گفتار را بسنجند.
نتایج نشان می‌دهد همبستگی آن با ارزیابی انسانی از حدود ۰٫۴۸ به ۰٫۶۳ در «ارزیابی نقش‌نمونه‌ای» و از ۰٫۳۹ به ۰٫۶۳ در «ارزیابی واقع‌گرایانه» افزایش یافته است — جهشی چشمگیر در هم‌خوانی با درک انسان.
🎭 ۳. بستر مقایسه‌ای (Speech-DRAME-RoleBench)
در این بستر، مدل DRAME-Eval نقش داور خودکار را ایفا می‌کند تا بتوان عملکرد مدل‌های بنیادی گفتار (Speech Foundation Models) مانند VALL-E-X، CosyVoice و GPT-4o-audio را در سناریوهای واقعی گفتار نقش‌آفرین (Speech Role-Play) مقایسه کرد.
🔍 دو شیوه ارزیابی
1️⃣ ارزیابی نقش‌نمونه‌ای (Archetype Evaluation): سنجش میزان انطباق گفتار با نقش‌های عمومی مانند «پزشک»، «معلم» یا «دوست».
2️⃣ ارزیابی واقع‌گرایانه (Realism Evaluation): بررسی طبیعی بودن، خودانگیختگی و ظرافت احساسی بر پایه‌ی گفتارهای انسانی واقعی.
⚙️ ویژگی‌های فنی برجسته
🔸ارزیابی مستقیم سیگنال صوتی بدون اتکا به متن.
🔸استفاده از ویژگی‌های فرازبانی مانند زیر و بمی، شدت و آهنگ گفتار.
🔸آموزش دو‌زبانه برای درک تفاوت‌های فرهنگی در بیان احساس.
🔸انتشار عمومی داده، کد و دستورالعمل برای بازتولید نتایج.
💡 اهمیت پژوهش
چارچوب Speech-DRAME گامی بزرگ به سوی ارزیابی واقع‌گرایانه و انسان‌محور در مدل‌های گفتاری است.
با گسترش مدل‌هایی چون GPT-4o، WhisperSpeech و Qwen-Audio-VL، اهمیت چنین چارچوب‌هایی دوچندان می‌شود.
در حقیقت، این پژوهش ما را از سنجش درستی زبانی به‌سوی سنجش کیفیت ارتباط انسانی سوق می‌دهد — یعنی اینکه هوش مصنوعی فقط چه می‌گوید مهم نیست، بلکه چگونه می‌گوید نیز معیار سنجش خواهد بود.
📎 مشاهده کد و داده در GitHub
📄 مطالعه مقاله در arXiv
#SpeechDRAME #AI #Speech #Evaluation #RolePlay #Multimodal #LLM #VoiceAI
@asrgooyeshpardaz
❤2✍1🔥1
🌐 اخبار هوش مصنوعی
🤝 یک سال Claude Team رایگان برای استارتاپ‌ها
شرکت Anthropic برنامه Claude for Startups را گسترش داده است. استارتاپ‌های واجد شرایط یک سال اشتراک Claude Team برای پنج کاربر و هزار دلار اعتبار API برای توسعه محصولات مبتنی بر Claude دریافت می‌کنند.
استارتاپ‌هایی که در پنج سال اخیر تأسیس شده‌اند می‌توانند درخواست دهند. این برنامه بخشی از رقابت Anthropic با OpenAI و سرویس‌های ابری بزرگ برای جذب توسعه‌دهندگان است.
🔗 منبع: TechCrunch / Anthropic
🎮 گوگل با توضیح متنی برایتان بازی می‌سازد
شرکت Google با همکاری Unity پلتفرم Playground را راه‌اندازی کرده است؛ ابزاری که از روی توضیحات متنی، بازی قابل اجرا در مرورگر می‌سازد. فیزیک، قوانین، محیط و ظاهر شخصیت‌ها نیز قابل تنظیم هستند.
این سرویس گالری عمومی، جدول رتبه‌بندی و برای برخی بازی‌ها حالت چندنفره دارد. در آینده نیز امکان انتقال پروژه‌ها به Unity اضافه خواهد شد. این پلتفرم فعلاً در آمریکا در دسترس است.
🔗 منبع: Google
📊 کدام مدل برای عامل‌های هوشمند به‌صرفه‌تر است؟
گروه Nous Research بنچمارک Hermes Index را برای مقایسه عملکرد و هزینه مدل‌های زبانی در نقش عامل هوشمند منتشر کرده است. در یکی از آزمون‌ها، عامل باید ۱۵۰ وظیفه واقعی را با استفاده از فایل‌ها و ابزارهای خارجی انجام دهد.
🥇 مدل Claude Opus 5.5 با حدود ۵ دلار هزینه برای هر وظیفه رتبه اول را گرفته است. مدل GPT-6 Astra با هزینه ۱۱٫۶ دلار دوم و Claude Sonnet 5.5 با هزینه ۲٫۸ دلار سوم شده است.
💰 از نظر هزینه‌ـ‌کارایی، مدل DeepSeek V4.1 Flash با ۲۶ سنت و GPT-6 Luna با ۱۴ سنت برای هر وظیفه، از گزینه‌های اقتصادی برجسته این ارزیابی هستند.
🔗 منبع: Nous Research
🎙️ ساخت و عیب‌یابی عامل‌های صوتی با گفت‌وگو
شرکت ElevenLabs ابزار جدید Architect را وارد مرحله آزمایش آلفا کرده است. با این ابزار می‌توان از طریق دستورهای متنی یا صوتی، عامل‌های صوتی را ساخت، تنظیم و عیب‌یابی کرد.
ابزار Architect می‌تواند مکالمات و گزارش‌های خطا را تحلیل کند، نقاط ضعف عامل را پیدا کند و برای منطق، پایگاه دانش، صدای مصنوعی و System Prompt تغییر پیشنهاد دهد. تغییرات تنها پس از تأیید انسان وارد محیط عملیاتی می‌شوند.
🔗 منبع: ElevenLabs
🤖 دست‌های جدید Atlas برای کار با ابزارهای واقعی
شرکت Boston Dynamics دست‌های جدید ربات انسان‌نمای Atlas را معرفی کرده است. هر دست ۱۳ درجه آزادی دارد و برای گرفتن و استفاده از ابزارهایی مانند دریل و ابزارهای پنوماتیک طراحی شده است.
کف دست و انگشتان به حسگرهای فشار مجهز شده‌اند و مکانیزم دست می‌تواند بیش از ۴۵ کیلوگرم نیرو را تحمل کند. سخت‌افزار همچنین برای Sim2Real بهینه شده است؛ یعنی ربات می‌تواند مهارت‌های حرکتی را با یادگیری تقویتی در شبیه‌سازی بیاموزد و سپس به دنیای واقعی منتقل کند.
🔗 منبع: Boston Dynamics
#هوش_مصنوعی #AI #Claude #AIAgents #LLM #رباتیک #VoiceAI #بازی_سازی
🆔 @asrgooyeshpardaz
🤝 یک سال Claude Team رایگان برای استارتاپ‌ها
شرکت Anthropic برنامه Claude for Startups را گسترش داده است. استارتاپ‌های واجد شرایط یک سال اشتراک Claude Team برای پنج کاربر و هزار دلار اعتبار API برای توسعه محصولات مبتنی بر Claude دریافت می‌کنند.
استارتاپ‌هایی که در پنج سال اخیر تأسیس شده‌اند می‌توانند درخواست دهند. این برنامه بخشی از رقابت Anthropic با OpenAI و سرویس‌های ابری بزرگ برای جذب توسعه‌دهندگان است.
🔗 منبع: TechCrunch / Anthropic
🎮 گوگل با توضیح متنی برایتان بازی می‌سازد
شرکت Google با همکاری Unity پلتفرم Playground را راه‌اندازی کرده است؛ ابزاری که از روی توضیحات متنی، بازی قابل اجرا در مرورگر می‌سازد. فیزیک، قوانین، محیط و ظاهر شخصیت‌ها نیز قابل تنظیم هستند.
این سرویس گالری عمومی، جدول رتبه‌بندی و برای برخی بازی‌ها حالت چندنفره دارد. در آینده نیز امکان انتقال پروژه‌ها به Unity اضافه خواهد شد. این پلتفرم فعلاً در آمریکا در دسترس است.
🔗 منبع: Google
📊 کدام مدل برای عامل‌های هوشمند به‌صرفه‌تر است؟
گروه Nous Research بنچمارک Hermes Index را برای مقایسه عملکرد و هزینه مدل‌های زبانی در نقش عامل هوشمند منتشر کرده است. در یکی از آزمون‌ها، عامل باید ۱۵۰ وظیفه واقعی را با استفاده از فایل‌ها و ابزارهای خارجی انجام دهد.
🥇 مدل Claude Opus 5.5 با حدود ۵ دلار هزینه برای هر وظیفه رتبه اول را گرفته است. مدل GPT-6 Astra با هزینه ۱۱٫۶ دلار دوم و Claude Sonnet 5.5 با هزینه ۲٫۸ دلار سوم شده است.
💰 از نظر هزینه‌ـ‌کارایی، مدل DeepSeek V4.1 Flash با ۲۶ سنت و GPT-6 Luna با ۱۴ سنت برای هر وظیفه، از گزینه‌های اقتصادی برجسته این ارزیابی هستند.
🔗 منبع: Nous Research
🎙️ ساخت و عیب‌یابی عامل‌های صوتی با گفت‌وگو
شرکت ElevenLabs ابزار جدید Architect را وارد مرحله آزمایش آلفا کرده است. با این ابزار می‌توان از طریق دستورهای متنی یا صوتی، عامل‌های صوتی را ساخت، تنظیم و عیب‌یابی کرد.
ابزار Architect می‌تواند مکالمات و گزارش‌های خطا را تحلیل کند، نقاط ضعف عامل را پیدا کند و برای منطق، پایگاه دانش، صدای مصنوعی و System Prompt تغییر پیشنهاد دهد. تغییرات تنها پس از تأیید انسان وارد محیط عملیاتی می‌شوند.
🔗 منبع: ElevenLabs
🤖 دست‌های جدید Atlas برای کار با ابزارهای واقعی
شرکت Boston Dynamics دست‌های جدید ربات انسان‌نمای Atlas را معرفی کرده است. هر دست ۱۳ درجه آزادی دارد و برای گرفتن و استفاده از ابزارهایی مانند دریل و ابزارهای پنوماتیک طراحی شده است.
کف دست و انگشتان به حسگرهای فشار مجهز شده‌اند و مکانیزم دست می‌تواند بیش از ۴۵ کیلوگرم نیرو را تحمل کند. سخت‌افزار همچنین برای Sim2Real بهینه شده است؛ یعنی ربات می‌تواند مهارت‌های حرکتی را با یادگیری تقویتی در شبیه‌سازی بیاموزد و سپس به دنیای واقعی منتقل کند.
🔗 منبع: Boston Dynamics
#هوش_مصنوعی #AI #Claude #AIAgents #LLM #رباتیک #VoiceAI #بازی_سازی
🆔 @asrgooyeshpardaz
❤3