🎙 معرفی Samsone: خانواده‌ای از مدل‌های زبانی صوتی کوچک و متن‌باز از سامسونگ
پژوهشگران آزمایشگاه سامسونگ خانواده‌ای از مدل‌های زبانی صوتی کوچک (SALM) به نام Samsone را معرفی کرده‌اند که برای اجرا روی دستگاه‌های لبه‌ای طراحی شده‌اند. این پژوهش در کنفرانس Interspeech 2026 پذیرفته شده است.
📦 سه نسخه در این خانواده:
· مدل Samsone-99M: سبک‌ترین نسخه با کمتر از ۱۰۰ میلیون پارامتر
· مدل Samsone-134M: مدل اصلی و هسته خانواده
· مدل Samsone-356M: نسخه بزرگ‌تر برای پرسش‌های پیچیده‌تر
🧠 معماری:
مدل Samsone از یک معماری استاندارد ALM استفاده می‌کند: رمزگذار صوتی Whisper-Tiny (۹ میلیون پارامتر)، یک پروجکشن غیرخطی برای تبدیل ویژگی‌های صوتی به فضای متنی، و یک رمزگشای متنی از خانواده SmolLM2.
⚙️ دو تکنیک اصلی برای فشرده‌سازی:
۱. کاهش واژگان: با محدود کردن متن آموزشی به حروف کوچک ASCII و حذف توکن‌های کم‌کاربرد، ۱۵٬۰۴۲ توکن حذف شده و ماتریس جاسازی ۸.۷ میلیون پارامتر کوچک‌تر شده است.
۲. هرس عمق: در Samsone-99M، ۱۰ لایه آخر ترنسفورمر حذف شده و مدل از ۳۰ به ۲۰ بلوک رسیده است.
📊 عملکرد:
بر اساس بنچمارک MMAU (درک صوتی چندوظیفه‌ای)، Samsone-134M در میان مدل‌های هم‌اندازه خود بهترین عملکرد را دارد و با مدل‌هایی که چند برابر بزرگ‌تر هستند، رقابت می‌کند.
نتیجه Samsone-99M: در بنچمارک MMAU امتیاز ۵۸.۱۳ و در MMAU-Pro امتیاز ۳۶.۸۳ کسب کرده است.
نتیجه Samsone-134M (مدل اصلی): در MMAU امتیاز ۶۱.۳۳ و در MMAU-Pro امتیاز ۳۷.۵۷ گرفته است.
نتیجه Samsone-356M: در MMAU امتیاز ۶۲.۰۰ و در MMAU-Pro امتیاز ۴۰.۶۷ به دست آورده است.
مقایسه با مدل‌های بزرگ‌تر: Qwen2-Audio-Instruct با ۸.۴ میلیارد پارامتر در MMAU امتیاز ۵۷.۴۰ و در MMAU-Pro امتیاز ۴۵.۴۱ گرفته. GPT-4o Audio در MMAU امتیاز ۶۰.۸۲ و در MMAU-Pro امتیاز ۵۲.۵۰ کسب کرده. Audio Flamingo 2 با ۳ میلیارد پارامتر در MMAU امتیاز ۶۱.۰۶ و در MMAU-Pro امتیاز ۴۲.۶۰ به دست آورده است.
نکته جالب اینکه Samsone-134M با فقط ۱۳۴ میلیون پارامتر، از Qwen2-Audio با ۸.۴ میلیارد پارامتر (۶۳ برابر بزرگ‌تر) امتیاز بالاتری در MMAU گرفته است.
📚 داده‌های آموزشی:
مدل‌ها روی دو مجموعه‌داده عمومی ReasonAQA (۱ میلیون جفت پرسش-پاسخ) و AudioSkillsXL (۸ میلیون جفت) آموزش دیده‌اند. برای رفع عدم تعادل کلاسی در ReasonAQA، گزینه‌های پاسخ در حین آموزش به‌طور تصادفی جابه‌جا شده‌اند.
📱 اجرای واقعی روی موبایل:
پژوهشگران وزن‌ها را با ExecuTorch بهینه‌سازی کرده‌اند و یک اپلیکیشن اندروید متن‌باز منتشر کرده‌اند که استنتاج بلادرنگ Samsone را روی گوشی هوشمند نشان می‌دهد. مدل‌ها روی Samsung Galaxy S25 Ultra آزمایش شده‌اند.
🔓 متن‌باز:
کد آموزشی، وزن‌های سروری و موبایلی، و اپلیکیشن اندروید همگی به‌صورت متن‌باز منتشر شده‌اند.
🔗 GitHub | arXiv
#AI #Samsung #AudioLanguageModel #OnDevice #OpenSource
🆔 @asrgooyeshpardaz
پژوهشگران آزمایشگاه سامسونگ خانواده‌ای از مدل‌های زبانی صوتی کوچک (SALM) به نام Samsone را معرفی کرده‌اند که برای اجرا روی دستگاه‌های لبه‌ای طراحی شده‌اند. این پژوهش در کنفرانس Interspeech 2026 پذیرفته شده است.
📦 سه نسخه در این خانواده:
· مدل Samsone-99M: سبک‌ترین نسخه با کمتر از ۱۰۰ میلیون پارامتر
· مدل Samsone-134M: مدل اصلی و هسته خانواده
· مدل Samsone-356M: نسخه بزرگ‌تر برای پرسش‌های پیچیده‌تر
🧠 معماری:
مدل Samsone از یک معماری استاندارد ALM استفاده می‌کند: رمزگذار صوتی Whisper-Tiny (۹ میلیون پارامتر)، یک پروجکشن غیرخطی برای تبدیل ویژگی‌های صوتی به فضای متنی، و یک رمزگشای متنی از خانواده SmolLM2.
⚙️ دو تکنیک اصلی برای فشرده‌سازی:
۱. کاهش واژگان: با محدود کردن متن آموزشی به حروف کوچک ASCII و حذف توکن‌های کم‌کاربرد، ۱۵٬۰۴۲ توکن حذف شده و ماتریس جاسازی ۸.۷ میلیون پارامتر کوچک‌تر شده است.
۲. هرس عمق: در Samsone-99M، ۱۰ لایه آخر ترنسفورمر حذف شده و مدل از ۳۰ به ۲۰ بلوک رسیده است.
📊 عملکرد:
بر اساس بنچمارک MMAU (درک صوتی چندوظیفه‌ای)، Samsone-134M در میان مدل‌های هم‌اندازه خود بهترین عملکرد را دارد و با مدل‌هایی که چند برابر بزرگ‌تر هستند، رقابت می‌کند.
نتیجه Samsone-99M: در بنچمارک MMAU امتیاز ۵۸.۱۳ و در MMAU-Pro امتیاز ۳۶.۸۳ کسب کرده است.
نتیجه Samsone-134M (مدل اصلی): در MMAU امتیاز ۶۱.۳۳ و در MMAU-Pro امتیاز ۳۷.۵۷ گرفته است.
نتیجه Samsone-356M: در MMAU امتیاز ۶۲.۰۰ و در MMAU-Pro امتیاز ۴۰.۶۷ به دست آورده است.
مقایسه با مدل‌های بزرگ‌تر: Qwen2-Audio-Instruct با ۸.۴ میلیارد پارامتر در MMAU امتیاز ۵۷.۴۰ و در MMAU-Pro امتیاز ۴۵.۴۱ گرفته. GPT-4o Audio در MMAU امتیاز ۶۰.۸۲ و در MMAU-Pro امتیاز ۵۲.۵۰ کسب کرده. Audio Flamingo 2 با ۳ میلیارد پارامتر در MMAU امتیاز ۶۱.۰۶ و در MMAU-Pro امتیاز ۴۲.۶۰ به دست آورده است.
نکته جالب اینکه Samsone-134M با فقط ۱۳۴ میلیون پارامتر، از Qwen2-Audio با ۸.۴ میلیارد پارامتر (۶۳ برابر بزرگ‌تر) امتیاز بالاتری در MMAU گرفته است.
📚 داده‌های آموزشی:
مدل‌ها روی دو مجموعه‌داده عمومی ReasonAQA (۱ میلیون جفت پرسش-پاسخ) و AudioSkillsXL (۸ میلیون جفت) آموزش دیده‌اند. برای رفع عدم تعادل کلاسی در ReasonAQA، گزینه‌های پاسخ در حین آموزش به‌طور تصادفی جابه‌جا شده‌اند.
📱 اجرای واقعی روی موبایل:
پژوهشگران وزن‌ها را با ExecuTorch بهینه‌سازی کرده‌اند و یک اپلیکیشن اندروید متن‌باز منتشر کرده‌اند که استنتاج بلادرنگ Samsone را روی گوشی هوشمند نشان می‌دهد. مدل‌ها روی Samsung Galaxy S25 Ultra آزمایش شده‌اند.
🔓 متن‌باز:
کد آموزشی، وزن‌های سروری و موبایلی، و اپلیکیشن اندروید همگی به‌صورت متن‌باز منتشر شده‌اند.
🔗 GitHub | arXiv
#AI #Samsung #AudioLanguageModel #OnDevice #OpenSource
🆔 @asrgooyeshpardaz