🎧 توجه هوشمند در مدل‌های گفتاری: از پنجره‌های موضعی تا خلاصه‌سازی خطی
در سال‌های اخیر، مدل‌های ترنسفورمری برای پردازش گفتار – از بازشناسی گفتار گرفته تا جداسازی صداها – به سرعت رشد کرده‌اند. اما یک مشکل بنیادی همچنان باقی مانده است: توجه (Attention) در این مدل‌ها به‌صورت کامل (Full Attention) عمل می‌کند؛ یعنی هر فریم صوتی با همه‌ی فریم‌های دیگر تعامل دارد. این روش اگرچه دقیق است، اما هزینه‌ی محاسباتی آن به‌صورت درجه دوم با طول ورودی افزایش می‌یابد.
دو پژوهش اخیر، از دو مسیر متفاوت، راه‌حل‌هایی برای این مشکل ارائه کرده‌اند:
🎛 ۱. روش Windowed Sink Attention — توجه موضعی با «چاهک‌های اطلاعاتی»
🔗 smulelabs/windowed-roformer
پژوهشگران SmuleLabs در مدل Mel-Band-Roformer (ویژه‌ی جداسازی صدای خواننده از موسیقی) متوجه شدند که الگوهای توجه در زمان به‌صورت موضعی متمرکزند؛ یعنی هر فریم فقط با چند فریم نزدیک خود ارتباط دارد، نه با کل توالی.
با این مشاهده، آنها مکانیزم جدیدی به نام Windowed Sink Attention (WSA) طراحی کردند:
هر لایه فقط در یک پنجره‌ی زمانی کوچک (مثلاً چند صد فریم) توجه می‌کند؛
در کنار آن، چند توکن چاهک (Sink Tokens) وجود دارد که اطلاعات کلی قطعه را جمع‌آوری و به فریم‌ها بازمی‌گرداند.
🔹 نتیجه:
بازآموزی (Fine-tuning) از روی مدل اصلی، ۹۲٪ از دقت (SDR) اولیه را بازیابی کرد.
در مقابل، هزینه‌ی محاسباتی ۴۴.۵ برابر کاهش یافت.
نقشه‌های توجهی نیز بسیار تفسیرپذیرتر شدند.
به‌بیان ساده، WSA به مدل یاد می‌دهد مانند گوش انسان، در بازه‌های کوتاه تمرکز کند و فقط در لحظات خاص به «نمای کلی» برگردد.
⚡️ ۲.روش SummaryMixing — جایگزین خطی برای خودتوجهی (Self-Attention)
🔗 SamsungLabs/SummaryMixing
در پژوهش دیگری از SamsungLabs، مسئله از زاویه‌ای متفاوت بررسی شد:
تحلیل مدل‌های ASR (تشخیص گفتار) نشان داد که وزن‌های توجه در بسیاری از مدل‌های آموزش‌دیده تقریباً یکنواخت‌اند — یعنی مدل عملاً به همه‌ی فریم‌ها به‌طور برابر توجه می‌کند!
در نتیجه، محققان پیشنهاد کردند که به‌جای محاسبه‌ی تمام جفت‌های توجه، کافی است در هر لایه:
تمام فریم‌ها را به‌صورت خطی تبدیل کنیم،
میانگین آنها را به‌دست آوریم (به‌عنوان خلاصه‌ی جمله)،
این خلاصه را به تمام فریم‌ها بازگردانیم.
به این ترتیب، مکانیزم SummaryMixing جایگزین مستقیم Attention می‌شود — با همان ورودی و خروجی، اما با پیچیدگی زمانی خطی O(T) به‌جای O(T²).
🔹 این روش در مدل‌های Transformer، Conformer و Branchformer به‌راحتی قابل استفاده است و نتایج آن در بسیاری از وظایف تشخیص گفتار، برابر یا بهتر از Attention کلاسیک بوده است.
🔍 ۳. دو مسیر مکمل برای آینده‌ی پردازش گفتار
اگر این دو رویکرد را کنار هم بگذاریم، به دو جهت مکمل می‌رسیم:
🟠 روش WSA تلاش می‌کند گوش هوشمند بسازد،
🔵 روش SummaryMixing تلاش می‌کند حافظه‌ی مفهومی بسازد.
🧩 چشم‌انداز آینده
ترکیب این دو روش می‌تواند مسیر نسل بعدی مدل‌های گفتاری باشد:
این ساختار دقیقاً همان چیزی است که در سیستم شنوایی انسان مشاهده می‌شود:
تمرکز لحظه‌ای بر جزئیات، همراه با آگاهی پیوسته از کل بافت گفتار.
📚 این دو پژوهش نشان می‌دهند که آینده‌ی مدل‌های گفتاری، دیگر در افزایش پارامترها نیست، بلکه در بازطراحی هوشمندانه‌ی توجه نهفته است — توجهی که «می‌شنود»، نه اینکه فقط «محاسبه کند».
#SpeechAI #Transformer #Attention #Research
🔗speechtech
@asrgooyeshpardaz
در سال‌های اخیر، مدل‌های ترنسفورمری برای پردازش گفتار – از بازشناسی گفتار گرفته تا جداسازی صداها – به سرعت رشد کرده‌اند. اما یک مشکل بنیادی همچنان باقی مانده است: توجه (Attention) در این مدل‌ها به‌صورت کامل (Full Attention) عمل می‌کند؛ یعنی هر فریم صوتی با همه‌ی فریم‌های دیگر تعامل دارد. این روش اگرچه دقیق است، اما هزینه‌ی محاسباتی آن به‌صورت درجه دوم با طول ورودی افزایش می‌یابد.
دو پژوهش اخیر، از دو مسیر متفاوت، راه‌حل‌هایی برای این مشکل ارائه کرده‌اند:
🎛 ۱. روش Windowed Sink Attention — توجه موضعی با «چاهک‌های اطلاعاتی»
🔗 smulelabs/windowed-roformer
پژوهشگران SmuleLabs در مدل Mel-Band-Roformer (ویژه‌ی جداسازی صدای خواننده از موسیقی) متوجه شدند که الگوهای توجه در زمان به‌صورت موضعی متمرکزند؛ یعنی هر فریم فقط با چند فریم نزدیک خود ارتباط دارد، نه با کل توالی.
با این مشاهده، آنها مکانیزم جدیدی به نام Windowed Sink Attention (WSA) طراحی کردند:
هر لایه فقط در یک پنجره‌ی زمانی کوچک (مثلاً چند صد فریم) توجه می‌کند؛
در کنار آن، چند توکن چاهک (Sink Tokens) وجود دارد که اطلاعات کلی قطعه را جمع‌آوری و به فریم‌ها بازمی‌گرداند.
🔹 نتیجه:
بازآموزی (Fine-tuning) از روی مدل اصلی، ۹۲٪ از دقت (SDR) اولیه را بازیابی کرد.
در مقابل، هزینه‌ی محاسباتی ۴۴.۵ برابر کاهش یافت.
نقشه‌های توجهی نیز بسیار تفسیرپذیرتر شدند.
به‌بیان ساده، WSA به مدل یاد می‌دهد مانند گوش انسان، در بازه‌های کوتاه تمرکز کند و فقط در لحظات خاص به «نمای کلی» برگردد.
⚡️ ۲.روش SummaryMixing — جایگزین خطی برای خودتوجهی (Self-Attention)
🔗 SamsungLabs/SummaryMixing
در پژوهش دیگری از SamsungLabs، مسئله از زاویه‌ای متفاوت بررسی شد:
تحلیل مدل‌های ASR (تشخیص گفتار) نشان داد که وزن‌های توجه در بسیاری از مدل‌های آموزش‌دیده تقریباً یکنواخت‌اند — یعنی مدل عملاً به همه‌ی فریم‌ها به‌طور برابر توجه می‌کند!
در نتیجه، محققان پیشنهاد کردند که به‌جای محاسبه‌ی تمام جفت‌های توجه، کافی است در هر لایه:
تمام فریم‌ها را به‌صورت خطی تبدیل کنیم،
میانگین آنها را به‌دست آوریم (به‌عنوان خلاصه‌ی جمله)،
این خلاصه را به تمام فریم‌ها بازگردانیم.
به این ترتیب، مکانیزم SummaryMixing جایگزین مستقیم Attention می‌شود — با همان ورودی و خروجی، اما با پیچیدگی زمانی خطی O(T) به‌جای O(T²).
🔹 این روش در مدل‌های Transformer، Conformer و Branchformer به‌راحتی قابل استفاده است و نتایج آن در بسیاری از وظایف تشخیص گفتار، برابر یا بهتر از Attention کلاسیک بوده است.
🔍 ۳. دو مسیر مکمل برای آینده‌ی پردازش گفتار
اگر این دو رویکرد را کنار هم بگذاریم، به دو جهت مکمل می‌رسیم:
🟠 روش WSA تلاش می‌کند گوش هوشمند بسازد،
🔵 روش SummaryMixing تلاش می‌کند حافظه‌ی مفهومی بسازد.
🧩 چشم‌انداز آینده
ترکیب این دو روش می‌تواند مسیر نسل بعدی مدل‌های گفتاری باشد:
روش Windowed-Summary Attention — لایه‌هایی برای توجه موضعی دقیق، در کنار لایه‌هایی برای خلاصه‌سازی سراسری.
این ساختار دقیقاً همان چیزی است که در سیستم شنوایی انسان مشاهده می‌شود:
تمرکز لحظه‌ای بر جزئیات، همراه با آگاهی پیوسته از کل بافت گفتار.
📚 این دو پژوهش نشان می‌دهند که آینده‌ی مدل‌های گفتاری، دیگر در افزایش پارامترها نیست، بلکه در بازطراحی هوشمندانه‌ی توجه نهفته است — توجهی که «می‌شنود»، نه اینکه فقط «محاسبه کند».
#SpeechAI #Transformer #Attention #Research
🔗speechtech
@asrgooyeshpardaz
GitHub
GitHub - smulelabs/windowed-roformer: Official Repository for "Efficient Vocal Source Separation Through Windowed RoFormer"
Official Repository for "Efficient Vocal Source Separation Through Windowed RoFormer" - smulelabs/windowed-roformer
👌2🔥1
🌀 ترنسفورمر بازگشتی حلقه‌ای (RLT): معماری جدیدی از دانشگاه پرینستون
یک پژوهشگر دانشگاه پرینستون معماری جدیدی به نام Recurrent Looped Transformer (RLT) پیشنهاد کرده است. ایده اصلی این است: رمزگشا (decoder) وضعیت کامل خود را روی تمام توکن‌های دستور (prompt) و پاسخ حمل می‌کند، بدون اینکه در مرز میان آنها بازنشانی شود. هر توکن ۹۶ بلوک منطقی پردازش دارد و هیچ ریست کردنی در نقطه جدایی دستور و پاسخ وجود ندارد.
خوب است بدانید مدل‌های معمول امروزی چطور کار می‌کنند تا تفاوت را بهتر بفهمید. در حالت عادی، وقتی به مدل دستور می‌دهید، مدل یک «حافظه» از دستور می‌سازد و بعد شروع به تولید پاسخ می‌کند. مرز میان این دو مرحله یک نقطه قطع است. RLT می‌گوید این نقطه قطع را بردارید.
👇 حالا ببینیم دقیقاً چطور کار می‌کند.
۱. یک وضعیت واحد که هرگز بازنشانی نمی‌شود
دو بخش داریم که موازی کار می‌کنند:
الف) رمزگذار علّی (Causal Encoder): این بخش حافظه KV را به‌صورت موازی برای همه توکن‌ها می‌سازد. حافظه KV یعنی همان مکانیزمی که مدل با آن می‌فهمد هر توکن به کدام توکن‌های قبلی باید توجه کند. چون موازی ساخته می‌شود، سرعتش بالاست.
ب) رمزگشای بازگشتی (Recurrent Decoder): این بخش قلب RLT است. برای هر توکن جدید، سه کار انجام می‌دهد:
· ویژگی رمزگذاری‌شده آن توکن را با آخرین وضعیت پنهان نهایی (previous final hidden state) ادغام می‌کند
· توجه پنجره لغزان (sliding-window attention) را اجرا می‌کند
· توجه متقابل (cross-attention) به حافظه رمزگذار و سپس یک شبکه پیش‌خور (FFN) را اجرا می‌کند
وضعیت کلی را با فرمول
نشان می‌دهند. نکته مهم: این وضعیت از «مرز سرویس‌دهی» (serving split) یعنی همان نقطه جدایی دستور از پاسخ، بدون هیچ تغییری عبور می‌کند.
← گزاره ۳.۱ (Proposition 3.1): اگر مرز میان دستور و پاسخ را جابه‌جا کنید، توزیع شرطی مدل تغییر نمی‌کند. یعنی مدل نسبت به اینکه کجا دستور تمام می‌شود و کجا پاسخ شروع می‌شود، بی‌تفاوت است. این یک ویژگی ریاضی مهم است: یعنی مدل یک تابع پیوسته از کل توالی است، نه دو تابع جداگانه.
۲. کار ثابت، عمق رشدیابنده
پیکربندی مرجع این‌طور است: ۴۸ لایه رمزگذار و ۴۸ لایه رمزگشا، که وزن‌های توجه و FFN آنها مشترک (tied) هستند. یعنی وزن‌ها یکسان‌اند و دوباره تکرار می‌شوند.
دو عدد کلیدی داریم:
🔹 تعداد ۹۶ بلوک منطقی به ازای هر توکن، ثابت. یعنی هر توکن در هر لحظه از ۹۶ بلوک عبور می‌کند.
🔹تعداد ۴۸t بلوک رمزگشا روی مسیر وضعیت پس از t توکن. یعنی اگر t توکن پردازش شده باشد، مسیر بازگشتی به اندازه ۴۸t بلوک عمق پیدا می‌کند.
این یعنی چی؟ یعنی با اینکه محاسبات هر توکن ثابت است، مسیر پردازش با گذشت زمان عمیق‌تر می‌شود. مثل این است که مدل با هر کلمه‌ای که می‌نویسد، یک لایه جدید از فهم به دست می‌آورد، بدون اینکه محاسبات بیشتر شود. این همان مفهومی است که در ادبیات به آن "recurrent depth" یا "عمق بازگشتی" می‌گویند.
۳. بازپخش یادگیری تقویتی (RL Replay) تحت پارامترهای فعلی
اینجا یک چالش فنی مهم حل می‌شود. در یادگیری تقویتی، مدل باید مسیرهای قبلی خود را دوباره بازی کند تا یاد بگیرد. اما در RLT چون وضعیت بازگشتی به توکن‌های قبلی وابسته است، نمی‌توان به‌سادگی از داده‌های قدیمی استفاده کرد.
راه‌حل RLT:
· نمونه‌گیر (Sampler): احتمالات رفتار (behavior log-probs) را ثبت می‌کند.
· آموزش‌دهنده (Trainer): پیش از امتیازدهی به هر عمل، حافظه رمزگذار، خروجی بازگشتی و هر حافظه پنهان SWA را از H_0 (وضعیت اولیه) بازسازی می‌کند.
نتیجه: وضعیت‌های قدیمی رول‌اوت هرگز دوباره استفاده نمی‌شوند. چون وقتی وزن‌ها به‌روز می‌شوند، همه حافظه‌های پنهان باطل می‌شوند و باید از صفر ساخته شوند. این یعنی RLT یک «گذار واحد» (one transition) دارد که پیش‌آموزش، تنظیم دقیق با نظارت (SFT)، نمونه‌گیری و بازپخش یادگیری تقویتی، همگی آن را به اشتراک می‌گذارند.
🎯 آخرش چی شد؟
در معماری‌های فعلی، پیش‌آموزش یک چیز است، SFT چیز دیگری، نمونه‌گیری چیز دیگری و RL هم چیز دیگری. هرکدام قواعد خودشان را دارند و هماهنگ کردنشان سخت است. RLT می‌گوید: بیایید همه را روی یک گذار وضعیت بنا کنیم. این یعنی سادگی بیشتر، هماهنگی بیشتر و احتمالاً یادگیری بهتر.
📄 لینک‌ها:
· تحلیل کامل: MarkTechPost
· مقاله: PDF
· مخزن گیت‌هاب: GitHub
· توضیح نویسنده در وبلاگ پژوهشی: وبلاگ
#AI #RLT #Princeton #Transformer
🆔 @asrgooyeshpardaz
یک پژوهشگر دانشگاه پرینستون معماری جدیدی به نام Recurrent Looped Transformer (RLT) پیشنهاد کرده است. ایده اصلی این است: رمزگشا (decoder) وضعیت کامل خود را روی تمام توکن‌های دستور (prompt) و پاسخ حمل می‌کند، بدون اینکه در مرز میان آنها بازنشانی شود. هر توکن ۹۶ بلوک منطقی پردازش دارد و هیچ ریست کردنی در نقطه جدایی دستور و پاسخ وجود ندارد.
خوب است بدانید مدل‌های معمول امروزی چطور کار می‌کنند تا تفاوت را بهتر بفهمید. در حالت عادی، وقتی به مدل دستور می‌دهید، مدل یک «حافظه» از دستور می‌سازد و بعد شروع به تولید پاسخ می‌کند. مرز میان این دو مرحله یک نقطه قطع است. RLT می‌گوید این نقطه قطع را بردارید.
👇 حالا ببینیم دقیقاً چطور کار می‌کند.
۱. یک وضعیت واحد که هرگز بازنشانی نمی‌شود
دو بخش داریم که موازی کار می‌کنند:
الف) رمزگذار علّی (Causal Encoder): این بخش حافظه KV را به‌صورت موازی برای همه توکن‌ها می‌سازد. حافظه KV یعنی همان مکانیزمی که مدل با آن می‌فهمد هر توکن به کدام توکن‌های قبلی باید توجه کند. چون موازی ساخته می‌شود، سرعتش بالاست.
ب) رمزگشای بازگشتی (Recurrent Decoder): این بخش قلب RLT است. برای هر توکن جدید، سه کار انجام می‌دهد:
· ویژگی رمزگذاری‌شده آن توکن را با آخرین وضعیت پنهان نهایی (previous final hidden state) ادغام می‌کند
· توجه پنجره لغزان (sliding-window attention) را اجرا می‌کند
· توجه متقابل (cross-attention) به حافظه رمزگذار و سپس یک شبکه پیش‌خور (FFN) را اجرا می‌کند
وضعیت کلی را با فرمول
H_t = (s_t, C^D_t)نشان می‌دهند. نکته مهم: این وضعیت از «مرز سرویس‌دهی» (serving split) یعنی همان نقطه جدایی دستور از پاسخ، بدون هیچ تغییری عبور می‌کند.
← گزاره ۳.۱ (Proposition 3.1): اگر مرز میان دستور و پاسخ را جابه‌جا کنید، توزیع شرطی مدل تغییر نمی‌کند. یعنی مدل نسبت به اینکه کجا دستور تمام می‌شود و کجا پاسخ شروع می‌شود، بی‌تفاوت است. این یک ویژگی ریاضی مهم است: یعنی مدل یک تابع پیوسته از کل توالی است، نه دو تابع جداگانه.
۲. کار ثابت، عمق رشدیابنده
پیکربندی مرجع این‌طور است: ۴۸ لایه رمزگذار و ۴۸ لایه رمزگشا، که وزن‌های توجه و FFN آنها مشترک (tied) هستند. یعنی وزن‌ها یکسان‌اند و دوباره تکرار می‌شوند.
دو عدد کلیدی داریم:
🔹 تعداد ۹۶ بلوک منطقی به ازای هر توکن، ثابت. یعنی هر توکن در هر لحظه از ۹۶ بلوک عبور می‌کند.
🔹تعداد ۴۸t بلوک رمزگشا روی مسیر وضعیت پس از t توکن. یعنی اگر t توکن پردازش شده باشد، مسیر بازگشتی به اندازه ۴۸t بلوک عمق پیدا می‌کند.
این یعنی چی؟ یعنی با اینکه محاسبات هر توکن ثابت است، مسیر پردازش با گذشت زمان عمیق‌تر می‌شود. مثل این است که مدل با هر کلمه‌ای که می‌نویسد، یک لایه جدید از فهم به دست می‌آورد، بدون اینکه محاسبات بیشتر شود. این همان مفهومی است که در ادبیات به آن "recurrent depth" یا "عمق بازگشتی" می‌گویند.
۳. بازپخش یادگیری تقویتی (RL Replay) تحت پارامترهای فعلی
اینجا یک چالش فنی مهم حل می‌شود. در یادگیری تقویتی، مدل باید مسیرهای قبلی خود را دوباره بازی کند تا یاد بگیرد. اما در RLT چون وضعیت بازگشتی به توکن‌های قبلی وابسته است، نمی‌توان به‌سادگی از داده‌های قدیمی استفاده کرد.
راه‌حل RLT:
· نمونه‌گیر (Sampler): احتمالات رفتار (behavior log-probs) را ثبت می‌کند.
· آموزش‌دهنده (Trainer): پیش از امتیازدهی به هر عمل، حافظه رمزگذار، خروجی بازگشتی و هر حافظه پنهان SWA را از H_0 (وضعیت اولیه) بازسازی می‌کند.
نتیجه: وضعیت‌های قدیمی رول‌اوت هرگز دوباره استفاده نمی‌شوند. چون وقتی وزن‌ها به‌روز می‌شوند، همه حافظه‌های پنهان باطل می‌شوند و باید از صفر ساخته شوند. این یعنی RLT یک «گذار واحد» (one transition) دارد که پیش‌آموزش، تنظیم دقیق با نظارت (SFT)، نمونه‌گیری و بازپخش یادگیری تقویتی، همگی آن را به اشتراک می‌گذارند.
🎯 آخرش چی شد؟
در معماری‌های فعلی، پیش‌آموزش یک چیز است، SFT چیز دیگری، نمونه‌گیری چیز دیگری و RL هم چیز دیگری. هرکدام قواعد خودشان را دارند و هماهنگ کردنشان سخت است. RLT می‌گوید: بیایید همه را روی یک گذار وضعیت بنا کنیم. این یعنی سادگی بیشتر، هماهنگی بیشتر و احتمالاً یادگیری بهتر.
📄 لینک‌ها:
· تحلیل کامل: MarkTechPost
· مقاله: PDF
· مخزن گیت‌هاب: GitHub
· توضیح نویسنده در وبلاگ پژوهشی: وبلاگ
#AI #RLT #Princeton #Transformer
🆔 @asrgooyeshpardaz
MarkTechPost
A Princeton Researcher Proposes Recurrent Looped Transformer (RLT) that Carries Decoder State across Every Token, Fixing 96 Blocks…
Recurrent Looped Transformer carries decoder state across every token, fixing 96 blocks per token with unbounded temporal depth.
❤3🔥2
⚡️ ترنسفورمرهای الاستیک: یک مدل، بی‌نهایت بودجه محاسباتی
خانواده‌های مدل‌های امروزی فقط چند اندازه ثابت دارند: کوچک، پایه، بزرگ. اگر مدل را برای ترافیک معمولی انتخاب کنید، در ساعات اوج کند می‌شود و در ساعات خلوت، منابع را هدر می‌دهد. پژوهشگران دانشگاه آمستردام و TNO روشی ابداع کرده‌اند که یک ترنسفورمر از پیش آموزش‌دیده را به مدلی الاستیک تبدیل می‌کند: یک مدل واحد که می‌تواند در زمان استنتاج، خودش را با هر بودجه محاسباتی تطبیق دهد.
🔍 چالش اصلی: رتبه‌بندی نادرست واحدهای عملکردی
روش‌های هرس ساختاریافته سنتی، یا کل بلوک‌های ترنسفورمر را حذف می‌کنند یا نیاز به آموزش مجدد پرهزینه دارند. وقتی بدون آموزش مجدد اعمال شوند، دقت به‌سرعت در سطوح هرس بالای ۲۰-۳۰٪ سقوط می‌کند. این پژوهش مشکل را در رتبه‌بندی اهمیت واحدها می‌بیند، نه در خود هرس.
🔍 راه‌حل: رتبه‌بندی مشترک و هرس نرم مشتق‌پذیر
نوآوری اصلی این روش، رتبه‌بندی مشترک هر نورون MLP و هر سر توجه روی یک مقیاس مشترک است. برخلاف روش‌های قبلی که فقط یک وزن اهمیت برای هر بلوک MLP یا سر توجه بهینه می‌کردند، این روش هر واحد عملکردی را جداگانه ارزیابی می‌کند.
مرحله اول: تخمین اولیه با تقریب فیشر
امتیازهای اولیه از تخمین فیشر قطری هسیان به دست می‌آید: افزایش زیان در اثر حذف یک پارامتر با میانگین مربع گرادیان‌ها روی یک مجموعه کالیبراسیون کوچک تقریب زده می‌شود. برای رمزگذارهای بینایی از تابع هدف DINO و برای رمزگذارهای متنی از زیان InfoNCE استفاده می‌شود.
مرحله دوم: بهینه‌سازی مشتق‌پذیر امتیازها
هرس سخت (حذف یا نگه‌داشتن) مشتق‌پذیر نیست. این روش امتیازها را به‌صورت لگاریتمی و قابل یادگیری ذخیره می‌کند و با میانه‌گیری هر نوع واحد، آنها را روی یک مقیاس مشترک قرار می‌دهد. برای هر هدف تنکی، آستانه‌ای که بودجه FLOPs را برآورده می‌کند پیدا می‌شود و تصمیم سخت با یک ماسک سیگموئیدی نرم جایگزین می‌شود. سپس زیان مدل ماسک‌شده روی ۱۴ هدف تنکی (از ۵٪ تا ۷۰٪ با گام ۵٪) به‌طور همزمان میانگین‌گیری و فقط لگاریتم امتیازها با گرادیان کاهشی به‌روزرسانی می‌شود.
📊 نتایج کلیدی
این روش روی ۲۷ رمزگذار بینایی و متنی از ۲۲ میلیون تا ۸ میلیارد پارامتر آزمایش شد.
مدل DINOv3 ViT-H+/16 با هرس تا ۵۰٪ تنکی، ۴۲۷ میلیون پارامتر را حذف می‌کند و دقت ImageNet-1k فقط ۰.۸٪ کاهش می‌یابد — بدون هیچ اصلاح وزن یا آموزش مجدد.
مدل AugReg ViT-B/16 با ۶۰٪ تنکی روی A100، ۱.۸۰ برابر توان عبوری بیشتر و ۱.۲۶ برابر تأخیر کمتر برای پرسش تکی دارد.
در مقایسه با SnapViT (روش پیشرو در حوزه Elastic ViT): در ۵۰٪ تنکی، روش جدید به دقت ۵۶.۴٪ می‌رسد در حالی که SnapViT به ۱۶.۱٪ سقوط می‌کند.
🔄 مزیت کلیدی: تغییر بودجه در زمان استنتاج
یک مدل الاستیک، در زمان استنتاج می‌تواند بلافاصله با هر بودجه محاسباتی تطبیق یابد. زمان تغییر بودجه به‌طور میانگین ۰.۴۶ میلی‌ثانیه است (بدون احتساب کامپایل). این یعنی می‌توانید یک مدل را برای ساعات خلوت، پیک و بحرانی داشته باشید، بدون نیاز به بارگذاری مجدد مدل.
⚙️ کارایی ساخت
ساخت مدل الاستیک در عرض چند دقیقه انجام می‌شود و زمان ساخت با تعداد پارامترها به‌صورت زیرخطی رشد می‌کند.
🔗 وب‌سایت پروژه | کد در GitHub
📝مقاله arXiv:2610.20588
#هوش_مصنوعی #Transformer #ElasticModels #هرس #بهینه_سازی
🆔 @asrgooyeshpardaz
خانواده‌های مدل‌های امروزی فقط چند اندازه ثابت دارند: کوچک، پایه، بزرگ. اگر مدل را برای ترافیک معمولی انتخاب کنید، در ساعات اوج کند می‌شود و در ساعات خلوت، منابع را هدر می‌دهد. پژوهشگران دانشگاه آمستردام و TNO روشی ابداع کرده‌اند که یک ترنسفورمر از پیش آموزش‌دیده را به مدلی الاستیک تبدیل می‌کند: یک مدل واحد که می‌تواند در زمان استنتاج، خودش را با هر بودجه محاسباتی تطبیق دهد.
🔍 چالش اصلی: رتبه‌بندی نادرست واحدهای عملکردی
روش‌های هرس ساختاریافته سنتی، یا کل بلوک‌های ترنسفورمر را حذف می‌کنند یا نیاز به آموزش مجدد پرهزینه دارند. وقتی بدون آموزش مجدد اعمال شوند، دقت به‌سرعت در سطوح هرس بالای ۲۰-۳۰٪ سقوط می‌کند. این پژوهش مشکل را در رتبه‌بندی اهمیت واحدها می‌بیند، نه در خود هرس.
🔍 راه‌حل: رتبه‌بندی مشترک و هرس نرم مشتق‌پذیر
نوآوری اصلی این روش، رتبه‌بندی مشترک هر نورون MLP و هر سر توجه روی یک مقیاس مشترک است. برخلاف روش‌های قبلی که فقط یک وزن اهمیت برای هر بلوک MLP یا سر توجه بهینه می‌کردند، این روش هر واحد عملکردی را جداگانه ارزیابی می‌کند.
مرحله اول: تخمین اولیه با تقریب فیشر
امتیازهای اولیه از تخمین فیشر قطری هسیان به دست می‌آید: افزایش زیان در اثر حذف یک پارامتر با میانگین مربع گرادیان‌ها روی یک مجموعه کالیبراسیون کوچک تقریب زده می‌شود. برای رمزگذارهای بینایی از تابع هدف DINO و برای رمزگذارهای متنی از زیان InfoNCE استفاده می‌شود.
مرحله دوم: بهینه‌سازی مشتق‌پذیر امتیازها
هرس سخت (حذف یا نگه‌داشتن) مشتق‌پذیر نیست. این روش امتیازها را به‌صورت لگاریتمی و قابل یادگیری ذخیره می‌کند و با میانه‌گیری هر نوع واحد، آنها را روی یک مقیاس مشترک قرار می‌دهد. برای هر هدف تنکی، آستانه‌ای که بودجه FLOPs را برآورده می‌کند پیدا می‌شود و تصمیم سخت با یک ماسک سیگموئیدی نرم جایگزین می‌شود. سپس زیان مدل ماسک‌شده روی ۱۴ هدف تنکی (از ۵٪ تا ۷۰٪ با گام ۵٪) به‌طور همزمان میانگین‌گیری و فقط لگاریتم امتیازها با گرادیان کاهشی به‌روزرسانی می‌شود.
📊 نتایج کلیدی
این روش روی ۲۷ رمزگذار بینایی و متنی از ۲۲ میلیون تا ۸ میلیارد پارامتر آزمایش شد.
مدل DINOv3 ViT-H+/16 با هرس تا ۵۰٪ تنکی، ۴۲۷ میلیون پارامتر را حذف می‌کند و دقت ImageNet-1k فقط ۰.۸٪ کاهش می‌یابد — بدون هیچ اصلاح وزن یا آموزش مجدد.
مدل AugReg ViT-B/16 با ۶۰٪ تنکی روی A100، ۱.۸۰ برابر توان عبوری بیشتر و ۱.۲۶ برابر تأخیر کمتر برای پرسش تکی دارد.
در مقایسه با SnapViT (روش پیشرو در حوزه Elastic ViT): در ۵۰٪ تنکی، روش جدید به دقت ۵۶.۴٪ می‌رسد در حالی که SnapViT به ۱۶.۱٪ سقوط می‌کند.
🔄 مزیت کلیدی: تغییر بودجه در زمان استنتاج
یک مدل الاستیک، در زمان استنتاج می‌تواند بلافاصله با هر بودجه محاسباتی تطبیق یابد. زمان تغییر بودجه به‌طور میانگین ۰.۴۶ میلی‌ثانیه است (بدون احتساب کامپایل). این یعنی می‌توانید یک مدل را برای ساعات خلوت، پیک و بحرانی داشته باشید، بدون نیاز به بارگذاری مجدد مدل.
⚙️ کارایی ساخت
ساخت مدل الاستیک در عرض چند دقیقه انجام می‌شود و زمان ساخت با تعداد پارامترها به‌صورت زیرخطی رشد می‌کند.
🔗 وب‌سایت پروژه | کد در GitHub
📝مقاله arXiv:2610.20588
#هوش_مصنوعی #Transformer #ElasticModels #هرس #بهینه_سازی
🆔 @asrgooyeshpardaz
❤2