🌟 معماری Mixture-of-Recursions (MoR): معماری نوین با استدلال انتخابی

🔬 گوگل با همکاری KAIST AI، معماری جدیدی به نام MoR را معرفی کرده که مفهوم محاسبه تطبیقی و پردازش انتخابی را به سطحی تازه می‌برد.

💡 در MoR، مدل برای هر توکن به‌طور متفاوت و پویا تصمیم می‌گیرد چقدر "فکر کند"!
بر خلاف ترنسفورمرهای کلاسیک، این معماری بازگشتی (Recursive) است و ورودی‌ها چند بار از همان بلاک عبور می‌کنند — اما با یک تفاوت کلیدی:
⏱️ عمق تکرار برای هر توکن متفاوت است و به صورت پویا تعیین می‌شود.

🔁 چطور کار می‌کند؟ یک روتر سبک و قابل آموزش مشخص می‌کند که هر توکن چند بار باید پردازش شود:

توکن‌های ساده ممکن است فقط یک بار پردازش شوند

توکن‌های پیچیده‌تر ممکن است چندین بار از لایه عبور کنند تا معنا و کاربردشان بهتر درک شود


✨ دو مزیت کلیدی MoR:

1. ✅ صرفه‌جویی در محاسبات:
توکن‌هایی که پردازششان تمام شده، دیگر در چرخه‌های بعدی شرکت نمی‌کنند → مصرف محاسباتی کمتر!


2. ✅ بهینه‌سازی حافظه (KV Caching):
به جای ذخیره تمام لایه‌ها، فقط توکن‌های فعال در هر چرخه کش می‌شوند → حافظه کمتر، سرعت بیشتر، استقرار آسان‌تر!



📉 روش MoR با بودجه محاسباتی مشابه (FLOPs) و اندازه مدل کوچکتر، نتایج بهتری در few-shot learning و perplexity نسبت به مدل‌های کلاسیک و بازگشتی ارائه می‌دهد.

🧪 امتحان کنید! کد آموزش و ارزیابی در GitHub منتشر شده:

🔗 مشاهده در GitHub

https://github.com/raymin0223/mixture_of_recursions

🟡 مطالعه در ArXiv

https://arxiv.org/pdf/2507.10524

---

#MoR #AI #LLM #MachineLearning #DeepLearning #Google #KAIST

📡 @asrgooyeshpardaz