‏🔥 جهش ۴۱ درصدی سرعت آموزش مدل‌ها با Mixture-of-Kittens

‏🚀 تیم Cursor به‌تازگی پروژه متن‌باز Mixture-of-Kittens را منتشر کرده است؛ یک «مگا‌کرنل» (Kernel بهینه‌ساز سطح پایین) برای مدل‌های MoE که موفق شده بدون نیاز به ارتقای سخت‌افزار، سرعت آموزش را تا ۴۱ درصد افزایش دهد.

‏🔬 در مدل‌های MoE، انتقال توکن‌ها بین GPUها به گلوگاهی جدی تبدیل شده بود. این ابزار تمامی مراحل ارسال توکن، محاسبات، جمع‌آوری نتایج و همگام‌سازی را در یک چرخه واحد CUDA ادغام می‌کند تا محاسبات و انتقال داده‌ها به صورت همزمان انجام شوند.

‏⚡ تغییر کلیدی در این پروژه، انتقال از معماری push به pull است؛ به‌طوری‌که هر چیپ توکن‌های موردنیاز خود را مستقیماً فراخوانی می‌کند. این رویکرد باعث افزایش ۲۹ درصدی پهنای باند NVLink و کاهش ۵.۸ برابری تأخیر در انتظار (Latency) شده است.

‏📊 تست‌های انجام‌شده بر روی سیستم GB300 NVL72 دستاوردهای چشمگیری را ثبت کرده است.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Mixture_of_Kittens #NVLink