‏🚀 افزایش سرعت استنتاج مدل‌های MoE توسط انویدیا

‏انویدیا سه راهکار برای افزایش سرعت استنتاج مدل‌های Mixture-of-Experts (MoE) روی سخت‌افزار DGX Spark معرفی کرده است. این روش‌ها با استفاده از مدل Ling-3.0-flash (با ۱۲۴ میلیارد پارامتر) آزمایش شده‌اند.

‏از آنجا که در batch size برابر با ۱، سرعت استنتاج محدود به حافظه (Memory-bound) است، انویدیا بر کاهش انتقال داده تمرکز کرده است:
‏* استفاده از هسته‌های بهینه‌شده Humming MoE
‏* به‌کارگیری FP8 برای LM head
‏* استفاده از مکانیزم Speculative Decoding داخلی (MTP)

‏در آزمایش روی مجموعه‌داده GSM8K، نرخ توکن تولیدی ۴۲.۵ درصد افزایش و تأخیر ۲۴.۵ درصد کاهش یافته است، در حالی که دقت مدل تقریباً بدون تغییر باقی ماند.

‏دقت کنید که این بهینه‌سازی نیازمند داشتن یک ماژول LM-head مشترک است و در صورت عدم استفاده از آن، سرعت به سطح پیش‌فرض بازمی‌گردد. جزئیات پیاده‌سازی و دستورالعمل‌های استفاده در Ling cookbook در دسترس است. اطلاعات بیشتر در وبلاگ فنی انویدیا موجود است.

🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما

#Ling_3 #MTP_decoding