‏💻 میزان حافظه لازم برای اجرای محلی مدل Qwen3-8B

‏بررسی‌های llamaperf نشان می‌دهد اجرای مدل Qwen3-8B با کوانتیزاسیون Q4_K_M و طول کانکست 8K به حدود ۷.۵ گیگابایت حافظه نیاز دارد که شامل وزن‌های مدل، KV-cache و بافرهای پردازشی است. این مقدار حافظه روی کارت گرافیک ۱۰ گیگابایتی یا مک با ۱۶ گیگابایت حافظه یکپارچه قابل اجراست.

‏با این حال، افزایش طول کانکست به 128K حجم حافظه مصرفی را تغییر می‌دهد؛ در این حالت تنها KV-cache در فرمت ۱۶ بیتی حدود ۱۹ گیگابایت حافظه اشغال می‌کند. کوانتیزه‌کردن وزن مدل به Q4 به‌طور خودکار KV-cache را ۴ بیتی نمی‌کند.

‏مصرف دقیق حافظه به موتور اجرا، فرمت کش و تنظیمات بستگی دارد، بنابراین هنگام اجرای محلی مدل‌ها باید طول پنجره گفتگو را هم در محاسبه حافظه در نظر گرفت.

🔗 ادامه مطلب در سایت

🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما

#Qwen3_8B #KV_cache