🚀 ‏ اجرای مدل DeepSeek-V4-Flash روی سخت‌افزار محلی

‏مدل قدرتمند DeepSeek-V4-Flash با ۳۰۴ میلیارد پارامتر اکنون قابلیت اجرا به‌صورت محلی روی سیستم‌های Apple Silicon با ۱۲۸ گیگابایت حافظه یکپارچه (Unified Memory) را پیدا کرده است. این مدل عظیم از پنجره متنی تا ۱ میلیون توکن پشتیبانی می‌کند.

📦 ‏ برای امکان‌پذیر شدن این اجرا، نسخه GGUF ویژه‌ای عرضه شده که در آن از تکنیک کوانتیزاسیون ترکیبی ۲ و ۴ بیتی استفاده شده است. در این ساختار، لایه‌های حساس، مکانیزم Attention و متخصص‌های عمومی با دقت بالا حفظ شده و بخش بزرگی از متخصص‌های MoE به‌طور بهینه‌ای فشرده‌سازی شده‌اند که حجم نهایی را به ۹۷.۶ گیگابایت می‌رساند.

🔧 ‏ جهت اجرای این مدل باید از موتور اختصاصی ds4 (DwarfStar) استفاده کنید.

🔗 ‏ GitHub
🤗 ‏ Hugging Face

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#DeepSeek_V4 #DwarfStar