🤖 ‏ بررسی فنی مدل Kimi K3 از شرکت Moonshot AI

🔬 ‏ شرکت Moonshot AI با انتشار گزارش فنی مدل Kimi K3، تغییرات ساختاری بنیادینی را نسبت به نسل قبلی (K2) معرفی کرده است. این مدل با ۹۳ لایه پردازشی، از معماری ترکیبی نوآورانه‌ای شامل ۳ لایه KDA و یک لایه MLA جهانی استفاده می‌کند. مکانیزم KDA با فشرده‌سازی متن در حالتی با اندازه ثابت، مانع از اشباع حافظه (Cache) در گفتگوهای بسیار طولانی می‌شود.

⚡ ‏ یکی از قابلیت‌های کلیدی K3، پشتیبانی از پنجره متنی تا یک میلیون توکن بدون نیاز به تنظیمات مرسوم RoPE است. در بخش مدیریت اطلاعات، معماری Attention Residuals به هر لایه اجازه می‌دهد انتخاب کند از کدام بلوک‌های قبلی داده دریافت کند، که این امر منجر به بهینه‌سازی جریان اطلاعات در ۸ بلوک ۱۲ لایه‌ای شده است.

🧠 ‏ در معماری MoE (مدل‌های آمیخته از متخصصان)، تعداد متخصصان به ۸۹۶ افزایش یافته و در هر توکن، ۱۶ متخصص فعال می‌شوند.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Kimi_K3 #KDA_Architecture