🤖 ‏ بررسی فنی مدل Kimi K3 از شرکت Moonshot AI

🔬 ‏ شرکت Moonshot AI با انتشار گزارش فنی مدل Kimi K3، تغییرات ساختاری بنیادینی را نسبت به نسل قبلی (K2) معرفی کرده است. این مدل با ۹۳ لایه پردازشی، از معماری ترکیبی نوآورانه‌ای شامل ۳ لایه KDA و یک لایه MLA جهانی استفاده می‌کند. مکانیزم KDA با فشرده‌سازی متن در حالتی با اندازه ثابت، مانع از اشباع حافظه (Cache) در گفتگوهای بسیار طولانی می‌شود.

⚡ ‏ یکی از قابلیت‌های کلیدی K3، پشتیبانی از پنجره متنی تا یک میلیون توکن بدون نیاز به تنظیمات مرسوم RoPE است. در بخش مدیریت اطلاعات، معماری Attention Residuals به هر لایه اجازه می‌دهد انتخاب کند از کدام بلوک‌های قبلی داده دریافت کند، که این امر منجر به بهینه‌سازی جریان اطلاعات در ۸ بلوک ۱۲ لایه‌ای شده است.

🧠 ‏ در معماری MoE (مدل‌های آمیخته از متخصصان)، تعداد متخصصان به ۸۹۶ افزایش یافته و در هر توکن، ۱۶ متخصص فعال می‌شوند.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Kimi_K3 #KDA_Architecture

‏💻 اجرای مدل ۲.۷۸ تریلیون پارامتری Kimi K3 روی پردازنده معمولی و ۸ گیگابایت رم

‏یک دستاورد فنی شگفت‌انگیز در حوزه هوش مصنوعی محلی نشان می‌دهد که چطور می‌توان مدل‌های بسیار عظیم را بدون نیاز به پردازنده‌های گرافیکی گران‌قیمت یا فریم‌ورک‌های سنگین اجرا کرد. پروژه kimi-k3-in-c موفق شده است فرآیند استنتاج (Inference) مدل زبانی غول‌پیکر Kimi K3 با ۲.۷۸ تریلیون پارامتر را تقریباً از صفر و با زبان استاندارد C99 روی پردازنده (CPU) پیاده‌سازی کند. فایل چک‌پوینت این مدل حدود ۱.۵۶ ترابایت حجم دارد، اما حداکثر رم مصرفی در زمان اجرا تنها ۸.۲۴ گیگابایت است.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Kimi_K3 #Mixture_of_Experts

‏🚀 اجرای مدل ۲.۷ تریلیون پارامتری روی لپ‌تاپ معمولی

‏اتفاقی شگفت‌انگیز در دنیای هوش مصنوعی رخ داده است. یک توسعه‌دهنده موفق شده مدل عظیم Kimi K3 با ۲.۷۸ تریلیون پارامتر را تنها با استفاده از یک CPU و ۸ گیگابایت رم اجرا کند. معماری، ظرفیت‌ها و ملاحظات فنی در تحلیل تخصصی مدل با جزئیات بیشتری آمده است.

‏نکته حیرت‌آور اینجاست که برای این کار به هیچ GPU، فریم‌ورک سنگین یا کتابخانه‌های محاسباتی نیاز نیست. کل موتور اجرا تنها ۱۷۶ کیلوبایت حجم دارد و با زبان C99 نوشته شده است. مدل به صورت توکن به توکن از روی دیسک فراخوانی می‌شود و خروجی آن کاملاً یکسان باقی می‌ماند.

‏در این روش، میزان رم تنها بر سرعت اجرای مدل تأثیر می‌گذارد و نه دقت آن. این یعنی حالا می‌توانید مدلی که برای اجرا معمولاً به یک ورک‌استیشن ۱۲۸ گیگابایتی نیاز دارد را روی یک لپ‌تاپ معمولی نیز داشته باشید.

‏برای بررسی پیاده‌سازی و جزئیات فنی می‌توانید به مخزن زیر مراجعه کنید:

‏مخزن GitHub پروژه Kimi K3 در زبان C

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Kimi_K3 #C99

‏🚀 ورود مدل چندوجهی Kimi K3 به زیرساخت ابری اوراکل

‏مدل هوش مصنوعی چندوجهی Kimi K3 (محصول Moonshot AI) به پلتفرم ابری سازمانی اوراکل (OCI Enterprise AI) پیوست. کاربران اکنون می‌توانند این مدل غول‌پیکر را مستقیماً در محیط ابری اختصاصی خود مستقر و اجرا کنند.

‏مدل Kimi K3 با ۲.۸ تریلیون پارامتر و پشتیبانی بومی از بینایی ماشین، توانایی بالایی در تحلیل هم‌زمان متن و تصویر دارد. مهم‌ترین کاربردهای این مدل عبارتند از:

‏• تحلیل اسناد، نمودارها و تصاویر فنی همراه با توضیحات متنی
‏• پردازش اسکرین‌شات‌ها و رابط‌های کاربری گرافیکی
‏• پشتیبانی از طول متن ورودی (Context) تا ۱ میلیون توکن

‏این ویژگی به کسب‌وکارها امکان می‌دهد بدون ارسال داده‌های حساس به APIهای خارجی، مدل را در محیط امن OCI پیاده‌سازی کرده و کنترل کاملی بر امنیت داده‌های خود داشته باشند.

یکپارچه‌سازی مدل چندوجهی Kimi K3 با زیرساخت ابری اوراکل

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Kimi_K3 #Oracle_Cloud_Infrastructure

‏🤖 تقطیر مدل OpenAI Astra در آزمایشگاه‌های چینی

‏نشریه The Information گزارش داده است که آزمایشگاه‌های هوش مصنوعی در چین از مدل Astra متعلق به OpenAI برای آموزش و «تقطیر» (Distillation) مدل‌های جدید خود استفاده کرده‌اند.

‏بر اساس این گزارش، مدل‌های زیر با بهره‌گیری از خروجی‌ها و دانش مدل Astra توسعه یافته‌اند:

‏- مدل Kimi K3.1 Pro محصول شرکت Moonshot AI که هفته گذشته منتشر شد.
‏- مدل DeepSeek V4.1-Flash 1017 که نسخه به‌روزرسانی‌شده در ۱۷ اکتبر است.

‏پیش از این، مدل‌های Claude شرکت Anthropic هدف اصلی فرآیندهای تقطیر در آزمایشگاه‌های چینی بودند. شرکت‌های OpenAI و Anthropic بارها آزمایشگاه‌های Moonshot و DeepSeek را به استفاده غیرمجاز از مدل‌هایشان برای آموزش متهم کرده‌اند، اما این شرکت‌های چینی تاکنون واکنشی به این اتهامات نشان نداده‌اند و در پاسخ به درخواست‌ها برای اظهارنظر نیز پاسخی نداده‌اند.

🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما

#Kimi_K3_1_Pro #DeepSeek_V4_1_Flash