‏🚀 اجرای مدل ۲.۷ تریلیون پارامتری روی لپ‌تاپ معمولی

‏اتفاقی شگفت‌انگیز در دنیای هوش مصنوعی رخ داده است. یک توسعه‌دهنده موفق شده مدل عظیم Kimi K3 با ۲.۷۸ تریلیون پارامتر را تنها با استفاده از یک CPU و ۸ گیگابایت رم اجرا کند. معماری، ظرفیت‌ها و ملاحظات فنی در تحلیل تخصصی مدل با جزئیات بیشتری آمده است.

‏نکته حیرت‌آور اینجاست که برای این کار به هیچ GPU، فریم‌ورک سنگین یا کتابخانه‌های محاسباتی نیاز نیست. کل موتور اجرا تنها ۱۷۶ کیلوبایت حجم دارد و با زبان C99 نوشته شده است. مدل به صورت توکن به توکن از روی دیسک فراخوانی می‌شود و خروجی آن کاملاً یکسان باقی می‌ماند.

‏در این روش، میزان رم تنها بر سرعت اجرای مدل تأثیر می‌گذارد و نه دقت آن. این یعنی حالا می‌توانید مدلی که برای اجرا معمولاً به یک ورک‌استیشن ۱۲۸ گیگابایتی نیاز دارد را روی یک لپ‌تاپ معمولی نیز داشته باشید.

‏برای بررسی پیاده‌سازی و جزئیات فنی می‌توانید به مخزن زیر مراجعه کنید:

‏مخزن GitHub پروژه Kimi K3 در زبان C

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Kimi_K3 #C99