🚀 معرفی FreeToken: اجرای مدل‌های غول‌پیکر MoE روی کامپیوتر شخصی شما!
آیا تا به حال آرزو کرده‌اید که بتوانید مدل‌های ۲۹۰ میلیارد پارامتری را روی کامپیوتر گیمینگ خود اجرا کنید؟ پروژه‌ی جدید FreeToken این رویا را به واقعیت تبدیل کرده است!
---
🧩 ابزار FreeToken دقیقاً چیست؟
فری توکن (FreeToken) یک موتور سروینگ تخصصی برای مدل‌های Mixture-of-Experts (MoE) است که به‌طور ویژه برای اجرا روی سخت‌افزارهای شخصی و مصرفی طراحی شده. این ابزار با استفاده هوشمندانه از تمام منابع موجود (GPU، CPU، حافظه و ارتباطات داخلی)، امکان اجرای مدل‌های غول‌پیکر مانند DeepSeek-V4-Flash، Qwen3.6-35B-A3B و GLM-5.2 را روی کامپیوتر شما فراهم می‌کند.
---
⚙️ ویژگی‌های کلیدی و شگفت‌انگیز:
🔹 اجرای هم‌زمان CPU-GPU: FreeToken با استفاده از یک سیاست هوشمند، بار محاسباتی را بین پردازنده و کارت گرافیک تقسیم می‌کند تا بهترین عملکرد ممکن را از سخت‌افزار شما بگیرد.
🔹 کشینگ هوشمند (Semantic-Aware Caching): این ویژگی به مدل اجازه می‌دهد تا زمینه‌های تکراری (مثل فراخوانی ابزارها یا بخش‌های تکراری استدلال) را ذخیره کرده و از محاسبه‌ی مجدد آنها جلوگیری کند. این یعنی سرعت بیشتر و مصرف انرژی کمتر!
🔹 مدیریت حافظه پویا: FreeToken می‌تواند در زمان اجرا، حافظه‌ی اختصاصی به کش متخصصان (Expert Caches) و حافظه‌ی KV را بدون نیاز به راه‌اندازی مجدد، تغییر دهد.
🔹 پشتیبانی گسترده: این موتور از مدل‌های مختلف با فرمت‌های کوانتیزاسیون متنوع (MXFP4، NVFP4، FP8 و BF16) پشتیبانی می‌کند.
🔹 سازگاری با ابزارهای محبوب: FreeToken با APIهای سازگار با Anthropic و OpenAI طراحی شده و به‌راحتی با ابزارهایی مثل Codex، Claude Code، OpenCode و OpenClaw کار می‌کند.
🔹 سخت‌افزارهای متنوع: از لپ‌تاپ‌های معمولی تا کامپیوترهای گیمینگ و ایستگاه‌های کاری، FreeToken روی کارت‌های گرافیک سری RTX 30، RTX 40 و RTX 50 اجرا می‌شود.
---
💻 نحوه‌ی نصب و راه‌اندازی:
نصب FreeToken بسیار ساده است و به‌سرعت روی سیستم شما راه‌اندازی می‌شود. شما می‌توانید از طریق خط فرمان با دستور
---
💡 چرا FreeToken ؟
این ابزار به کاربران عادی و پژوهشگران امکان می‌دهد تا بدون نیاز به سرورهای گران‌قیمت ابری، با مدل‌های پیشرفته‌ی هوش مصنوعی کار کنند. FreeToken دسترسی به هوش مصنوعی در سطح دیتاسنتر را به خانه‌ها آورده است و با مجوز Apache 2.0 کاملاً متن‌باز است.
---
🔗 لینک‌های مفید:
📦 گیت‌هاب:
https://github.com/FlashML-org/FreeToken
📄 مقاله:
https://arxiv.org/abs/2608.16157
🌐 وب‌سایت:
https://flashml.ai
---
#FreeToken #MoE #هوش_مصنوعی #متن_باز #اجرای_محلی
🆔 @asrgooyeshpardaz
آیا تا به حال آرزو کرده‌اید که بتوانید مدل‌های ۲۹۰ میلیارد پارامتری را روی کامپیوتر گیمینگ خود اجرا کنید؟ پروژه‌ی جدید FreeToken این رویا را به واقعیت تبدیل کرده است!
---
🧩 ابزار FreeToken دقیقاً چیست؟
فری توکن (FreeToken) یک موتور سروینگ تخصصی برای مدل‌های Mixture-of-Experts (MoE) است که به‌طور ویژه برای اجرا روی سخت‌افزارهای شخصی و مصرفی طراحی شده. این ابزار با استفاده هوشمندانه از تمام منابع موجود (GPU، CPU، حافظه و ارتباطات داخلی)، امکان اجرای مدل‌های غول‌پیکر مانند DeepSeek-V4-Flash، Qwen3.6-35B-A3B و GLM-5.2 را روی کامپیوتر شما فراهم می‌کند.
---
⚙️ ویژگی‌های کلیدی و شگفت‌انگیز:
🔹 اجرای هم‌زمان CPU-GPU: FreeToken با استفاده از یک سیاست هوشمند، بار محاسباتی را بین پردازنده و کارت گرافیک تقسیم می‌کند تا بهترین عملکرد ممکن را از سخت‌افزار شما بگیرد.
🔹 کشینگ هوشمند (Semantic-Aware Caching): این ویژگی به مدل اجازه می‌دهد تا زمینه‌های تکراری (مثل فراخوانی ابزارها یا بخش‌های تکراری استدلال) را ذخیره کرده و از محاسبه‌ی مجدد آنها جلوگیری کند. این یعنی سرعت بیشتر و مصرف انرژی کمتر!
🔹 مدیریت حافظه پویا: FreeToken می‌تواند در زمان اجرا، حافظه‌ی اختصاصی به کش متخصصان (Expert Caches) و حافظه‌ی KV را بدون نیاز به راه‌اندازی مجدد، تغییر دهد.
🔹 پشتیبانی گسترده: این موتور از مدل‌های مختلف با فرمت‌های کوانتیزاسیون متنوع (MXFP4، NVFP4، FP8 و BF16) پشتیبانی می‌کند.
🔹 سازگاری با ابزارهای محبوب: FreeToken با APIهای سازگار با Anthropic و OpenAI طراحی شده و به‌راحتی با ابزارهایی مثل Codex، Claude Code، OpenCode و OpenClaw کار می‌کند.
🔹 سخت‌افزارهای متنوع: از لپ‌تاپ‌های معمولی تا کامپیوترهای گیمینگ و ایستگاه‌های کاری، FreeToken روی کارت‌های گرافیک سری RTX 30، RTX 40 و RTX 50 اجرا می‌شود.
---
💻 نحوه‌ی نصب و راه‌اندازی:
نصب FreeToken بسیار ساده است و به‌سرعت روی سیستم شما راه‌اندازی می‌شود. شما می‌توانید از طریق خط فرمان با دستور
uv pip install "freetoken[accel]" آن را نصب کنید یا از نسخه‌ی دسکتاپ با رابط کاربری گرافیکی برای ویندوز و لینوکس استفاده کنید.---
💡 چرا FreeToken ؟
این ابزار به کاربران عادی و پژوهشگران امکان می‌دهد تا بدون نیاز به سرورهای گران‌قیمت ابری، با مدل‌های پیشرفته‌ی هوش مصنوعی کار کنند. FreeToken دسترسی به هوش مصنوعی در سطح دیتاسنتر را به خانه‌ها آورده است و با مجوز Apache 2.0 کاملاً متن‌باز است.
---
🔗 لینک‌های مفید:
📦 گیت‌هاب:
https://github.com/FlashML-org/FreeToken
📄 مقاله:
https://arxiv.org/abs/2608.16157
🌐 وب‌سایت:
https://flashml.ai
---
#FreeToken #MoE #هوش_مصنوعی #متن_باز #اجرای_محلی
🆔 @asrgooyeshpardaz
GitHub
GitHub - FlashML-org/FreeToken: FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast…
FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently. - FlashML-org/FreeToken
❤4👏3