🚀 معرفی بنچمارک جامع FrontierBench
نسخه جدید بنچمارک محبوب TerminalBench با تغییراتی بنیادین به FrontierBench ارتقا یافت. این ابزار شامل ۷۴ وظیفه عملیاتی دشوار و دستی در حوزه‌های مختلف است که برای سنجش واقع‌گرایانه مدل‌های هوش مصنوعی طراحی شده‌اند.
🔬 سناریوهای این بنچمارک بسیار کاربردی هستند؛ از بهینه‌سازی سیستم‌های KV-cache (حافظه موقت کلید-مقدار برای شتاب‌دهی پاسخ‌دهی) بدون قطعی سرویس تا محاسبات پیچیده مالی برای ذخایر بانکی و مدیریت پویای ناوگان حمل‌ونقل کالا. تمرکز اصلی بر ارزش اقتصادی و توانایی حل مسائل دنیای واقعی در شرایط در حال تغییر است.
📊 در ارزیابی مدل‌های پیشرو، GPT-5.6 Sol با موفقیت در حدود یک‌سوم وظایف، عملکردی هم‌تراز با Fable 5 ثبت کرده است، با این تفاوت که مدل OpenAI حدود ۴۰ درصد ارزان‌تر بوده و ۵۰ درصد توکن کمتری مصرف می‌کند. در مقابل، مدل Sonnet 5 با وجود هزینه بالاتر و مصرف توکن زیاد، نتایج ضعیف‌تری داشته که نشان‌دهنده ناکارآمدی آن در این تست‌هاست.
#FrontierBench #KV_cache
نسخه جدید بنچمارک محبوب TerminalBench با تغییراتی بنیادین به FrontierBench ارتقا یافت. این ابزار شامل ۷۴ وظیفه عملیاتی دشوار و دستی در حوزه‌های مختلف است که برای سنجش واقع‌گرایانه مدل‌های هوش مصنوعی طراحی شده‌اند.
🔬 سناریوهای این بنچمارک بسیار کاربردی هستند؛ از بهینه‌سازی سیستم‌های KV-cache (حافظه موقت کلید-مقدار برای شتاب‌دهی پاسخ‌دهی) بدون قطعی سرویس تا محاسبات پیچیده مالی برای ذخایر بانکی و مدیریت پویای ناوگان حمل‌ونقل کالا. تمرکز اصلی بر ارزش اقتصادی و توانایی حل مسائل دنیای واقعی در شرایط در حال تغییر است.
📊 در ارزیابی مدل‌های پیشرو، GPT-5.6 Sol با موفقیت در حدود یک‌سوم وظایف، عملکردی هم‌تراز با Fable 5 ثبت کرده است، با این تفاوت که مدل OpenAI حدود ۴۰ درصد ارزان‌تر بوده و ۵۰ درصد توکن کمتری مصرف می‌کند. در مقابل، مدل Sonnet 5 با وجود هزینه بالاتر و مصرف توکن زیاد، نتایج ضعیف‌تری داشته که نشان‌دهنده ناکارآمدی آن در این تست‌هاست.
📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما
#FrontierBench #KV_cache
⚡️ معرفی مدل قدرتمند DeepSeek-V4.1-Flash
مدل جدید DeepSeek-V4.1-Flash با ساختار نوآورانه عرضه شد. این نسخه با وجود اینکه کوچک‌ترین مدل در خانواده خود است، در بنچمارک‌های متعددی پابه‌پای مدل‌های بزرگی همچون Opus 5 و GPT 5.6-Sol رقابت می‌کند.
از ویژگی‌های فنی مهم این مدل می‌توان به موارد زیر اشاره کرد:
- معماری نامتقارن Causal Encoder-Decoder با ۵۵۲ میلیارد پارامتر MoE.
- بهینه‌سازی خیره‌کننده KV-Cache که حجم مصرفی آن را نسبت به نسخه‌های قبلی تا ۴ برابر کاهش داده است (به ۸۹۰ بایت در هر توکن رسیده).
- عملکرد بسیار درخشان در حوزه‌های تخصصی مانند CyberGym با امتیاز ۸۸.۱ و DeepSWE با امتیاز ۷۴.۲.
این مدل با قیمت‌گذاری رقابتی (۰.۱۵ دلار به ازای هر میلیون توکن ورودی در ساعات غیر پیک) گزینه‌ای جذاب برای توسعه‌دهندگان محسوب می‌شود.
برای بررسی جزئیات بیشتر و مطالعه گزارش فنی، می‌توانید به مستندات اصلی مدل در هگینگ‌فیس مراجعه کنید.
بررسی فنی مدل DeepSeek-V4.1-Flash؛ معماری پیشرفته و کارایی در پردازش
#DeepSeek_V4 #KV_Cache
مدل جدید DeepSeek-V4.1-Flash با ساختار نوآورانه عرضه شد. این نسخه با وجود اینکه کوچک‌ترین مدل در خانواده خود است، در بنچمارک‌های متعددی پابه‌پای مدل‌های بزرگی همچون Opus 5 و GPT 5.6-Sol رقابت می‌کند.
از ویژگی‌های فنی مهم این مدل می‌توان به موارد زیر اشاره کرد:
- معماری نامتقارن Causal Encoder-Decoder با ۵۵۲ میلیارد پارامتر MoE.
- بهینه‌سازی خیره‌کننده KV-Cache که حجم مصرفی آن را نسبت به نسخه‌های قبلی تا ۴ برابر کاهش داده است (به ۸۹۰ بایت در هر توکن رسیده).
- عملکرد بسیار درخشان در حوزه‌های تخصصی مانند CyberGym با امتیاز ۸۸.۱ و DeepSWE با امتیاز ۷۴.۲.
این مدل با قیمت‌گذاری رقابتی (۰.۱۵ دلار به ازای هر میلیون توکن ورودی در ساعات غیر پیک) گزینه‌ای جذاب برای توسعه‌دهندگان محسوب می‌شود.
برای بررسی جزئیات بیشتر و مطالعه گزارش فنی، می‌توانید به مستندات اصلی مدل در هگینگ‌فیس مراجعه کنید.
بررسی فنی مدل DeepSeek-V4.1-Flash؛ معماری پیشرفته و کارایی در پردازش
📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما
#DeepSeek_V4 #KV_Cache
This media is not supported in your browser
VIEW IN TELEGRAM
📊 ابزار یادگیری تعاملی مفاهیم یادگیری ماشین
سایت VizLearn مجموعه‌ای از ابزارهای تعاملی را برای درک بصری مفاهیم پیچیده هوش مصنوعی فراهم کرده است. در این پلتفرم می‌توانید بدون نیاز به ثبت‌نام، پارامترهای ورودی را تغییر دهید و تأثیر مستقیم آن را بر محاسبات مشاهده کنید.
مهم‌ترین مباحث آموزشی این سایت شامل موارد زیر است:
- الگوریتم‌های بهینه‌سازی مانند Gradient Descent
- مدل‌های آماری و طبقه‌بندی مانند SVM و روش‌های بیزی
- تکنیک‌های کاهش ابعاد مانند PCA
- سازوکارهای پردازش متن و مدل‌های زبانی از جمله BPE tokenization، مکانیزم Attention (Q/K/V) و KV-cache
- مفاهیم بهینه‌سازی مدل مانند Quantization
این منبع برای کسانی که می‌خواهند فرآیندهای ریاضی پشت مدل‌های یادگیری ماشین را به صورت بصری دنبال کنند، رایگان و در دسترس است.
#VizLearn #KV_cache
سایت VizLearn مجموعه‌ای از ابزارهای تعاملی را برای درک بصری مفاهیم پیچیده هوش مصنوعی فراهم کرده است. در این پلتفرم می‌توانید بدون نیاز به ثبت‌نام، پارامترهای ورودی را تغییر دهید و تأثیر مستقیم آن را بر محاسبات مشاهده کنید.
مهم‌ترین مباحث آموزشی این سایت شامل موارد زیر است:
- الگوریتم‌های بهینه‌سازی مانند Gradient Descent
- مدل‌های آماری و طبقه‌بندی مانند SVM و روش‌های بیزی
- تکنیک‌های کاهش ابعاد مانند PCA
- سازوکارهای پردازش متن و مدل‌های زبانی از جمله BPE tokenization، مکانیزم Attention (Q/K/V) و KV-cache
- مفاهیم بهینه‌سازی مدل مانند Quantization
این منبع برای کسانی که می‌خواهند فرآیندهای ریاضی پشت مدل‌های یادگیری ماشین را به صورت بصری دنبال کنند، رایگان و در دسترس است.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما
#VizLearn #KV_cache
🔎 بهینه‌سازی مصرف حافظه در مدل‌های Looped
مدل‌های Looped LM با عبور دادن توکن‌ها از یک بلوک لایه‌های تکراری، عمق مدل را بدون افزایش تعداد پارامترها افزایش می‌دهند. مشکل اصلی این ساختار، مصرف بالای حافظه به دلیل انباشت
محققان با مشاهده اینکه وضعیت درونی مدل در تکرارهای نهایی تقریباً ثابت می‌ماند، روشی برای نگهداری فقط کلیدها و مقادیر نهایی ابداع کردند. نتایج این رویکرد به شرح زیر است:
* کاهش ۳ برابری نیاز به حافظه
* افزایش سرعت پردازش پرامپت (Prefill) تا ۱.۷۹ برابر.
* بهبود ۲ برابری در سرعت آموزش RL.
در مدل ۱.۶ میلیارد پارامتری، مدل Looped با ۴ بلوک، عملکردی در سطح مدل‌های ۵ میلیارد پارامتری معمولی نشان می‌دهد. برای بررسی جزئیات فنی و پیاده‌سازی، کد و چک‌پوینت‌ها در گیت‌هاب این پروژه و مقاله آن در arXiv در دسترس است.
#Looped_LM #KV_cache
مدل‌های Looped LM با عبور دادن توکن‌ها از یک بلوک لایه‌های تکراری، عمق مدل را بدون افزایش تعداد پارامترها افزایش می‌دهند. مشکل اصلی این ساختار، مصرف بالای حافظه به دلیل انباشت
KV-cache در هر تکرار بود. محققان با مشاهده اینکه وضعیت درونی مدل در تکرارهای نهایی تقریباً ثابت می‌ماند، روشی برای نگهداری فقط کلیدها و مقادیر نهایی ابداع کردند. نتایج این رویکرد به شرح زیر است:
* کاهش ۳ برابری نیاز به حافظه
KV-cache برای رسیدن به عملکردی مشابه مدل‌های ۱۲ بلوکی.* افزایش سرعت پردازش پرامپت (Prefill) تا ۱.۷۹ برابر.
* بهبود ۲ برابری در سرعت آموزش RL.
در مدل ۱.۶ میلیارد پارامتری، مدل Looped با ۴ بلوک، عملکردی در سطح مدل‌های ۵ میلیارد پارامتری معمولی نشان می‌دهد. برای بررسی جزئیات فنی و پیاده‌سازی، کد و چک‌پوینت‌ها در گیت‌هاب این پروژه و مقاله آن در arXiv در دسترس است.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما
#Looped_LM #KV_cache
❤1
💻 میزان حافظه لازم برای اجرای محلی مدل Qwen3-8B
بررسی‌های llamaperf نشان می‌دهد اجرای مدل Qwen3-8B با کوانتیزاسیون Q4_K_M و طول کانکست 8K به حدود ۷.۵ گیگابایت حافظه نیاز دارد که شامل وزن‌های مدل، KV-cache و بافرهای پردازشی است. این مقدار حافظه روی کارت گرافیک ۱۰ گیگابایتی یا مک با ۱۶ گیگابایت حافظه یکپارچه قابل اجراست.
با این حال، افزایش طول کانکست به 128K حجم حافظه مصرفی را تغییر می‌دهد؛ در این حالت تنها KV-cache در فرمت ۱۶ بیتی حدود ۱۹ گیگابایت حافظه اشغال می‌کند. کوانتیزه‌کردن وزن مدل به Q4 به‌طور خودکار KV-cache را ۴ بیتی نمی‌کند.
مصرف دقیق حافظه به موتور اجرا، فرمت کش و تنظیمات بستگی دارد، بنابراین هنگام اجرای محلی مدل‌ها باید طول پنجره گفتگو را هم در محاسبه حافظه در نظر گرفت.
🔗 ادامه مطلب در سایت
#Qwen3_8B #KV_cache
بررسی‌های llamaperf نشان می‌دهد اجرای مدل Qwen3-8B با کوانتیزاسیون Q4_K_M و طول کانکست 8K به حدود ۷.۵ گیگابایت حافظه نیاز دارد که شامل وزن‌های مدل، KV-cache و بافرهای پردازشی است. این مقدار حافظه روی کارت گرافیک ۱۰ گیگابایتی یا مک با ۱۶ گیگابایت حافظه یکپارچه قابل اجراست.
با این حال، افزایش طول کانکست به 128K حجم حافظه مصرفی را تغییر می‌دهد؛ در این حالت تنها KV-cache در فرمت ۱۶ بیتی حدود ۱۹ گیگابایت حافظه اشغال می‌کند. کوانتیزه‌کردن وزن مدل به Q4 به‌طور خودکار KV-cache را ۴ بیتی نمی‌کند.
مصرف دقیق حافظه به موتور اجرا، فرمت کش و تنظیمات بستگی دارد، بنابراین هنگام اجرای محلی مدل‌ها باید طول پنجره گفتگو را هم در محاسبه حافظه در نظر گرفت.
🔗 ادامه مطلب در سایت
🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما
#Qwen3_8B #KV_cache
Media is too big
VIEW IN TELEGRAM
🌐 انتشار مدل دنیای Hy-Nomas توسط تنسنت
تنسنت مدل دنیای (World Model) جدید خود با نام Hy-Nomas را به‌صورت متن‌باز منتشر کرد. این مدل امکان کنترل ویدیوها از طریق متن و تنظیم حرکت دوربین را فراهم می‌کند و ویدیوها را به صورت قطعه‌قطعه با حفظ کانتکست در KV-Cache می‌سازد.
ویژگی‌های اصلی این مدل شامل موارد زیر است:
* دسترسی آزاد: کد و وزن‌های مدل تحت مجوز Apache 2.0 در دسترس است و امکان Fine-tuning آن با استفاده از LoRA وجود دارد.
* سازگاری: ارائه آداپتورهای آماده برای کاربردهای سینمایی و رباتیک.
* سخت‌افزار: امکان اجرا روی یک کارت گرافیک RTX 4090 با استفاده از کوانتیزاسیون INT8. در آزمایش‌های انجام شده با سخت‌افزار قدرتمندتر (8×B200)، سرعت تولید به حدود ۱۸.۵ فریم بر ثانیه رسیده است.
برای بررسی عملکرد می‌توانید به دموی آنلاین مراجعه کنید یا جزئیات فنی و وزن‌ها را از طریق Hugging Face دریافت کنید. گزارش کامل عملکرد نیز در مستندات فنی پروژه موجود است.
#Hy_Nomas #KV_Cache
تنسنت مدل دنیای (World Model) جدید خود با نام Hy-Nomas را به‌صورت متن‌باز منتشر کرد. این مدل امکان کنترل ویدیوها از طریق متن و تنظیم حرکت دوربین را فراهم می‌کند و ویدیوها را به صورت قطعه‌قطعه با حفظ کانتکست در KV-Cache می‌سازد.
ویژگی‌های اصلی این مدل شامل موارد زیر است:
* دسترسی آزاد: کد و وزن‌های مدل تحت مجوز Apache 2.0 در دسترس است و امکان Fine-tuning آن با استفاده از LoRA وجود دارد.
* سازگاری: ارائه آداپتورهای آماده برای کاربردهای سینمایی و رباتیک.
* سخت‌افزار: امکان اجرا روی یک کارت گرافیک RTX 4090 با استفاده از کوانتیزاسیون INT8. در آزمایش‌های انجام شده با سخت‌افزار قدرتمندتر (8×B200)، سرعت تولید به حدود ۱۸.۵ فریم بر ثانیه رسیده است.
برای بررسی عملکرد می‌توانید به دموی آنلاین مراجعه کنید یا جزئیات فنی و وزن‌ها را از طریق Hugging Face دریافت کنید. گزارش کامل عملکرد نیز در مستندات فنی پروژه موجود است.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما
#Hy_Nomas #KV_Cache
❤1