‏🚀 عرضه مدل Mistral Large 4 با ۱.۰۵ تریلیون پارامتر

‏شرکت Mistral AI مدل چندوجهی جدید خود با نام مستعار Le Chonk را در دسترس عموم قرار داد. این مدل MoE با ۱.۰۵ تریلیون پارامتر کل و ۴۹ میلیارد پارامتر فعال در هر توکن، از پنجره متنی ۱ میلیون توکنی پشتیبانی می‌کند و قابلیت دریافت مستقیم تصویر را دارد. این مدل با استفاده از ۳۸۰۰ پردازنده NVIDIA Grace Blackwell آموزش دیده است.

‏از نظر فنی، در هر توکن تنها ۴.۷ درصد از وزن‌های مدل فعال می‌شوند که باعث شده هزینه سرویس‌دهی برای ۱ میلیون توکن ورودی ۱.۳۶ دلار و خروجی ۴.۱۸ دلار باشد. با این حال، کل وزن‌های مدل باید در حافظه قرار بگیرد.

‏برخی نتایج ارزیابی مدل:
‏- امتیاز ۹۳ در Cybench و ۸۲ در CyberGym-E2E
‏- امتیاز ۶۱.۷ در DeepSWE v1.1
‏- قرارگیری در میان ۵ مدل برتر شاخص سایبر Artificial Analysis

‏جزئیات فنی کامل در سایت رسمی Mistral و تحلیل معماری آن در MarkTechPost قابل بررسی است. دسترسی به این مدل از طریق API با نام mistral-large-4 امکان‌پذیر شده است.

🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما

#Mistral_Large_4 #Grace_Blackwell