‏تفاوت‌های استنتاج LLM با مدل‌های سنتی ML

‏استنتاج در مدل‌های زبانی بزرگ (LLM) به دلیل ماهیت پویا و غیرخطی، با مدل‌های سنتی یادگیری ماشین متفاوت است و نیاز به تکنیک‌های اختصاصی دارد. در مدل‌های سنتی، ورودی و خروجی طول ثابتی دارند، اما در LLMها به دلیل متغیر بودن طول توالی‌ها، استفاده از روش Continuous Batching ضروری است تا GPU معطل اتمام طولانی‌ترین درخواست نماند.

‏سایر تفاوت‌ها و راهکارهای بهینه‌سازی عبارتند از:

‏* Prefill-decode Disaggregation: جداسازی منابع محاسباتی برای مرحله پردازش ورودی (compute-heavy) و تولید خروجی (latency-sensitive).
‏* Paged Attention: مدیریت حافظه KV Cache در بلوک‌های غیرپیوسته برای جلوگیری از تکه‌تکه‌شدن حافظه.
‏* Prefix-aware Routing: هدایت درخواست‌های دارای پیش‌بندی (Prefix) مشابه به همان GPU که حافظه آن را کش کرده است.
‏* Expert Parallelism: توزیع متخصص‌ها در مدل‌های MoE میان دستگاه‌های مختلف، به طوری که هر GPU فقط وزن‌های بخشی از مدل را میزبانی می‌کند.

جزییات کامل

🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما

#Continuous_Batching #Paged_Attention