‏۷ پارامتر کلیدی که خروجی LLM را کنترل می‌کنند

‏هر مدل زبانی (LLM) با نمونه‌برداری از توزیع احتمالات، توکن‌ها را یکی‌یکی تولید می‌کند. برای مدیریت دقیق این خروجی، شناخت این هفت پارامتر حیاتی است:

‏* Max tokens: تعیین حداکثر تعداد توکن‌های تولیدی که در صورت رسیدن به سقف، فرآیند را قطع می‌کند.
‏* Temperature: تنظیم میزان خلاقیت یا قطعیت مدل؛ مقادیر کمتر از ۱ مدل را محافظه‌کار و مقادیر بالاتر آن را متنوع‌تر می‌کند.
‏* Top_p: انتخاب از میان مجموعه‌ای از توکن‌ها که مجموع احتمال آن‌ها برابر با p است؛ این پارامتر با میزان اطمینان مدل تطبیق می‌یابد.
‏* Top_k: محدود کردن انتخاب به k توکن برتر؛ فارغ از اینکه مدل چقدر به پاسخ اطمینان دارد.
‏* Frequency & Presence Penalties: کاهش احتمال تکرار کلمات؛ اولی بر اساس دفعات تکرار و دومی بر اساس حضور یک توکن در متن عمل می‌کند تا تنوع موضوعی حفظ شود.
‏* Stop sequences: رشته‌های خاصی که به محض تولید توسط مدل، باعث توقف فوری فرآیند پاسخ‌دهی می‌شوند.

📚 مطالعه با جزئیات بیشتر

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Temperature #Top_p