🤖 چهار مرحله حیاتی در آموزش LLMها
🧠 فرآیند تکامل یک مدل زبانی (LLM) از وزن‌های تصادفی تا مدل‌های استدلالی، مسیری چهار مرحله‌ای است. در مرحله نخست یعنی Pre-training، مدل با پردازش حجم عظیمی از داده، گرامر، حقایق و توانایی‌های پایه را می‌آموزد. در این مرحله مدل تنها یاد می‌گیرد که متن را ادامه دهد و هنوز مفهوم پرسش و پاسخ را درک نمی‌کند.
⚡ در مرحله دوم یا Instruction Fine-tuning، مدل با جفت‌های دستور و پاسخ آموزش می‌بیند تا یاد بگیرد چگونه به درخواست‌های کاربر پاسخ دهد. این مرحله در واقع تعیین‌کننده فرمت پاسخ‌دهی است و دانش مدل را از پیش‌داده‌های مرحله قبل استخراج می‌کند.
📊 مرحله سوم Preference Fine-tuning است که برای مدیریت پاسخ‌های چندگانه طراحی شده است. در اینجا از بازخورد انسانی برای انتخاب پاسخ برتر استفاده می‌شود تا مدل یاد بگیرد بر اساس ترجیحات کاربران عمل کند.
🧩 مرحله نهایی Reasoning Fine-tuning است که برای حوزه‌هایی مثل ریاضی و کدنویسی به کار می‌رود.
#DeepSeek_R1 #GRPO
🧠 فرآیند تکامل یک مدل زبانی (LLM) از وزن‌های تصادفی تا مدل‌های استدلالی، مسیری چهار مرحله‌ای است. در مرحله نخست یعنی Pre-training، مدل با پردازش حجم عظیمی از داده، گرامر، حقایق و توانایی‌های پایه را می‌آموزد. در این مرحله مدل تنها یاد می‌گیرد که متن را ادامه دهد و هنوز مفهوم پرسش و پاسخ را درک نمی‌کند.
⚡ در مرحله دوم یا Instruction Fine-tuning، مدل با جفت‌های دستور و پاسخ آموزش می‌بیند تا یاد بگیرد چگونه به درخواست‌های کاربر پاسخ دهد. این مرحله در واقع تعیین‌کننده فرمت پاسخ‌دهی است و دانش مدل را از پیش‌داده‌های مرحله قبل استخراج می‌کند.
📊 مرحله سوم Preference Fine-tuning است که برای مدیریت پاسخ‌های چندگانه طراحی شده است. در اینجا از بازخورد انسانی برای انتخاب پاسخ برتر استفاده می‌شود تا مدل یاد بگیرد بر اساس ترجیحات کاربران عمل کند.
🧩 مرحله نهایی Reasoning Fine-tuning است که برای حوزه‌هایی مثل ریاضی و کدنویسی به کار می‌رود.
📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما
#DeepSeek_R1 #GRPO
❤2
⚡️ بهبود عملکرد مدل‌های ایجنت با RL چند‌محیطی
تیم Hugging Face روشی برای آموزش مدل‌های کدنویسی معرفی کرده که تفاوت عملکرد در بنچمارک‌های مختلف (Harness) را از بین می‌برد. این رویکرد به جای تغییر محیط‌ها، از یک پراکسی استفاده می‌کند که با چهار فرمت API استاندارد (OpenAI، Anthropic و Gemini) سازگار است. این پراکسی توکن‌ها و logprobهای مدل را در vLLM ثبت می‌کند تا برای آموزش RL استفاده شوند.
در این مدل، مدل
تمامی ابزارهای این پروژه شامل کد آموزش در TRL، پراکسی ثبت مسیرها، داده‌های SFT و هفت مدل آموزش‌دیده در دسترس قرار گرفته است. جزئیات بیشتر و دموها را می‌توانید در صفحه اختصاصی Hugging Face مشاهده کنید.
#MultiHarnessRL #GRPO
تیم Hugging Face روشی برای آموزش مدل‌های کدنویسی معرفی کرده که تفاوت عملکرد در بنچمارک‌های مختلف (Harness) را از بین می‌برد. این رویکرد به جای تغییر محیط‌ها، از یک پراکسی استفاده می‌کند که با چهار فرمت API استاندارد (OpenAI، Anthropic و Gemini) سازگار است. این پراکسی توکن‌ها و logprobهای مدل را در vLLM ثبت می‌کند تا برای آموزش RL استفاده شوند.
در این مدل، مدل
LFM2.5-2.6B پس از آموزش در چهار محیط همزمان، دقت خود را از ۴۲٪ به ۵۴٪ افزایش داد و تعداد فراخوانی ابزارها را ۳۱٪ کاهش داد. بررسی‌ها نشان می‌دهد آموزش مستقیم (RL) در چندین محیط، بسیار موثرتر از SFT روی داده‌های مدل‌های بزرگ‌تر است.تمامی ابزارهای این پروژه شامل کد آموزش در TRL، پراکسی ثبت مسیرها، داده‌های SFT و هفت مدل آموزش‌دیده در دسترس قرار گرفته است. جزئیات بیشتر و دموها را می‌توانید در صفحه اختصاصی Hugging Face مشاهده کنید.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما
#MultiHarnessRL #GRPO