🤖 ‏ چهار مرحله حیاتی در آموزش LLMها

🧠 ‏ فرآیند تکامل یک مدل زبانی (LLM) از وزن‌های تصادفی تا مدل‌های استدلالی، مسیری چهار مرحله‌ای است. در مرحله نخست یعنی Pre-training، مدل با پردازش حجم عظیمی از داده، گرامر، حقایق و توانایی‌های پایه را می‌آموزد. در این مرحله مدل تنها یاد می‌گیرد که متن را ادامه دهد و هنوز مفهوم پرسش و پاسخ را درک نمی‌کند.

⚡ ‏ در مرحله دوم یا Instruction Fine-tuning، مدل با جفت‌های دستور و پاسخ آموزش می‌بیند تا یاد بگیرد چگونه به درخواست‌های کاربر پاسخ دهد. این مرحله در واقع تعیین‌کننده فرمت پاسخ‌دهی است و دانش مدل را از پیش‌داده‌های مرحله قبل استخراج می‌کند.

📊 ‏ مرحله سوم Preference Fine-tuning است که برای مدیریت پاسخ‌های چندگانه طراحی شده است. در اینجا از بازخورد انسانی برای انتخاب پاسخ برتر استفاده می‌شود تا مدل یاد بگیرد بر اساس ترجیحات کاربران عمل کند.

🧩 ‏ مرحله نهایی Reasoning Fine-tuning است که برای حوزه‌هایی مثل ریاضی و کدنویسی به کار می‌رود.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#DeepSeek_R1 #GRPO