💡 مدل RND1 — نسل جدید مدل‌های زبانی با منطق دیفیوژن

مدل RND1 یک مدل زبانی مبتنی بر دیفیوژن (Diffusion Language Model - DLM) است که توسط تیم Radical Numerics معرفی شده است.
این مدل با ۳۰ میلیارد پارامتر ساخته شده، اما تنها ۳ میلیارد پارامتر فعال دارد. مدل بر پایه‌ی معماری Sparse Mixture-of-Experts (MoE) طراحی شده و از مدل پیش‌آموزش‌دیده‌ی Qwen3-30B-A3B مشتق شده است. سپس با ۵۰۰ میلیارد توکن دیگر بازآموزی شده تا رفتار خود را از یک مدل خودبازگشتی (Autoregressive) به مدل دیفیوژنی تغییر دهد.

🌀 برخلاف مدل‌های زبانی معمولی (مثل GPT) که متن را واژه‌به‌واژه تولید می‌کنند،
مدل RND1 کل جمله را به‌صورت هم‌زمان می‌سازد و سپس آن را به‌تدریج اصلاح و تکمیل می‌کند — درست مانند مدل‌های دیفیوژنی در تولید تصویر که از “نویز” شروع می‌کنند و تصویر نهایی را مرحله‌به‌مرحله ظاهر می‌سازند.

🔄 روش نوآورانه‌ی ساخت

تیم Radical Numerics روش جالبی ابداع کرده که به آن AR-to-Diffusion Conversion (A2D) می‌گویند — یعنی تبدیل مدل خودبازگشتی به مدل دیفیوژنی بدون نیاز به آموزش از صفر.

مراحل کار:

1️⃣ انتخاب یک مدل قدرتمند GPT-مانند

2️⃣ تغییر سازوکار توجه (Attention) تا مدل کل متن را یکجا ببیند

3️⃣ بازآموزی روی داده‌های دیفیوژنی

4️⃣ استفاده از نرخ‌های یادگیری متفاوت برای بخش‌های مختلف شبکه تا مدل دانش قدیمی را حفظ کند ولی منطق تفکر جدید را بیاموزد

⚙️ ویژگی‌های فنی

معماری Mixture-of-Experts: ساختار ۳۰ میلیاردی با تنها ۳ میلیارد پارامتر فعال در هر گام 👈 کارایی بالا با هزینه کم

یادگیری پیوسته: دانش پیشین حذف نمی‌شود، بلکه در منطق جدید ادغام می‌گردد

آموزش با Batchهای عظیم: برای پایداری یادگیری در مدل‌هایی که متن را هم‌زمان پردازش می‌کنند

🚀 چرا RND1 مهم است

✅ تولید موازی متن: بدون تأخیر گام‌به‌گام؛ پاسخ‌ها سریع‌تر شکل می‌گیرند

✅ کارایی بالا با منابع کمتر: تنها ۳ میلیارد پارامتر فعال، اما کیفیت در حد مدل‌های بسیار بزرگ

✅ معماری ترکیبی نوین: تلفیق مزایای AR و DLM

✅ کاملاً متن‌باز: کد، گزارش فنی، و وزن‌ها آزادانه در دسترس پژوهشگران است

✅ گامی به‌سوی خودبهبوددهی هوش مصنوعی (Recursive Self-Improvement): مدلی که نه‌تنها یاد می‌گیرد، بلکه می‌تواند در طراحی نسخه‌های بعدی خود مشارکت کند

🔗 منابع رسمی:
🟠 Blog
🟠 Report
🟠 Code (GitHub)
🟠 Weights (HuggingFace)
🟠 Video

🧩 مدل RND1 نشان می‌دهد که آینده‌ی هوش مصنوعی فقط در “آموزش” نیست — بلکه در “تغییر منطق تفکر” است.
مدلی که به‌جای تقلید از زبان، واقعاً یاد می‌گیرد چگونه فکر کند.
#RND1 #RadicalNumerics #DiffusionLanguageModel #AI #MoE #OpenSource #SelfImprovingAI

@asrgooyeshpardaz