🌿 یادگیری مداوم بدون فراموشی؛ روش جدید Meta و Berkeley برای آموزش مدل‌های زبانی

پژوهش تازه‌ای از تیم‌های Meta و دانشگاه برکلی روشی نو برای یادگیری پیوسته در مدل‌های زبانی بزرگ (LLM) معرفی کرده که تقریباً مانع از «فراموشی فاجعه‌بار» می‌شود — همان مشکلی که باعث می‌شود مدل پس از آموزش روی داده‌های جدید، دانسته‌های قبلی خود را از دست بدهد.

🧩 اصل ایده:

به‌جای بازآموزی کامل همه پارامترها، این روش فقط بخش بسیار کوچکی از «خانه‌های حافظه» در یک لایهٔ ویژه را به‌روزرسانی می‌کند.
از شاخص TF-IDF برای تشخیص پارامترهای خاص‌تر و مرتبط‌تر با داده‌های جدید استفاده می‌شود.
در هر گام، تنها حدود ۰٫۰۳ تا ۰٫۰۰۰۲ درصد از حافظه مدل به‌روزرسانی می‌گردد!

📈 نتایج چشمگیر:

در مجموعهٔ NaturalQuestions، نرخ فراموشی تنها ۱۱٪ بود (در مقایسه با ۸۹٪ در فاین‌تیون کامل و ۷۱٪ در LoRA).
مدل توانست ضمن حفظ دانش‌های پیشین، مفاهیم و اطلاعات جدید را نیز بیاموزد.
کارایی این روش در آزمون‌های TriviaQA و SimpleQA نیز تأیید شده است.

🚀 چشم‌انداز:

این شیوه می‌تواند راه را برای نسل تازه‌ای از هوش‌های مصنوعی باز کند — مدل‌هایی که به‌صورت مداوم و بدون فراموشی، از تجربه‌های جدید می‌آموزند؛ از برنامه‌نویسی و تحلیل داده گرفته تا درک بازخوردهای انسانی.

🔗 مشاهده مقاله در arXiv

#هوش_مصنوعی #پژوهش #LLM #یادگیری_مداوم #Meta #Berkeley

@asrgooyeshpardaz