🧠 مدل زبانی با پارامترهای نامحدود
پژوهشگران دانشگاه کمبریج و شرکت Boltzbit Limited معماری جدیدی معرفی کرده‌اند به نام Infinite-Parameter LLM (مدل زبانی با پارامترهای بی‌نهایت). این معماری به مدل‌های زبانی اجازه می‌دهد وزن‌های خود را در همان لحظه اجرا تولید و به‌روزرسانی کنند.
🔹 اول، مشکل چیست؟
مدل‌های زبانی امروزی دو راه برای «دانستن» دارند:
راه اول: دانش در وزن‌ها (پیش‌آموزش). مدل روی میلیاردها متن آموزش می‌بیند و دانش در پارامترهایش ذخیره می‌شود. مشکل اینجاست که این دانش ثابت است و بعد از آموزش تغییر نمی‌کند.
راه دوم: دانش در پرامپت (زمینه). شما اطلاعات را در پرامپت می‌گذارید و مدل آن را می‌خواند. مشکل اینجاست که پنجره زمینه محدود است و با پر شدن، اطلاعات قدیمی از دست می‌رود.
حالا فرض کنید می‌خواهید مدل با یک مجموعه‌داده بزرگ مثل MS MARCO کار کند. باید یا مدل را دوباره آموزش دهید (که بسیار گران است)، یا همه داده را در پرامپت بریزید (که جا نمی‌شود).
🔹 ایده جدید چیست؟
این معماری می‌گوید: به‌جای اینکه وزن‌ها ثابت باشند یا داده‌ها در پرامپت جا بگیرند، یک شبکه کوچک مولد (Hypernetwork) وزن‌های مدل را در لحظه تولید کند.
تصور کنید یک شبکه پایه مشترک دارید. حالا برای هر ورودی جدید، یک شبکه کوچک و فشرده، مدولاسیون‌های کم‌رتبه (Low-Rank Modulations) می‌سازد و روی شبکه پایه اعمال می‌کند. یعنی وزن‌ها تغییر می‌کنند — نه در حافظه دائمی، بلکه به‌صورت موقت و متناسب با موقعیت.
🔹 تفاوت با MoE و RAG
روش MoE (ترکیب متخصصان): بانک عظیمی از پارامترها از قبل آموزش دیده. مدل برای هر ورودی، بخشی از این بانک را فعال می‌کند. اما خود پارامترها ثابت‌اند و فقط انتخاب می‌شوند.
روش RAG (تولید افزوده‌شده با بازیابی): مدل از یک پایگاه داده بیرونی، متن‌های مرتبط را بازیابی می‌کند و در پرامپت می‌گذارد. اما دانش همچنان در پرامپت است، نه در وزن‌ها.
روش Infinite-Parameter LLM: برخلاف هر دو، وزن‌ها در لحظه ساخته می‌شوند و دانش مستقیماً به وزن‌ها منتقل می‌شود. این یعنی پنجره زمینه آزاد می‌ماند و می‌توان دانش بیشتری را بدون پر کردن پرامپت ذخیره کرد.
🔹 سه ویژگی کلیدی
۱. یادگیری زنده (Live Learning)
وزن‌ها در زمان استنتاج با یک فیلتر بیزی (Bayesian Filter) به‌روزرسانی می‌شوند. به بیان ساده: مدل یک «باور» آماری از آنچه تا الان دیده نگه می‌دارد و این باور را به‌تدریج اصلاح می‌کند. برخلاف روش‌های قبلی که زمینه را یک بار می‌خواندند و ثابت می‌ماندند، اینجا مدل در طول جلسه یاد می‌گیرد.
۲. صرفه‌جویی در زمینه
چون دانش به وزن‌ها منتقل می‌شود، دیگر نیازی نیست همه‌چیز در پرامپت باشد. پنجره زمینه آزاد می‌ماند و مدل می‌تواند به مسائل بزرگ‌تر رسیدگی کند.
۳. انتخاب دقیق کدهای وزنی
یک انتخاب‌گر آموزش‌دیده وجود دارد که تشخیص می‌دهد کدام کد وزنی برای این موقعیت مناسب است. این انتخاب‌گر از سیستم‌های RAG بهتر عمل می‌کند، چون مستقیماً وزن‌ها را هدف می‌گیرد، نه متن را.
🔹 نتایج عددی
طبق گزارش منتشرشده، در داده‌های پیچیده MS MARCO:
· روش مبتنی بر پرامپت: امتیاز 33.6 F1
· روش Infinite-Parameter: امتیاز 48.0 F1
این اختلاف قابل توجه نشان می‌دهد که انتقال دانش به وزن‌ها، در مقایسه با نگه داشتن آن در پرامپت، عملکرد بهتری دارد.
🔹 نکته نهایی: پارامترهای بی‌نهایت یعنی چه؟
مدل در هر لحظه فقط یک مجموعه وزنی مشخص دارد. اما چون این وزن‌ها می‌توانند در طول زمان تغییر کنند و از داده‌های جدید ساخته شوند، تعداد حالت‌های وزنی ممکن، عملاً بی‌نهایت است — درست مانند یک عدد که بی‌نهایت رقم بعد از ممیز می‌تواند داشته باشد، ولی در هر لحظه یک مقدار مشخص دارد.
⚠️ یک نکته مهم
این مقاله یک معماری و پروتکل ارزیابی پیشنهاد می‌دهد، نه یک محصول آماده. یعنی ایده و روش سنجش آن معرفی شده، اما هنوز باید در مقیاس بزرگ‌تر و روی وظایف واقعی آزمایش شود تا مشخص گردد در عمل چقدر کارآمد است.
🔗 https://arxiv.org/abs/2609.18842
#AI #Research #LLM #InfiniteParameters
🆔 @asrgooyeshpardaz
پژوهشگران دانشگاه کمبریج و شرکت Boltzbit Limited معماری جدیدی معرفی کرده‌اند به نام Infinite-Parameter LLM (مدل زبانی با پارامترهای بی‌نهایت). این معماری به مدل‌های زبانی اجازه می‌دهد وزن‌های خود را در همان لحظه اجرا تولید و به‌روزرسانی کنند.
🔹 اول، مشکل چیست؟
مدل‌های زبانی امروزی دو راه برای «دانستن» دارند:
راه اول: دانش در وزن‌ها (پیش‌آموزش). مدل روی میلیاردها متن آموزش می‌بیند و دانش در پارامترهایش ذخیره می‌شود. مشکل اینجاست که این دانش ثابت است و بعد از آموزش تغییر نمی‌کند.
راه دوم: دانش در پرامپت (زمینه). شما اطلاعات را در پرامپت می‌گذارید و مدل آن را می‌خواند. مشکل اینجاست که پنجره زمینه محدود است و با پر شدن، اطلاعات قدیمی از دست می‌رود.
حالا فرض کنید می‌خواهید مدل با یک مجموعه‌داده بزرگ مثل MS MARCO کار کند. باید یا مدل را دوباره آموزش دهید (که بسیار گران است)، یا همه داده را در پرامپت بریزید (که جا نمی‌شود).
🔹 ایده جدید چیست؟
این معماری می‌گوید: به‌جای اینکه وزن‌ها ثابت باشند یا داده‌ها در پرامپت جا بگیرند، یک شبکه کوچک مولد (Hypernetwork) وزن‌های مدل را در لحظه تولید کند.
تصور کنید یک شبکه پایه مشترک دارید. حالا برای هر ورودی جدید، یک شبکه کوچک و فشرده، مدولاسیون‌های کم‌رتبه (Low-Rank Modulations) می‌سازد و روی شبکه پایه اعمال می‌کند. یعنی وزن‌ها تغییر می‌کنند — نه در حافظه دائمی، بلکه به‌صورت موقت و متناسب با موقعیت.
🔹 تفاوت با MoE و RAG
روش MoE (ترکیب متخصصان): بانک عظیمی از پارامترها از قبل آموزش دیده. مدل برای هر ورودی، بخشی از این بانک را فعال می‌کند. اما خود پارامترها ثابت‌اند و فقط انتخاب می‌شوند.
روش RAG (تولید افزوده‌شده با بازیابی): مدل از یک پایگاه داده بیرونی، متن‌های مرتبط را بازیابی می‌کند و در پرامپت می‌گذارد. اما دانش همچنان در پرامپت است، نه در وزن‌ها.
روش Infinite-Parameter LLM: برخلاف هر دو، وزن‌ها در لحظه ساخته می‌شوند و دانش مستقیماً به وزن‌ها منتقل می‌شود. این یعنی پنجره زمینه آزاد می‌ماند و می‌توان دانش بیشتری را بدون پر کردن پرامپت ذخیره کرد.
🔹 سه ویژگی کلیدی
۱. یادگیری زنده (Live Learning)
وزن‌ها در زمان استنتاج با یک فیلتر بیزی (Bayesian Filter) به‌روزرسانی می‌شوند. به بیان ساده: مدل یک «باور» آماری از آنچه تا الان دیده نگه می‌دارد و این باور را به‌تدریج اصلاح می‌کند. برخلاف روش‌های قبلی که زمینه را یک بار می‌خواندند و ثابت می‌ماندند، اینجا مدل در طول جلسه یاد می‌گیرد.
۲. صرفه‌جویی در زمینه
چون دانش به وزن‌ها منتقل می‌شود، دیگر نیازی نیست همه‌چیز در پرامپت باشد. پنجره زمینه آزاد می‌ماند و مدل می‌تواند به مسائل بزرگ‌تر رسیدگی کند.
۳. انتخاب دقیق کدهای وزنی
یک انتخاب‌گر آموزش‌دیده وجود دارد که تشخیص می‌دهد کدام کد وزنی برای این موقعیت مناسب است. این انتخاب‌گر از سیستم‌های RAG بهتر عمل می‌کند، چون مستقیماً وزن‌ها را هدف می‌گیرد، نه متن را.
🔹 نتایج عددی
طبق گزارش منتشرشده، در داده‌های پیچیده MS MARCO:
· روش مبتنی بر پرامپت: امتیاز 33.6 F1
· روش Infinite-Parameter: امتیاز 48.0 F1
این اختلاف قابل توجه نشان می‌دهد که انتقال دانش به وزن‌ها، در مقایسه با نگه داشتن آن در پرامپت، عملکرد بهتری دارد.
🔹 نکته نهایی: پارامترهای بی‌نهایت یعنی چه؟
مدل در هر لحظه فقط یک مجموعه وزنی مشخص دارد. اما چون این وزن‌ها می‌توانند در طول زمان تغییر کنند و از داده‌های جدید ساخته شوند، تعداد حالت‌های وزنی ممکن، عملاً بی‌نهایت است — درست مانند یک عدد که بی‌نهایت رقم بعد از ممیز می‌تواند داشته باشد، ولی در هر لحظه یک مقدار مشخص دارد.
⚠️ یک نکته مهم
این مقاله یک معماری و پروتکل ارزیابی پیشنهاد می‌دهد، نه یک محصول آماده. یعنی ایده و روش سنجش آن معرفی شده، اما هنوز باید در مقیاس بزرگ‌تر و روی وظایف واقعی آزمایش شود تا مشخص گردد در عمل چقدر کارآمد است.
🔗 https://arxiv.org/abs/2609.18842
#AI #Research #LLM #InfiniteParameters
🆔 @asrgooyeshpardaz
👍2🔥1