⚡️ ترنسفورمرهای الاستیک: یک مدل، بی‌نهایت بودجه محاسباتی
خانواده‌های مدل‌های امروزی فقط چند اندازه ثابت دارند: کوچک، پایه، بزرگ. اگر مدل را برای ترافیک معمولی انتخاب کنید، در ساعات اوج کند می‌شود و در ساعات خلوت، منابع را هدر می‌دهد. پژوهشگران دانشگاه آمستردام و TNO روشی ابداع کرده‌اند که یک ترنسفورمر از پیش آموزش‌دیده را به مدلی الاستیک تبدیل می‌کند: یک مدل واحد که می‌تواند در زمان استنتاج، خودش را با هر بودجه محاسباتی تطبیق دهد.
🔍 چالش اصلی: رتبه‌بندی نادرست واحدهای عملکردی
روش‌های هرس ساختاریافته سنتی، یا کل بلوک‌های ترنسفورمر را حذف می‌کنند یا نیاز به آموزش مجدد پرهزینه دارند. وقتی بدون آموزش مجدد اعمال شوند، دقت به‌سرعت در سطوح هرس بالای ۲۰-۳۰٪ سقوط می‌کند. این پژوهش مشکل را در رتبه‌بندی اهمیت واحدها می‌بیند، نه در خود هرس.
🔍 راه‌حل: رتبه‌بندی مشترک و هرس نرم مشتق‌پذیر
نوآوری اصلی این روش، رتبه‌بندی مشترک هر نورون MLP و هر سر توجه روی یک مقیاس مشترک است. برخلاف روش‌های قبلی که فقط یک وزن اهمیت برای هر بلوک MLP یا سر توجه بهینه می‌کردند، این روش هر واحد عملکردی را جداگانه ارزیابی می‌کند.
مرحله اول: تخمین اولیه با تقریب فیشر
امتیازهای اولیه از تخمین فیشر قطری هسیان به دست می‌آید: افزایش زیان در اثر حذف یک پارامتر با میانگین مربع گرادیان‌ها روی یک مجموعه کالیبراسیون کوچک تقریب زده می‌شود. برای رمزگذارهای بینایی از تابع هدف DINO و برای رمزگذارهای متنی از زیان InfoNCE استفاده می‌شود.
مرحله دوم: بهینه‌سازی مشتق‌پذیر امتیازها
هرس سخت (حذف یا نگه‌داشتن) مشتق‌پذیر نیست. این روش امتیازها را به‌صورت لگاریتمی و قابل یادگیری ذخیره می‌کند و با میانه‌گیری هر نوع واحد، آن‌ها را روی یک مقیاس مشترک قرار می‌دهد. برای هر هدف تنکی، آستانه‌ای که بودجه FLOPs را برآورده می‌کند پیدا می‌شود و تصمیم سخت با یک ماسک سیگموئیدی نرم جایگزین می‌شود. سپس زیان مدل ماسک‌شده روی ۱۴ هدف تنکی (از ۵٪ تا ۷۰٪ با گام ۵٪) به‌طور همزمان میانگین‌گیری و فقط لگاریتم امتیازها با گرادیان کاهشی به‌روزرسانی می‌شود.
📊 نتایج کلیدی
این روش روی ۲۷ رمزگذار بینایی و متنی از ۲۲ میلیون تا ۸ میلیارد پارامتر آزمایش شد.
مدل DINOv3 ViT-H+/16 با هرس تا ۵۰٪ تنکی، ۴۲۷ میلیون پارامتر را حذف می‌کند و دقت ImageNet-1k فقط ۰.۸٪ کاهش می‌یابد — بدون هیچ اصلاح وزن یا آموزش مجدد.
مدل AugReg ViT-B/16 با ۶۰٪ تنکی روی A100، ۱.۸۰ برابر توان عبوری بیشتر و ۱.۲۶ برابر تأخیر کمتر برای پرسش تکی دارد.
در مقایسه با SnapViT (روش پیشرو در حوزه Elastic ViT): در ۵۰٪ تنکی، روش جدید به دقت ۵۶.۴٪ می‌رسد در حالی که SnapViT به ۱۶.۱٪ سقوط می‌کند.
🔄 مزیت کلیدی: تغییر بودجه در زمان استنتاج
یک مدل الاستیک، در زمان استنتاج می‌تواند بلافاصله با هر بودجه محاسباتی تطبیق یابد. زمان تغییر بودجه به‌طور میانگین ۰.۴۶ میلی‌ثانیه است (بدون احتساب کامپایل). این یعنی می‌توانید یک مدل را برای ساعات خلوت، پیک و بحرانی داشته باشید، بدون نیاز به بارگذاری مجدد مدل.
⚙️ کارایی ساخت
ساخت مدل الاستیک در عرض چند دقیقه انجام می‌شود و زمان ساخت با تعداد پارامترها به‌صورت زیرخطی رشد می‌کند.
🔗 وب‌سایت پروژه | کد در GitHub
📝مقاله arXiv:2610.20588
#هوش_مصنوعی #Transformer #ElasticModels #هرس #بهینه_سازی
🆔 @asrgooyeshpardaz
خانواده‌های مدل‌های امروزی فقط چند اندازه ثابت دارند: کوچک، پایه، بزرگ. اگر مدل را برای ترافیک معمولی انتخاب کنید، در ساعات اوج کند می‌شود و در ساعات خلوت، منابع را هدر می‌دهد. پژوهشگران دانشگاه آمستردام و TNO روشی ابداع کرده‌اند که یک ترنسفورمر از پیش آموزش‌دیده را به مدلی الاستیک تبدیل می‌کند: یک مدل واحد که می‌تواند در زمان استنتاج، خودش را با هر بودجه محاسباتی تطبیق دهد.
🔍 چالش اصلی: رتبه‌بندی نادرست واحدهای عملکردی
روش‌های هرس ساختاریافته سنتی، یا کل بلوک‌های ترنسفورمر را حذف می‌کنند یا نیاز به آموزش مجدد پرهزینه دارند. وقتی بدون آموزش مجدد اعمال شوند، دقت به‌سرعت در سطوح هرس بالای ۲۰-۳۰٪ سقوط می‌کند. این پژوهش مشکل را در رتبه‌بندی اهمیت واحدها می‌بیند، نه در خود هرس.
🔍 راه‌حل: رتبه‌بندی مشترک و هرس نرم مشتق‌پذیر
نوآوری اصلی این روش، رتبه‌بندی مشترک هر نورون MLP و هر سر توجه روی یک مقیاس مشترک است. برخلاف روش‌های قبلی که فقط یک وزن اهمیت برای هر بلوک MLP یا سر توجه بهینه می‌کردند، این روش هر واحد عملکردی را جداگانه ارزیابی می‌کند.
مرحله اول: تخمین اولیه با تقریب فیشر
امتیازهای اولیه از تخمین فیشر قطری هسیان به دست می‌آید: افزایش زیان در اثر حذف یک پارامتر با میانگین مربع گرادیان‌ها روی یک مجموعه کالیبراسیون کوچک تقریب زده می‌شود. برای رمزگذارهای بینایی از تابع هدف DINO و برای رمزگذارهای متنی از زیان InfoNCE استفاده می‌شود.
مرحله دوم: بهینه‌سازی مشتق‌پذیر امتیازها
هرس سخت (حذف یا نگه‌داشتن) مشتق‌پذیر نیست. این روش امتیازها را به‌صورت لگاریتمی و قابل یادگیری ذخیره می‌کند و با میانه‌گیری هر نوع واحد، آن‌ها را روی یک مقیاس مشترک قرار می‌دهد. برای هر هدف تنکی، آستانه‌ای که بودجه FLOPs را برآورده می‌کند پیدا می‌شود و تصمیم سخت با یک ماسک سیگموئیدی نرم جایگزین می‌شود. سپس زیان مدل ماسک‌شده روی ۱۴ هدف تنکی (از ۵٪ تا ۷۰٪ با گام ۵٪) به‌طور همزمان میانگین‌گیری و فقط لگاریتم امتیازها با گرادیان کاهشی به‌روزرسانی می‌شود.
📊 نتایج کلیدی
این روش روی ۲۷ رمزگذار بینایی و متنی از ۲۲ میلیون تا ۸ میلیارد پارامتر آزمایش شد.
مدل DINOv3 ViT-H+/16 با هرس تا ۵۰٪ تنکی، ۴۲۷ میلیون پارامتر را حذف می‌کند و دقت ImageNet-1k فقط ۰.۸٪ کاهش می‌یابد — بدون هیچ اصلاح وزن یا آموزش مجدد.
مدل AugReg ViT-B/16 با ۶۰٪ تنکی روی A100، ۱.۸۰ برابر توان عبوری بیشتر و ۱.۲۶ برابر تأخیر کمتر برای پرسش تکی دارد.
در مقایسه با SnapViT (روش پیشرو در حوزه Elastic ViT): در ۵۰٪ تنکی، روش جدید به دقت ۵۶.۴٪ می‌رسد در حالی که SnapViT به ۱۶.۱٪ سقوط می‌کند.
🔄 مزیت کلیدی: تغییر بودجه در زمان استنتاج
یک مدل الاستیک، در زمان استنتاج می‌تواند بلافاصله با هر بودجه محاسباتی تطبیق یابد. زمان تغییر بودجه به‌طور میانگین ۰.۴۶ میلی‌ثانیه است (بدون احتساب کامپایل). این یعنی می‌توانید یک مدل را برای ساعات خلوت، پیک و بحرانی داشته باشید، بدون نیاز به بارگذاری مجدد مدل.
⚙️ کارایی ساخت
ساخت مدل الاستیک در عرض چند دقیقه انجام می‌شود و زمان ساخت با تعداد پارامترها به‌صورت زیرخطی رشد می‌کند.
🔗 وب‌سایت پروژه | کد در GitHub
📝مقاله arXiv:2610.20588
#هوش_مصنوعی #Transformer #ElasticModels #هرس #بهینه_سازی
🆔 @asrgooyeshpardaz
❤2