🧠 چرا مدل‌های کوانتیزه‌شده «زیادی فکر می‌کنند»؟

پژوهشی از Meta AI نشان می‌دهد که فشرده‌سازی (کوانتیزاسیون) مدل‌های استدلالی، آن‌ها را «کندذهن» نمی‌کند، بلکه به «شکاک مزمن» تبدیل می‌کند.

📌 یافته اصلی

در ۵۲ درصد از خطاهای مدل‌های کوانتیزه، مدل در یک مرحله میانی استدلال به پاسخ درست رسیده بود، اما آن را نهایی نکرد و به «فکر کردن» ادامه داد تا پاسخ درست را از دست بدهد.

طول زنجیره استدلال پس از کوانتیزاسیون تا ۴.۵ برابر افزایش می‌یابد — مثلاً از ۵٬۲۰۰ توکن به ۲۳٬۴۰۰ توکن.

🔬 چطور این را فهمیدند؟

پژوهشگران با ابزاری به نام واگرایی KL (معیاری برای سنجش تفاوت بین دو توزیع احتمالی) توانستند دقیقاً مشخص کنند که مدل کوانتیزه در کدام توکن‌ها با نسخه دقیق تفاوت دارد.

نتیجه:

· توکن‌های پرتفاوت: همان کلمات تردید مثل «صبر کن»، «اما» و «از طرف دیگر»
· توکن‌های کم‌تفاوت: محاسبات ریاضی و قالب‌بندی خروجی

یعنی نویز کوانتیزاسیون دقیقاً در لحظاتی که مدل مطمئن نیست، آن را به سمت تردید و شاخه‌شاخه شدن سوق می‌دهد.

💡 راه‌حل: جریمه لوجیت بدون بازآموزی

پژوهشگران یک جریمه لوجیت روی حدود ۵۰ نشانگر تردید اعمال کردند — بدون هیچ آموزش مجدد، بدون تغییر وزن‌ها، فقط در لحظه تولید خروجی.

نتیجه:

· طول استدلال ۱۲ تا ۲۳ درصد کوتاه‌تر شد
· خطاهای ناشی از «بیش‌اندیشی» تا ۵۸ درصد کاهش یافت
· دقت پاسخ‌ها حفظ شد یا حتی بهتر شد

⚠️ نکته جالب: وقتی همان جریمه را روی توکن‌های تصادفی اعمال کردند، نتیجه برعکس شد — طول استدلال ۴۱ درصد بیشتر و دقت ۹.۵ درصد کمتر.

🎯 چرا مهم است؟

این پژوهش نشان می‌دهد کوانتیزاسیون مشکل جدیدی نمی‌سازد، بلکه تمایل به «بیش‌اندیشی» را که در مدل‌های دقیق هم وجود دارد، تشدید می‌کند. راه‌حل پیشنهادی ساده، بدون هزینه و فوری است — یک تغییر کوچک در لحظه تولید که می‌تواند هزینه استنتاج را به‌طور قابل توجهی کم کند.

🔗 arXiv:2606.00206

#AI #Meta #Quantization #Overthinking #Research

🆔 @asrgooyeshpardaz