🧊 کوانتیزاسیون ترنری: فشرده‌سازی مدل‌ها به ۱.۵۸ بیت

کوانتیزاسیون ترنری یک تکنیک فشرده‌سازی است که در آن وزن‌های مدل به‌جای اعداد اعشاری، فقط یکی از سه مقدار ۱-، ۰ یا ۱+ را می‌گیرند. از نظر اطلاعاتی، هر وزن فقط log₂(3) ≈ ۱.۵۸ بیت فضا اشغال می‌کند — در مقابل ۱۶ یا ۳۲ بیت در حالت عادی.

📦 یک نمونه واقعی: Parakeet-Redux

گروه M87 Labs مدل صوتی Parakeet انویدیا (۶۰۰ میلیون پارامتر) را با کوانتیزاسیون ترنری از ۱.۲ گیگابایت به ۱۷۸ مگابایت رساند. نتیجه: سرعت ۱۱۳ برابر زمان واقعی روی CPU، با افت دقت کمتر از ۰.۳ واحد WER در انگلیسی و حتی بهبود در چند زبان اروپایی.
https://huggingface.co/moondream/parakeet-redux

⚙️ چطور دقت حفظ می‌شود؟

وزن‌ها به گروه‌هایی (مثلاً ۱۲۸تایی) تقسیم می‌شوند و هر گروه یک ضریب مقیاس مشترک در FP16 دارد. این ضریب، «دامنه» مقادیر را حفظ می‌کند، در حالی که علامت هر وزن به‌صورت سه‌گانه ذخیره می‌شود.

🔧 فاین‌تیون مدل‌های ترنری

بزرگ‌ترین چالش فاین‌تیون مدل‌های کوانتیزه، ناهمخوانی نوع داده است: وزن‌های کوانتیزه ۱.۵۸ بیتی با آداپتورهای ۱۶ بیتی هم‌نوع نیستند و ادغام آن‌ها دقت را خراب می‌کند.

سه راه‌حل اصلی:

۱. روش LoTA-QAF (NeurIPS 2025): آداپتور خودش سه‌گانه است و بدون هیچ تقریبی با وزن‌های کوانتیزه ادغام می‌شود. در بنچمارک MMLU، از LoRA ۱۶ بیتی تا ۵.۱۴٪ بهتر عمل کرده است.

۲. روش BitLoRA: مخصوص مدل‌های ۱.۵۸ بیتی BitNet طراحی شده و مصرف حافظه GPU را بیش از ۸۵٪ کاهش می‌دهد. برای یادگیری فدرال روی دستگاه‌های لبه‌ای ایده‌آل است.

۳. اقتباس ضربی سه‌گانه (Low-Rank Ternary Adaptation): به‌جای جمع کردن آداپتور، یک ضریب سه‌گانه روی وزن‌ها اعمال می‌کند: علامت عوض می‌شود، صفر می‌شود، یا ثابت می‌ماند. نتیجه نهایی همچنان سه‌گانه باقی می‌ماند.

📊 روش TWLA (ICML 2026): نگاهی فراتر از وزن‌ها

روش TWLA یک چارچوب PTQ است که وزن‌ها را به ۱.۵۸ بیت و فعال‌سازی‌ها را به ۴ بیت کوانتیزه می‌کند. چالش اصلی این بود که فعال‌سازی‌ها توزیع دم‌سنگین دارند و کوانتیزه کردن آن‌ها دقت را نابود می‌کند. TWLA با یک تبدیل متعامد کرونکر، وزن‌ها را به توزیع سه‌قله‌ای سازگار تبدیل می‌کند و ناهنجاری‌های فعال‌سازی را هم‌زمان سرکوب می‌کند.

🎯 جمع‌بندی

کوانتیزاسیون ترنری امروز از یک ایده نظری به یک فناوری عملی تبدیل شده است. مدل‌های صوتی، زبانی و بینایی همگی با ۱.۵۸ بیت به دقت رقابتی می‌رسند. فاین‌تیون آن‌ها هم با روش‌هایی مثل LoTA-QAF و BitLoRA ممکن شده — بدون نیاز به خارج کردن مدل از حالت فشرده.

#AI #Quantization #Ternary #BitNet #LoTAQAF #BitLoRA

🆔 @asrgooyeshpardaz

🧠 چرا مدل‌های کوانتیزه‌شده «زیادی فکر می‌کنند»؟

پژوهشی از Meta AI نشان می‌دهد که فشرده‌سازی (کوانتیزاسیون) مدل‌های استدلالی، آن‌ها را «کندذهن» نمی‌کند، بلکه به «شکاک مزمن» تبدیل می‌کند.

📌 یافته اصلی

در ۵۲ درصد از خطاهای مدل‌های کوانتیزه، مدل در یک مرحله میانی استدلال به پاسخ درست رسیده بود، اما آن را نهایی نکرد و به «فکر کردن» ادامه داد تا پاسخ درست را از دست بدهد.

طول زنجیره استدلال پس از کوانتیزاسیون تا ۴.۵ برابر افزایش می‌یابد — مثلاً از ۵٬۲۰۰ توکن به ۲۳٬۴۰۰ توکن.

🔬 چطور این را فهمیدند؟

پژوهشگران با ابزاری به نام واگرایی KL (معیاری برای سنجش تفاوت بین دو توزیع احتمالی) توانستند دقیقاً مشخص کنند که مدل کوانتیزه در کدام توکن‌ها با نسخه دقیق تفاوت دارد.

نتیجه:

· توکن‌های پرتفاوت: همان کلمات تردید مثل «صبر کن»، «اما» و «از طرف دیگر»
· توکن‌های کم‌تفاوت: محاسبات ریاضی و قالب‌بندی خروجی

یعنی نویز کوانتیزاسیون دقیقاً در لحظاتی که مدل مطمئن نیست، آن را به سمت تردید و شاخه‌شاخه شدن سوق می‌دهد.

💡 راه‌حل: جریمه لوجیت بدون بازآموزی

پژوهشگران یک جریمه لوجیت روی حدود ۵۰ نشانگر تردید اعمال کردند — بدون هیچ آموزش مجدد، بدون تغییر وزن‌ها، فقط در لحظه تولید خروجی.

نتیجه:

· طول استدلال ۱۲ تا ۲۳ درصد کوتاه‌تر شد
· خطاهای ناشی از «بیش‌اندیشی» تا ۵۸ درصد کاهش یافت
· دقت پاسخ‌ها حفظ شد یا حتی بهتر شد

⚠️ نکته جالب: وقتی همان جریمه را روی توکن‌های تصادفی اعمال کردند، نتیجه برعکس شد — طول استدلال ۴۱ درصد بیشتر و دقت ۹.۵ درصد کمتر.

🎯 چرا مهم است؟

این پژوهش نشان می‌دهد کوانتیزاسیون مشکل جدیدی نمی‌سازد، بلکه تمایل به «بیش‌اندیشی» را که در مدل‌های دقیق هم وجود دارد، تشدید می‌کند. راه‌حل پیشنهادی ساده، بدون هزینه و فوری است — یک تغییر کوچک در لحظه تولید که می‌تواند هزینه استنتاج را به‌طور قابل توجهی کم کند.

🔗 arXiv:2606.00206

#AI #Meta #Quantization #Overthinking #Research

🆔 @asrgooyeshpardaz