🧊 کوانتیزاسیون ترنری: فشرده‌سازی مدل‌ها به ۱.۵۸ بیت
کوانتیزاسیون ترنری یک تکنیک فشرده‌سازی است که در آن وزن‌های مدل به‌جای اعداد اعشاری، فقط یکی از سه مقدار ۱-، ۰ یا ۱+ را می‌گیرند. از نظر اطلاعاتی، هر وزن فقط log₂(3) ≈ ۱.۵۸ بیت فضا اشغال می‌کند — در مقابل ۱۶ یا ۳۲ بیت در حالت عادی.
📦 یک نمونه واقعی: Parakeet-Redux
گروه M87 Labs مدل صوتی Parakeet انویدیا (۶۰۰ میلیون پارامتر) را با کوانتیزاسیون ترنری از ۱.۲ گیگابایت به ۱۷۸ مگابایت رساند. نتیجه: سرعت ۱۱۳ برابر زمان واقعی روی CPU، با افت دقت کمتر از ۰.۳ واحد WER در انگلیسی و حتی بهبود در چند زبان اروپایی.
https://huggingface.co/moondream/parakeet-redux
⚙️ چطور دقت حفظ می‌شود؟
وزن‌ها به گروه‌هایی (مثلاً ۱۲۸تایی) تقسیم می‌شوند و هر گروه یک ضریب مقیاس مشترک در FP16 دارد. این ضریب، «دامنه» مقادیر را حفظ می‌کند، در حالی که علامت هر وزن به‌صورت سه‌گانه ذخیره می‌شود.
🔧 فاین‌تیون مدل‌های ترنری
بزرگ‌ترین چالش فاین‌تیون مدل‌های کوانتیزه، ناهمخوانی نوع داده است: وزن‌های کوانتیزه ۱.۵۸ بیتی با آداپتورهای ۱۶ بیتی هم‌نوع نیستند و ادغام آن‌ها دقت را خراب می‌کند.
سه راه‌حل اصلی:
۱. روش LoTA-QAF (NeurIPS 2025): آداپتور خودش سه‌گانه است و بدون هیچ تقریبی با وزن‌های کوانتیزه ادغام می‌شود. در بنچمارک MMLU، از LoRA ۱۶ بیتی تا ۵.۱۴٪ بهتر عمل کرده است.
۲. روش BitLoRA: مخصوص مدل‌های ۱.۵۸ بیتی BitNet طراحی شده و مصرف حافظه GPU را بیش از ۸۵٪ کاهش می‌دهد. برای یادگیری فدرال روی دستگاه‌های لبه‌ای ایده‌آل است.
۳. اقتباس ضربی سه‌گانه (Low-Rank Ternary Adaptation): به‌جای جمع کردن آداپتور، یک ضریب سه‌گانه روی وزن‌ها اعمال می‌کند: علامت عوض می‌شود، صفر می‌شود، یا ثابت می‌ماند. نتیجه نهایی همچنان سه‌گانه باقی می‌ماند.
📊 روش TWLA (ICML 2026): نگاهی فراتر از وزن‌ها
روش TWLA یک چارچوب PTQ است که وزن‌ها را به ۱.۵۸ بیت و فعال‌سازی‌ها را به ۴ بیت کوانتیزه می‌کند. چالش اصلی این بود که فعال‌سازی‌ها توزیع دم‌سنگین دارند و کوانتیزه کردن آن‌ها دقت را نابود می‌کند. TWLA با یک تبدیل متعامد کرونکر، وزن‌ها را به توزیع سه‌قله‌ای سازگار تبدیل می‌کند و ناهنجاری‌های فعال‌سازی را هم‌زمان سرکوب می‌کند.
🎯 جمع‌بندی
کوانتیزاسیون ترنری امروز از یک ایده نظری به یک فناوری عملی تبدیل شده است. مدل‌های صوتی، زبانی و بینایی همگی با ۱.۵۸ بیت به دقت رقابتی می‌رسند. فاین‌تیون آن‌ها هم با روش‌هایی مثل LoTA-QAF و BitLoRA ممکن شده — بدون نیاز به خارج کردن مدل از حالت فشرده.
#AI #Quantization #Ternary #BitNet #LoTAQAF #BitLoRA
🆔 @asrgooyeshpardaz
کوانتیزاسیون ترنری یک تکنیک فشرده‌سازی است که در آن وزن‌های مدل به‌جای اعداد اعشاری، فقط یکی از سه مقدار ۱-، ۰ یا ۱+ را می‌گیرند. از نظر اطلاعاتی، هر وزن فقط log₂(3) ≈ ۱.۵۸ بیت فضا اشغال می‌کند — در مقابل ۱۶ یا ۳۲ بیت در حالت عادی.
📦 یک نمونه واقعی: Parakeet-Redux
گروه M87 Labs مدل صوتی Parakeet انویدیا (۶۰۰ میلیون پارامتر) را با کوانتیزاسیون ترنری از ۱.۲ گیگابایت به ۱۷۸ مگابایت رساند. نتیجه: سرعت ۱۱۳ برابر زمان واقعی روی CPU، با افت دقت کمتر از ۰.۳ واحد WER در انگلیسی و حتی بهبود در چند زبان اروپایی.
https://huggingface.co/moondream/parakeet-redux
⚙️ چطور دقت حفظ می‌شود؟
وزن‌ها به گروه‌هایی (مثلاً ۱۲۸تایی) تقسیم می‌شوند و هر گروه یک ضریب مقیاس مشترک در FP16 دارد. این ضریب، «دامنه» مقادیر را حفظ می‌کند، در حالی که علامت هر وزن به‌صورت سه‌گانه ذخیره می‌شود.
🔧 فاین‌تیون مدل‌های ترنری
بزرگ‌ترین چالش فاین‌تیون مدل‌های کوانتیزه، ناهمخوانی نوع داده است: وزن‌های کوانتیزه ۱.۵۸ بیتی با آداپتورهای ۱۶ بیتی هم‌نوع نیستند و ادغام آن‌ها دقت را خراب می‌کند.
سه راه‌حل اصلی:
۱. روش LoTA-QAF (NeurIPS 2025): آداپتور خودش سه‌گانه است و بدون هیچ تقریبی با وزن‌های کوانتیزه ادغام می‌شود. در بنچمارک MMLU، از LoRA ۱۶ بیتی تا ۵.۱۴٪ بهتر عمل کرده است.
۲. روش BitLoRA: مخصوص مدل‌های ۱.۵۸ بیتی BitNet طراحی شده و مصرف حافظه GPU را بیش از ۸۵٪ کاهش می‌دهد. برای یادگیری فدرال روی دستگاه‌های لبه‌ای ایده‌آل است.
۳. اقتباس ضربی سه‌گانه (Low-Rank Ternary Adaptation): به‌جای جمع کردن آداپتور، یک ضریب سه‌گانه روی وزن‌ها اعمال می‌کند: علامت عوض می‌شود، صفر می‌شود، یا ثابت می‌ماند. نتیجه نهایی همچنان سه‌گانه باقی می‌ماند.
📊 روش TWLA (ICML 2026): نگاهی فراتر از وزن‌ها
روش TWLA یک چارچوب PTQ است که وزن‌ها را به ۱.۵۸ بیت و فعال‌سازی‌ها را به ۴ بیت کوانتیزه می‌کند. چالش اصلی این بود که فعال‌سازی‌ها توزیع دم‌سنگین دارند و کوانتیزه کردن آن‌ها دقت را نابود می‌کند. TWLA با یک تبدیل متعامد کرونکر، وزن‌ها را به توزیع سه‌قله‌ای سازگار تبدیل می‌کند و ناهنجاری‌های فعال‌سازی را هم‌زمان سرکوب می‌کند.
🎯 جمع‌بندی
کوانتیزاسیون ترنری امروز از یک ایده نظری به یک فناوری عملی تبدیل شده است. مدل‌های صوتی، زبانی و بینایی همگی با ۱.۵۸ بیت به دقت رقابتی می‌رسند. فاین‌تیون آن‌ها هم با روش‌هایی مثل LoTA-QAF و BitLoRA ممکن شده — بدون نیاز به خارج کردن مدل از حالت فشرده.
#AI #Quantization #Ternary #BitNet #LoTAQAF #BitLoRA
🆔 @asrgooyeshpardaz
❤4👏3