🚀 Unsloth Dynamic v2.0: Революция в квантизации языковых моделей

Команда Unsloth представила важное обновление своего метода квантизации - Dynamic v2.0, который устанавливает новые стандарты производительности для сжатых LLM-моделей.

💡 Техническая суть обновления
• Интеллектуальная послойная квантизация: Вместо избирательной модификации определенных слоев, Dynamic 2.0 динамически адаптирует тип квантизации для каждого возможного слоя, причем комбинации различаются в зависимости от слоя и архитектуры модели

• Улучшенный калибровочный датасет: От 300K до 1.5M токенов высококачественных, вручную отобранных данных для оптимизации разговорной производительности

• Расширенная совместимость: Теперь работает со всеми архитектурами, включая MoE (раньше оптимально работал только с DeepSeek-R1)

• Модельно-специфичная оптимизация: Каждая модель получает индивидуально настроенную схему квантизации - слои, квантизированные в Gemma 3, значительно отличаются от таковых в Llama 4

📊 Оценка качества через KL-дивергенцию
Unsloth использует KL-дивергенцию как золотой стандарт для измерения ошибок квантизации вместо перплексии. Как показывает исследование "Accuracy is Not All You Need", перплексия может давать искаженные результаты из-за компенсирующих эффектов вероятностей токенов, в то время как KL-дивергенция напрямую коррелирует с "флипами" - изменениями ответов с неверных на верные и наоборот.

🧪 Результаты
На примере Gemma 3 27B:
• Dynamic 2.0 с квантизацией Q2_K_XL достигает 68.70% по MMLU 5-shot (против 67.77% в стандартной квантизации)
• 4-битная версия на 2GB меньше, но даёт на 1% лучшую точность, чем QAT-версия от Google

Метрика эффективности, рассчитанная как (MMLU 5-shot - 25)/размер в GB, показывает, что 2-битные квантизации (IQ2_XXS, IQ2_M, Q2_K_XL) обеспечивают оптимальный баланс между производительностью и размером.

🛠 Доступные модели с Dynamic v2.0
• DeepSeek: R1, V3-0324
• Llama: 4 (Scout), 3.1 (8B)
• Gemma 3: 4B, 12B, 27B
• Mistral: Small-3.1-2503

Все квантизированные модели доступны на Hugging Face и готовы к запуску в любом движке вывода: llama.cpp, Ollama или Open WebUI.

Unsloth также помог исправить несколько критических багов в Llama 4, что привело к повышению точности MMLU Pro с 68.58% до 71.53%.

#квантизация #Unsloth #Gemma3 #Llama4 #оптимизация
———
@tsingular

Невероятно полезный пример по генерации синтетики от Unsloth и Meta*.

Что делает система:
• Извлечение документов - парсит PDF, HTML, CSV
• Чанкинг и разбивка - делит длинные документы на управляемые части с учетом объема
• Генерация QA-пар - создает вопросы и ответы
• Автоматическая очистка данных - отфильтровывает низкокачественные примеры
• LoRA-обучение - дообучает модель с минимальными ресурсами (4-bit квантизация в примере)

Технический стек:
• synthetic-data-kit для автоматической генерации пар вопросов и ответов (от Meta* как раз)
• Unsloth для файнтюнинга
• VLLM в качестве бэкенда
• FastLanguageModel с оптимизированным LoRA (16 rank, использует только 23% GPU памяти на T4)

Практические кейсы:
• Обучение модели пониманию узкоспециализированных документов (например, новых исследований)
• Создание чатботов экспертов в конкретной предметной области
• Быстрый переход от сырых данных к готовой модели без ручной разметки QA-пар

Результаты из примера (там прям готовых блокнот для запуска. можно себе скопировать и под себя подстроить):
• Обучено на 3х чанках из статьи "Byte Latent Transformer"
• 35 QA-пар сгенерировано автоматически
• 1.83 минуты обучения на Tesla T4
• Модель корректно отвечает на вопросы о темпоральном патчинге байтов

Поддерживает все популярные модели (Llama 3.2, Gemma 3, Qwen 3) и экспорт в GGUF для деплоя.

(*Meta - запрещённая в РФ террористическая организация)

#Unsloth #finetuning #GoogleColab
———
@tsingular

🔊Unsloth опубликовал готовый код для файнтюна TTS моделей

Unsloth выпустил набор блокнотов для файнтюнинга моделей Text-to-Speech (TTS), предлагая разработчикам мощный инструментарий кастомизации.

Технические возможности:
- Оптимизированная производительность: в 1.5 раза быстрее и на 50% меньше потребление памяти благодаря Flash Attention 2
-Поддержка популярных моделей: Sesame CSM (1B), Orpheus (3B), CrisperWhisper, Spark и другие модели из экосистемы transformers
- Двусторонний подход: поддержка как TTS (текст-в-речь), так и STT (речь-в-текст) моделей, включая OpenAI Whisper

Блокноты для файнтюна:
- Sesame-CSM (1B)
- Orpheus-TTS (3B)
- Whisper Large V3 (STT)
- Spark-TTS (0.5B)
- Llasa-TTS (3B)
- Oute-TTS (1B)

Практическое применение:
- Клонирование голосов: создание кастомных голосовых моделей
- Настройка стиля и тона: адаптация эмоциональной окраски (поддержка тегов типа <laugh>, <sigh>)
- Поддержка новых языков: расширение языковых возможностей базовых моделей
- Экспорт в различные форматы: поддержка llama.cpp для совместимости

Рабочий процесс:
1. Загрузка модели через FastModel с опциями для 16-бит LoRA или полного файнтюнинга
2. Подготовка датасета- поддерживаются как готовые наборы с Hugging Face, так и собственные датасеты
3. Настройка параметров обучения с оптимизированными настройками для голосовых моделей
4. Запуск файнтюнинга с мониторингом прогресса
5. Сохранение и экспорт результатов в различные форматы

Unsloth существенно упрощает файнтюн, делая технологии персонализации голоса более доступными для разработчиков.

Самое вкусное во всей этой истории, - готовые коллаб-блокноты.
Можно пользовать из облака или скопировать себе и запускать локально.

#Unsloth #TextToSpeech #TTS #finetuning
———
@tsingular

GLM-4.7-Flash от Z.ai: малая китайская MoE-модель бьёт конкурентов на агентных бенчмарках

Z.ai выпустили облегчённый оупенсорс вариант своего флагмана, - GLM-4.7-Flash
Архитектура: MoE на базе DeepSeek2. При 30B общих параметров активны только 3B — отсюда и "Flash" в названии.

В бенчмарках особенно заметен отрыв на агентных задачах: SWE-bench (реальные GitHub-баги) — почти 3x лучше, чем Qwen3-30B-A3B-thinking-2507, τ²-Bench (сложные многошаговые задачи) — 1.6x лучше всех.

Особенности мышления
Interleaved Thinking — модель думает перед каждым действием и вызовом инструментов, а не только в начале.

Preserved Thinking — сохраняет цепочку рассуждений между ходами в многошаговых задачах. Не переоткрывает заново то, что уже вывела.

Turn-level Thinking — можно включать/выключать режим рассуждений на лету: простые запросы будут выполняться быстро, сложные, - с детальными размышлениями.

Локальный запуск: GGUF от Unsloth
Полный размер модели — 60 ГБ, но Unsloth уже нарезал GGUF-квантизации:

Минимальный порог входа — 10.6 ГБ для 2-битной версии. Реалистично для домашнего использования: Q4_K_M на ~18 ГБ.

Практическое применение
- Поддерживает Claude Code, Cline, Roo Code, Kilo Code, opencode — можно подключить вместо дефолтной модели
- через облако, -подписка GLM Coding Plan — от $3/мес, "1/7 цены Claude с 3x квотой"
- На Cerebras, кстати, GLM 4.6 полная выдаёт ~1000 токенов/сек, а Flash, похоже и 2000 выдаст.
Агенты будут просто летать.

В общем, отличная агентская модель, да еще и open-source уровня топовых закрытых.

MIT-лицензия.

Ссылки:
- [HuggingFace (оригинал)]
- [GGUF от Unsloth]
- [Техблог]

#GLM #ZAI #Coding #OSS #Unsloth #Китай
———
@tsingular

Я поражаюсь скорости с которой Unsloth их уже нарезал.

https://huggingface.co/unsloth/GLM-5-GGUF

4 бита - 457 гигов,- это 1 M3 Ultra.

Правда будет скорость около 20 токенов в секунду, так что все равно лучше 2 брать.

#GLM #Unsloth
------
@tsingular

ну и конечно Unsloth уже нарезал qwen 3.5 на разные размеры

https://huggingface.co/unsloth/Qwen3.5-397B-A17B-GGUF

минимально вам понадобиться 148 гигов для Q2 версии.

Хотя, я бы меньше 214 даже не пробовал.
M3 Ultra всё ещё лучшая железка для локального запуска на мой взгляд для обывателя.

#Qwen #Unsloth #GGUF
———
@tsingular

Unsloth Studio: файнтюнинг в один клик

Команда Unsloth представила опенсорсный Web UI для обучения LLM. Порог входа в создание кастомных моделей опустился до уровня «загрузить PDF в браузере».

🚀 Эффективность: Поддержка 500+ моделей. Есть готовые блокноты с кодом. Тренировка идет в 2 раза быстрее при экономии VRAM до 70%. То, что раньше требовало кластера H100, теперь доступно на домашнем железе.

📂 Подготовка данных: Система сама создает датасеты из PDF, CSV и документов. Агент берет на себя нудную чистку и разметку данных.

⚙️ Локальный запуск: Studio работает на Mac, Windows и Linux. Результат экспортируется в GGUF для моментального использования в локальных пайплайнах.

🔮 Будущее: Переход к персональным дообученным моделям под каждую задачу становится массовым. Своя нейронка — это просто приложение на десктопе без необходимости сбора толпы DS специалистов.

Подключаем Unsloth Studio на локальном хосте к Крабу и ML Flow и получаем идеальный эволюционирующий механизм Интеллектуальной фабрики.

#Unsloth #FineTuning
———
@tsingular

Unsloth упаковали 1.6 Тб glm-5.1 в 220 гигов на 2 бита
И теперь каждый :) у кого есть m3 ultra 256Gb например или 2х DGX Spark 128Gb, может запустить сверхразум дома!

Инструкция:
https://unsloth.ai/docs/models/glm-5.1

#unsloth #glm
------
@tsingular

Unsloth разогнали Qwen3.6 через MTP ускорив генерацию в 2 раза

Стандартная языковая модель предсказывает токены поочереди.
Unsloth прикрутили Multi Token Prediction механизм, предсказывающий несколько токенов вперёд, пока основная модель их проверяет.
В примере на сайте Unsloth Qwen3.6 угадывает сразу четыре.
Результат: Qwen3.6 35B-A3B летает на скорости 240 токенов в секунду на RTX 6000.

⚙️ Как работает MTP:
В отличие от обычного инференса MTP (Multi-Token Prediction) ставит поверх общего трансформера 4 независимые головы, каждая из которых заглядывает на 1-4 токена вперёд. Ключевое открытие Meta* FAIR: MTP усиливает «точки выбора», семантически важные развилки текста, а не механическое продолжение.
Это улучшает качество, особенно на коде: 13B-модель решает на 12% больше задач HumanEval и на 17% больше MBPP.

🚀 Что сделал Unsloth:
Unsloth прикрутил MTP-головы Qwen3.6 к GGUF-квантам и выпустил готовые сборки: Qwen3.6-27B-MTP выдаёт 160 tok/s, Qwen3.6-35B-A3B-MTP - 240 tok/s на RTX 6000.
Ускорение 1.4-2.2× без потери точности.
llama.cpp добавил поддержку MTP 16 мая, а Unsloth выпустил GGUF на следующий день.
Модели работают как в Unsloth Studio так и в llama.cpp, vLLM и SGLang.
В олламе MTP пока не замечен.

💼 Зачем бизнесу:
MTP - двойной выигрыш: качество и скорость в одной архитектуре. Для тех, кто гоняет LLM локально, Qwen3.6-MTP на 35B-A3B с 18GB RAM стала первым вариантом, где 240 tok/s достижимы без облака.
Такими темпами самоспекулятивное декодирование через MTP станет стандартом для всех открытых моделей, а не фишкой отдельных сборок.

Надо затестить на других карточках.
Интересно сколько выдаст.
Иметь локального агента с Qwen3.6 даже на 150 токенов в секунду, - это шикарно.
Правда MTP сжирает дополнительно 1 гиг VRAM, но это небольшая плата за скорость.

*Meta, - запрещённая в РФ организация, признанная террористической

#MTP #Qwen36 #Unsloth #LLM #Inference
------
@tsingular

Unsloth отбирает хлеб у Ollama и LM Studio

Рынок локальных LLM-раннеров долго делили двое: Ollama — для простоты, LM Studio — для UI. Unsloth (те самые ребята, что научили всех fine-tune'ить с 70% экономией VRAM) только что прокачали свою Студию и теперь играют на одном поле.

- Что случилось: Unsloth Studio теперь умеет не только тренировать модели, но и запускать их локально — с веб-интерфейсом, автоподбором параметров и self-healing tool-calling.
А теперь еще и прокси к OpenAI, Anthropic и OpenRouter добавили. Итог: один UI, в котором живёт и твоя домашняя Qwen, и GPT-5.5 с Claude 4.7.

- Чем бьют конкурентов:
  - Prompt caching из коробки — экономия токенов без потери точности (ни Ollama, ни LM Studio такого не умеют для API-моделей)
  - Code execution, web search, генерация и редактура картинок — прямо в чате
  - Один интерфейс для GGUF/safetensors и облачных API — не надо прыгать между тулзами
  - Self-healing tool calling — модель сама чинит битые вызовы инструментов

- Установка — одна команда:
 

  curl -fsSL https://unsloth.ai/install.sh | sh
  

💡 Ollama и LM Studio долго развивались в тепличных условиях. Unsloth заходит с продуктом, который закрывает сразу оба сценария: «погонять локально» и «подрубить SOTA из облака». Да еще и с комбайном файнтюнинга.

Исходники:
- GitHub: github.com/unslothai/unsloth
- Гайд по коннекторам: unsloth.ai/docs/integrations/connections
- Анонс: @UnslothAI на X

#Unsloth
------
@tsingular

Unsloth прокачал DeepSeek-V4-Flash для локального запуска и теперь модель на 284B параметров можно запустить на 128 ГБ оперативки

DeepSeek-V4 вышел в апреле и с тех пор успел наделать шума: Pro-версия на 1,6 триллиона параметров (49 млрд активных) обходит GPT-5.4 и Claude Opus 4.6 по кодингу на SWE Verified, а Flash-версия с 284 млрд параметров и всего 13 млрд активных при 1-миллионном контексте дышит им в спину практически за бесплатно.
Но локально запустить это чудо было накладно, а местами даже невозможно: llama.cpp выдавал абракадабру со второго хода диалога и Unsloth только что это исправили.

📋 Что сделали в Unsloth:
• Нашли баг в llama.cpp: префиксное кэширование ломало multi-turn диалоги. Исправили в PR #25402 — теперь инструментальные вызовы работают корректно (15/15 тестов)
• Переписали шаблон чата: добавили reasoning_effort (max, high, off), вернули reasoning_content для тул-коллов, протестировали на 4 000+ диалогах
• Сделали bit-exact квантизацию: DeepSeek-V4 обучен с MXFP4 — веса экспертов (96% модели) хранятся в этом формате из коробки. Unsloth распаковала их бит-в-бит, а не переквантовала заново как другие провайдеры GGUF
• UD-Q8_K_XL — полностью lossless квантизация (162 ГБ, KL-дивергенция ~0, 100% совпадение токенов)
• UD-IQ3_XXS — 103 ГБ, влезет на 128 ГБ VRAM, бенчмарки: 86.2% MMLU-Pro, 88.1% GPQA Diamond, 56.9% Terminal Bench 2.0

💡 Прикол ситуации в том что DeepSeek сделал quantization-aware training чтобы модель работала в MXFP4 из коробки, но другие конвертеры GGUF просто переквантовывали экспертов заново — теряя 5% точности на Q4_K и более 30% на IQ2.

Unsloth единственные кто использовал нативный формат а не перегонял веса через дополнительное округление.

Разница в качестве видна сразу: на графике Pareto efficiency их кванты лежат на фронте «размер/качество», все остальные — ниже.

💼 Что это значит практически:
• Frontier-модель уровня GPT-5.4 теперь запускается на машине с 128 ГБ RAM — без API, без цензуры, без риска что провайдер отключит доступ потому что вы из России
• Unsloth Studio (бесплатный опенсорс) даёт веб-интерфейс с самовосстанавливающимися тул-коллами и выполнением кода. По сути — локальный Claude Code с frontier-моделью
• DeepSeek-V4-Flash при 13 млрд активных параметров — это самый эффективный по памяти frontier-уровень.

Модель которая месяц назад требовала стойку в датацентре теперь запускается на десктопе за $3 000 типа DGX Spark ну или Macbook Pro M5 128Gb .
И это не «урезанная» версия — это бит-в-бит lossless.

а вы еще спрашиваете почему я про Гигу 3.5 не пишу, - он при 400B параметрах как раз с DeepSeek v4 flash по мощности.
и вот дилемма, - 128гигов или 400? макбук за 600К или стойка H100 за 60млн ? сложный выбор, конечно.

#DeepSeek #Unsloth #LLM #локальныйAI #OpenSource
------
@tsingular

А вот это реально огнище.

Deepseek v4 flash (который по метрикам рвет Opus), теперь можно запустить на 128Gb железе!

Достаём спарки, макбуки и идем изучать что там Unsloth наварил:

https://unsloth.ai/docs/models/deepseek-v4

#Unsloth
------
@tsingular

Dynamic 3.0 от Unsloth: кванты GGUF, которые выжимают +10% точности при том же размере

Unsloth выкатил третью версию своей динамической квантизации.
Для модели Qwen3.8-27B новые кванты дают на 10% выше точность по лучшему предсказанию при том же размере, чем у любого другого провайдера.

🔍 Ключ в послойном подходе. Обычная квантизация применяет один битрейт ко всей модели.
Динамическая решает для каждого слоя отдельно: чувствительные слои держит в высоких битах, остальные сжимает сильнее.
В третьей версии обновили калибровочный датасет под агентный кодинг, чат и мультиязык, переработали отбор слоёв.

Это чистая пост-тренировочная квантизация, без QAT и QAD, а калибровочный файл выложен открыто.

💡 Вместо голой метрики «лучшее предсказание» Unsloth ввёл Divergence-300: 300 свежих задач из бенчмарков кодинга и математики, генерация 32 токенов, сравнение с полной точностью.
Плюс KL-дивергенция по всем провайдерам. На маленьких квантах выигрыш доходит до +10% точности при том же объёме на диске.

🔮 Динамическая квантизация стала стандартом для MoE-моделей, а GGUF остаётся главным форматом локального инференса: Ollama, LM Studio, llama.cpp. Раз калибровочный файл открыт, комьюнити сможет повторять и улучшать метод.

1битный Qwen3.8:27b теперь весит 6,2 ГБ и держит 72% точности, будучи на 89% меньше полной модели и его можно запустить на 8Gb VRAM

Unsloth заботится о каждом :)

#Unsloth #GGUF #Qwen
———
@tsingular

Qwen38-Flash-Next уже нарезали на размеры поменьше для всех у кого есть 128Gb VRAM

https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF

#Qwen #Unsloth
------
@tsingular

И Unsloth такие - ХОБА! :)

Dynamic 2-bit UD-Q2_K_XL is 109GB, is 83% smaller and retains 78% of accuracy.

Dynamic 3-bit UD-IQ3_XXS is 120GB, is 81% smaller and retains 82% of accuracy.

Dynamic 4-bit UD-Q4_K_XL is 200GB, is 69% smaller and retains 93% of accuracy.

Вот всё для людей.
не расслабляемся, тестируем :)

https://unsloth.ai/docs/models/glm-5.3-flash
https://huggingface.co/unsloth/GLM-5.3-Flash-GGUF

Но вообще это конечно странная игра.
Если взять к примеру TerminalBench у 5.3-flash в базе - 84,3 - 78% от неё (Q2) - это 65.5

В то же время Qwen3.8:27b в базе без сжатия взлетает на том же железе с базовым скором - 73
не понятно зачем тогда все эти пляски с бубном

#Unsloth #GLM
———
@tsingular

Unsloth нарезали GLM 5.3 на динамических квантах

От 217 гигов минимум 😭😭😭

#Unsloth #GLM
------
@tsingular

Unsloth: натренируй свой Jev на 8 ГБ VRAM

Unsloth открыли возможность тренировать собственные decision-модели, как Jev от TypeSafe или Laya.
Берёшь обычную Qwen3.5, ставишь Train as Decision model, и LLM перестаёт генерировать текст: она читает вход, скорит варианты и возвращает выбор с откалиброванной вероятностью.

Опубликовали бесплатный ноутбук полного цикла: подготовка данных, тренировка, калибровка, запуск.

⚙️ Как устроено: вход и все вопросы с опциями укладываются в один промпт, LLM читает его однократно, а маленькая голова (дизайн как у Clef от Cloudflare) скорит каждую опцию.
Модель не пишет текст, поэтому не тратит память на предсказание слов.
Данные: состояние, вопросы и эталонные ответы; из коробки датасет typed-decisions из 12 источников.

🔗 Экосистема и цифры:
Qwen3.5-0.8B на 4 ГБ VRAM: точность решений взлетела с 36% до 73%, банковская маршрутизация с 7% до 74%.
Qwen3.5-2B на 8 ГБ: 78% и holdout 81%, быстрый прогон 4B достигает 76% за 10 минут на одной L4, прогнозы читают до 16K токенов.
Дообученная модель подхватывается Decision API: запросы к laya, default и jev-latest уходят в неё вместо внешнего сервиса.
Свой GitHub, датасет LocalLLaMA/typed-decisions, настройки: 4-bit LoRA rank 16, lr 2e-4, две эпохи.

💼 Зачем бизнесу: утром MLflow 3.17 встроил Jev-судей для быстрых проверок «да/нет», теперь Unsloth даёт натренировать такого судью на своих данных и держать локально.
Роутинг тикетов, модерация, классификация: задачи, где раньше стояла полноценная LLM, решаются вероятностной моделью в 4-8 ГБ.
Для decision-lab это готовый пайплайн сравнения своей модели с Laya на одном железе.

Как быстро обесценился Jev. Инвесторы, наверное, "в восторге"

#Unsloth #Jev #Qwen
———
@tsingular

NVIDIA выпустила две новые мультимодальные модели: Nemotron-3.5-Bolt и Nemotron-3.5-Super-VL и Unsloth уже нарезал их в доступные кванты.

Nemotron-3.5-Bolt-74B-A9B работает на устройстве с 24 ГБ VRAM и показывает одни из лучших результатов среди моделей своего размера.

Super-VL-120B-A12B работает на устройстве с 82 ГБ VRAM.

Версия Nemotron 3.5 Bolt в формате GGUF от Unsloth AI:
https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF

Руководство:
https://unsloth.ai/docs/models/nemotron-3.5-bolt

Nemotron 3.5 Super в формате GGUF:
https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF

HF-Bolt

Модели интересные, но не факт, что лучше qwen3.8:27b единственный плюс, что они быстрее из-за того, что MoE, который уже заждались от qwen3.8, кстати.

#Nvidia #Unsloth
------
@tsingular

Unsloth выпустила GGUF-сборки MiniMax-M3.1-Flash, где 2-битная версия сохраняет 91,5% точности полной модели

Unsloth выложила кванты MiniMax-M3.1-Flash: 428 млрд параметров, 23 млрд активных на токен, контекст до 1 млн токенов.
Сборка UD-Q2_K_XL весит всего 144 ГБ, это на 45% меньше 8-битной (259,1 ГБ), и работает на одной машине со 150–160 ГБ памяти при контексте 16K.

🔧 Unsloth Dynamic v3 не задаёт единую битовую глубину сети: точность распределяется по слоям, чувствительные части получают больше битов. UD-Q3_K_XL (194 ГБ) обходит обычный IQ4_XS (около 230 ГБ) по аккуратности полной модели во всех семи категориях и при этом весит меньше.

📊 Средняя доля совпавших токенов по семи категориям: 1 бит при 129,4 ГБ даёт 89,9%, 2 бита 91,5%, 4 бита 98,0% при 249,4 ГБ.
Категории: код, математика, чат, вызовы инструментов, мультиязычность, рассуждения, агентные задачи.
Внутри 2 бит разброс заметный: 88,5% в чате, 95,7% в математике и 91,2% на коде против 97,6% у 4 бит.

⚡️ К сборке приложена черновая голова DSpark на 2,1 ГБ в Q8_0: она предлагает токены, которые основная модель проверяет. В тестах Unsloth это дало около 1,5× на коде и математике.
Для картинок отдельный проектор на 1,74 ГБ

Нужна сборка llama.cpp с поддержкой MiniMax-M3.1.

📎 Руководство Unsloth по запуску · Сборка llama.cpp с MiniMax-M3.1

Unsloth, как Робин-Гуд, продолжает отбирать модели у богатых и раздавать бедным :)

#Unsloth #MiniMax
———
@tsingular

Unsloth выпустила кванты DeepSeek-V4.1-Flash, которые запускаются на 64 ГБ памяти

30 октября Unsloth выложила GGUF-кванты DeepSeek-V4.1-Flash-1017, обновления Flash, вышедшего 17 октября. Самая компактная сборка занимает 233 ГБ на диске и работает на машине с 64 ГБ памяти (на 128 ГБ быстрее).

Причина в Engram, отдельной таблице условной памяти. Она хранит n-граммы до четырёх токенов и на каждый токен читает несколько строк, поэтому файл держат на SSD, а строки подгружаются в кэш по мере надобности.

У кванта UD-IQ1_S таблица занимает 110,6 ГБ из 233, остальные веса 122,4 ГБ. Штатный порог Unsloth для 1-битного варианта составляет 128–145 ГБ, для 3-битного 256–290 ГБ, для 8-битного 315 ГБ.

Динамическое квантование 3.1 позволило сохранить высокое качество: совпадение с оригиналом 88,2% у 1-битного IQ1_M, 98,5% у 4-битного, 98,7% у 8-битного. Ускорение до 3× относится к другим сборкам для CPU, VRAM и n-грамм, а драфтер DSpark на 8 ГБ добавляет 1,3–1,5× к декодированию.

Контекст 1 048 576 токенов.

📎 Кванты: https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF

#DeepSeek #Unsloth
———
@tsingular