Step-3.5-Flash-Base

Пара обновок от Степана

Step 3.5 Flash Base — базовый претрейн
Step 3.5 Flash Base-Midtrain — кодинг, агенты, длинны qrjyntrcn
SteptronOSS — опенсорс фреймворк для обучения LLM

#llm #assistant

Qwen 3.5–9B на MacBook Air

Llama.cpp пропатчили Турбоквантом и запустили Qwen 3.5–9B на MacBook Air M4, 16 GB

Турбоквант, как пишут, сжимает контекст, но не модель

Приложение для запуска LLM на маке https://atomic.chat/

Есть имплементация Турбокванта на PyTorch, и там есть сравнительные тесты квантизаций

#optimization #llm

TurboQuant-MLX

Турбоквант под Apple Silicon от подписчика @klaizar

#optimization #llm #tools

TurboQuant+

Еще одна реализация алгоритма TurboQuant для llama.cpp с некоторыми улучшениями

работает на разных платформах — Apple Silicon, CUDA, AMD с HIP

Убран проблемный QJL, добавен Apple Metal, фокус на inference скорости

#optimization #macos #llm #tools

RotorQuant

Метод сжатия KV-кэша для больших языковых моделей, сжимает KV-кэш с помощью блочно-диагональных вращений

— работает быстрее TurboQuant

— ускоряет декодирование на 28 %, префилл — в 5,3 раза

— в 44 раза меньше параметров;

— легко встраивается в llama.cpp

— экономия VRAM: до 4,16 ГБ при контексте 128K

Спасибо @ethernidee

#LLM #optimization

Marco-MoE

Семейство #MoE моделей от Alibaba

8B параметров, 0.6И активных

29 языков, русский есть

HF
GGUF

#llm #assistant #russian

ReplaceMe

Метод от российской команды для упрощения/сжатия нейронных сетей. Позволяет заменять блоки трансформера линейными операциями без дополнительного обучения модели.

Берут последовательность трансформер-блоков, которые по идее выполняют сложные нелинейные преобразования, и заменяют их одной линейной операцией, подобранной так, чтобы она максимально точно воспроизводила их поведение

При применении к большим языковым моделям экономит до 25 % блоков, сохраняя около 90 % производительности

Гитхаб
HF

#optimization #llm

privacy-filter

OpenAI выпустили быструю локальную модель для поиска и маскировки личной информации в текстах - помогает очищать данные от персональных сведений

— контекст 128 000 токенов
— настройка баланса между точностью и полнотой поиска, длины маскируемых фрагментов
— определяет 8 категорий конфиденциальной информации: номера счетов, адреса, emails, имена, телефоны, URL, даты и секреты
— маркирует текст за один проход, а не токен за токеном, как некоторые другие модели

Базовая модель gpt-oss, но в уменьшенном размере

Спасибо @Endorpheen

#privacy #security #llm

DeepSeek-V4-Pro вышла на Hugging Face 🧠

DeepSeek опубликовала веса DeepSeek-V4-Pro. Это MoE-модель на 1,6 трлн параметров, из которых активируются 49 млрд за запрос.

Модель поддерживает контекст до 1 млн токенов и использует смешанную точность FP4 + FP8. Главный упор сделали на длинный контекст, код, рассуждения и агентные задачи.

В карточке указана лицензия MIT. Для локального запуска нужны отдельные инструкции DeepSeek, а через Hugging Face Inference Providers модель пока не развернута.

#DeepSeek #DeepSeekV4 #AI #LLM #OpenSource #HuggingFace #нейросети

Hy-MT1.5-1.8B-1.25bit

Компактный переводчик от Tencent для мобильных устройств, работает без интернета

• 33 языка (включая русский, английский, китайский)
• учитывает контекст диалога для связного перевода
• сохраняет форматирование текста
• задаёт конкретное значение для терминов

1.8B параметров, GGUF: 2 и 1.25 бит, 440 МБ, скорость: 50 токенов за 0,18 секунды

MS

#translation #assistant #llm

OlmPool

Модель от Allen AI для расширения контекстного окна enlarge your context

7 млрд параметров

• «читает» очень длинные тексты - куда длиннее, чем обычные модели
• запоминает связи между фрагментами в этих текстах — даже если они далеко друг от друга
• учится понимать общий смысл протяжённого контекста: например, кто о чём говорил в длинной переписке или как связаны абзацы в большой статье
• делает это за счёт особых архитектурных решений — разработчики специально настраивали структуру модели, чтобы она «держала в голове» больше информации одновременно.

В итоге модель лучше справляется с задачами по анализу объёмных документов, длинных диалогов и т. д

#llm #memory

Подборка лучших LLM для разного объёма VRAM

8–12 ГБ
* компактная и быстрая модель
huggingface.co/LiquidAI/LFM2.5-8B-A1B

16–32 ГБ
* Gemma 12B (Google) - производительность на уровне моделей вдвое большего размера, выпущенных месяц назад.
huggingface.co/google/gemma-4-12B

32–96 ГБ
* Nex‑N2‑Mini - дообученная GPT‑подобная модель на базе Qwen‑35B, лидер в своём классе, отличается «пещерным» стилем рассуждений
huggingface.co/nex-agi/Nex-N2-mini

* Qwopus 3.6‑27B (Jackrong) - № 1 среди моделей Q4 на базе Qwen 3.6‑27B по результатам набора тестов: 5 бенчмарков для агентов и кодирования (всего 1 200 образцов)
huggingface.co/Jackrong/Qwopus3.6-27B-v2-MTP-GGUF

192 ГБ
* Step‑3.7‑Flash - высокая производительность, быстрое инференс‑время, поддержка работы с изображениями, более поздние даты cutoff
huggingface.co/stepfun-ai/Step-3.7-Flash

384 ГБ
* Nex‑N2‑Pro - дообученная GPT‑подобная модель на базе Qwen‑3.5‑397B, очень мощная, № 1 в DeepSwe (если заявленные результаты верны)
huggingface.co/nex-agi/Nex-N2-Pro

768 ГБ
* Macaron V1 Preview‑749B - перспективная дообученная модель на базе GLM‑5.1, побеждает в 8 бенчмарках.
huggingface.co/mindlab-research/Macaron-V1-Preview-749B

#llm #assistant

d‑OPSD

Самодистилляция с опорой на собственное будущее для dLLM

Решает проблему несовместимости классических OPSD‑методов с архитектурой dLLM (диффузных LLM)

• реализует суффиксное условие - обучение на собственных сгенерированных ответах
• переключает контроль с токенов на шаги обучения
• синхронизирует обучение с итеративным шумоподавлением dLLM

• на бенчмарках для рассуждений обходит RLVR и SFT
• сокращает число шагов оптимизации до 10 % от RLVR
• экономит вычислительные ресурсы

Гитхаб

#optimization #llm #dllm

Colibri

Экзотика. Еще один способ запускать огромную LLM на домашнем железе.

В данном случае GLM-5.2 (744B параметров) на 25 ГБ RAM. Работает на чистом C без внешних зависимостей, эксперты загружаются с диска по мере необходимости.

Модель занимает 370 ГБ на диске, но в памяти держит только 9.9 ГБ (плотная часть в int4). Производительность зависит от скорости диска, на среднем железе около 0.1 токена в секунду. Есть веб-интерфейс и десктопный клиент.

Гитхаб
HF

#tools #llm #int8 #optimization

Disaggregated Quantization

LLM в два раза быстрее и дешевле

Префилл и генерацию теперь обрабатывают разными квантизациями одной модели. Префилл — быстрым NVFP4, генерацию — сверхлёгкими 1–3-битными весами. Чекпоинт префилла грузится на SSD, подгрузка прячется за длинным контекстом — памяти нужно как у модели только для генерации

Что это дает
• Длинные промпты летают — NVFP4 ускоряет загрузку контекста
• Генерация дешевле — 1–3 бита вместо 4–8, меньше трафика из памяти
• Память как у маленькой модели — чекпоинт префилла на SSD, не жрет VRAM
• Точность не падает — активацию на decode не квантизируют

Уже работает на Qwen3 и Gemma 3

Qwen3.8 NVFP4 prefiller на HuggingFace

#optimization #llm

MAX