🌟 NVIDIA KVzap: жмем KV-кэш в 4 раза.

Все любят длинный контекст, но для GPU это больно - KV-кэш растет линейно и быстро сжирает VRAM. Например, для Llama-65B на 128k токенов кэш весит 335 ГБ. Существующие методы прунинга либо медленные, либо тупые и режут важное, либо требуют переобучения модели.

NVIDIA предложили метод KVzap, который решает, какие токены можно забыть, глядя только на текущие хидден-стэйты.

🟡Логика метода разбита на 2 этапа:

Поиск идеала (KVzip+).
Берется медленный, но точный метод KVzip: модели скармливают текст, заставляют его повторить, и смотрят, на какие прошлые токены она реально обращает внимание. Это золотой стандарт важности токена. Но в проде так делать нельзя, это двойная работа.

Аппроксимация (KVzap).
Тут и происходит вся суть: крошечная модель-суррогат смотрит на входящий хидден-стэйт токена и предсказывает, насколько этот токен будет важен в будущем, то есть пытается угадать скор KVzip.

Модели 2-х видов:

KVzap-Linear: простейшая линейная проекция (одна матрица). Она берет хиден-стэйт и тупо проецирует его в скалярный скор важности. Сложность: экстремально низкая (~0.02%).

KVzap-MLP: двухслойный перцептрон. Внутри есть скрытый слой размером 1/8 от размерности модели и нелинейная активация. Сложность: низкая, но выше линейной (~1.1%).

🟡Все вместе это работает так

Токен залетает в слой трансформера, модель-суррогат быстро считает его скор важности. Если он ниже порога - токен в кэш не пишется или удаляется. Но при этом всегда оставляется скользящее окно из последних 128 токенов, чтобы не терять локальный контекст, иначе модель сыпется.

🟡Результаты тестов.

Проверяли на Qwen3-8B, Llama-3.1-8B и Qwen3-32B. Спойлер: работает везде.

Удалось выкинуть до 75% KV-кэша, а это сжатие в 4 раза. На бенчмарках RULER (длинный контекст), LongBench и AIME25 падение метрик или нулевое, или меньше 1%. Оверхед от суррогатной модели мизерный - менее 1% FLOPs.

🟡Звучит, конечно, как гем, но давайте про минусы:

🟠Нужно дообучить этот маленький MLP для каждого слоя целевой модели. Датасет нужен, но процесс быстрый.

🟠Удаление токенов создает рваный кэш. У разных голов будет разное количество сохраненных токенов.

Это плохо, потому что стандартные ядра Paged Attention любят структуру. Чтобы реально получить ускорение, а не только экономию памяти, нужно писать кастомные CUDA-ядра, которые смогут эффективно жевать блоки переменной длины.

🟠Порог отсечения фиксированный. Если промахнуться с ним, то модель начнет галлюцинировать или забудет начало.

🟡По итогу, KVzap - крутой шаг к тому, чтобы гонять длинные контексты на GPU попроще.

Метод умнее, чем Streaming LLM, и быстрее, чем полные методы разреженного внимания.

Ждем интеграции в vLLM или TRT-LLM, а пока, чтобы скрасить ожидание, NVIDIA собрала на HF интерактивный лидерборд популярных методик компрессии KV-кэша.

Код и веса моделей-суррогатов из тестов пейпера в открытом доступе, так что нет никаких ограничений, чтобы не покрутить KVzap на каком-нибудь тестовом сетапе.



@ai_machinelearning_big_data

#AI #ML #LLM #KVZAP #NVIDIA

🌟 GLM-4.7 Flash: лайт-версия флагмана GLM-4.7.

В полку моделей, тех, что можно запустить локально, не продавая почку, прибыло.

ZAI выкатили GLM-4.7 Flash - облегченную версию GLM-4.7 на 30 млрд. параметров, с контекстным окном в 128К на архитектуре MoE.

Со слов создателей, модель должна занять нишу между сегментом SLM и проприетарными мастодонтами, предлагая SOTA-уровень в кодинге.

🟡MoE
Всего 30B, но активных параметров на токен гораздо меньше, официальной инфы нет, но в сообществе пишут, что 3 млрд.

🟡Interleaved Thinking
Киллер-фича для агентов, которая досталась в наследство от старшей GLM-4.7. Обычно модели выплевывают весь свой CoT в начале, а вот эта техника дает возможность модели думать перед каждым вызовом инструмента.

🟡Файнтюн на эстетику и DevOps
Опять-таки, со слов Zai, они натаскали GLM-4.7 Flash не просто писать валидный HTML/CSS, а использовать актуальные паттерны, нормальные отступы и цветовые схемы.

Плюс, подтянули работу с CLI и девопс-задачами (понимает права доступа, навигацию по файловой системе).

🟡Цифры тестов выглядят как конфетка.

В SWE-bench Verified модель выбивает 59.2%. Для сравнения: Qwen3-30B-A3B: 22.0%, GPT-OSS-20B: 34.0%.

В математическом AIME 25 тоже обходит конкурентов - 91.6%. А вот на BrowseComp она лучше GPT-OSS-20B почти в 1.5 раза.

Вобщем, Flash-версия выглядит как идеальный кандидат для локальных кодинг-агентов. Если есть пара свободных видеокарт (или есть стойкость терпеть квантование на одной), это, возможно, лучшая рабочая лошадка на сегодня.



📌Лицензирование: MIT License.


🟡Модель
🟡Квантованные варианты под все
🟡Demo1
🟡Demo2

@ai_machinelearning_big_data

#AI #ML #LLM #GLM #ZAI

👀 Vxunderground отмечают удивительное: OSINT-исследователь под ником "Harrris0n" создал специальный мини-проект Firehound, взявшись за крайне трудоёмкую задачу, а именно выявление "ИИ-шлака" в магазине приложений Apple App Store.

🚰🚰🚰🚰 На момент написания поста было выявлено 198 iOS-приложений, которые в той или иной форме допускают ↔️ утечку пользовательских данных. Неудивительно, что лидирующие позиции занимают приложения, так или иначе связанные с ИИ — различные чат-боты и ИИ-помощники.

На первом месте по объёму утечек сейчас находится приложение «Chat & Ask AI by Codeway». Оно раскрыло информацию о 18 миллионах пользователей, включая:

🔻имя;
🔻адрес электронной почты;
🔻дату создания учётной записи;
🔻сообщения (отправленные, полученные, содержание и метаданные);
🔻голосовые чаты

Все сообщения, которые вы когда-либо отправляли через это приложение, остаются незащищенными.

Подумайте о том, в чем люди признаются искусственному интеллекту — проблемы с психическим здоровьем, трудности в отношениях, финансовые проблемы, медицинские вопросы, вещи, о которых вы никогда бы не рассказали другому человеку.

А теперь представьте, что все это связано с вашей электронной почтой и номером телефона и доступно любому.

Разработчики должны понести ответственность за такой уровень халатности.

— комментирует Harrris0n.

Фактически всё, что вы когда-либо сообщали этому ИИ-боту, оказалось доступным извне. Речь идёт более чем о 400 000 000 сообщений. В слитых переписках содержится абсолютно всё, о чем люди говорили с ботами.

Следом в так называемом «шлак-метре» идёт приложение «YPT — Study Group», которое на данный момент раскрывает данные более чем 2 миллионов пользователей, включая:

🔻ИИ-токены;
🔻идентификаторы пользователей;
🔻пользовательские ключи;
🔻переписку (отправленную, полученную, содержание).

Исследователь отметил, что сливается всё: от обсуждения образования и фитнеса до шокирующих вещей, таких как переписки CSAM (детская порнография) и странных трендов вроде «LooksMaxxing» (улучшение внешности).

😱 Юзеры в комментариях к посту про Firehound критикуют Apple и Google за то, что они допускают такой "дырявый софт" в свои магазины.

Разработчики массово клепают небезопасные приложения-обертки для ИИ («мусорный софт»), а в результате утекают самые интимные переписки и личные данные миллионов людей.

Перед нами бесконечная чёрная дыра персональных данных. Речь идёт не только об именах и адресах электронной почты, но и о частных, интимных диалогах пользователей с ИИ-агентами.

Не могу не подчеркнуть: НЕ ДОВЕРЯЙТЕ VIBE КОДЕРАМ. НЕ ДЕЛАЙТЕ ЭТОГО. ИИ-КОД НЕБЕЗОПАСЕН. НЕ ДЕЛАЙТЕ ЭТОГО. ПРЕКРАТИТЕ ЭТО.

Это и есть 🤖«помойкоапокалипсис».

— комментируют VX.

✒️ Ознакомиться с мусором можно тут: https://firehound.covertlabs.io

✋ @Russian_OSINT