🚀 Qwen3.8 скоро выйдет в open-weight

Новая модель Alibaba получит 2,4 трлн параметров. Разработчики называют её одной из самых мощных моделей на рынке и ставят рядом с ведущими frontier-моделями.

Предварительную версию Qwen3.8-Max-Preview уже можно протестировать через Alibaba Token Plan, Qoder и QoderWork.

Полный релиз и открытые веса обещают в ближайшее время.

Token Plan:

- Международная версия: https://www.qwencloud.com/pricing/token-plan
- Китай: https://platform.qianwenai.com/pricing/token-plan

#AI #LLM #Qwen #OpenWeight

Kimi K3: хайп реальный, но есть нюанс

Moonshot AI выпустила Kimi K3: MoE-модель на 2.8 трлн параметров с контекстом до 1 млн токенов и native vision. Для домашнего запуска она слишком огромная: полноценный self-hosting требует дата-центра.

K3 сразу заняла 1-е место в Frontend Code Arena с 1 679 баллами, победив в 6 из 7 категорий. Но Arena - это субъективное A/B-голосование за самый привлекательный интерфейс, а не проверка архитектуры и надёжности кода.

---

🧪 Что показал реальный тест

Три модели получили одинаковый prompt: создать sci-fi dashboard с интерактивным 3D-глобусом.

По качеству результата:

1. Claude Fable 5
2. Kimi K3
3. GPT-5.6

По ресурсам:

- Kimi K3: 21.5 млн токенов, 93 минуты, $8.66.
- Claude Fable 5: 3.5 млн, 17 минут, $11.64.
- GPT-5.6: 5.6 млн, 25 минут, $5.66.

Kimi потратила в 6.1 раза больше токенов и работала в 5.5 раза дольше Claude, сэкономив только 26%.

---

🎯 Вердикт

Kimi K3 уже конкурирует с frontier-моделями во frontend и визуальных прототипах. Но «уровень Claude за копейки» пока не получается: низкая цена токена съедается многословностью и скоростью.

Затестать стоит. Переводить production workflow только по красивому leaderboard - ну такое.

🔗 Kimi: https://www.kimi.com/en
🔗 Видео: https://www.youtube.com/watch?v=MeYdaNnXuHI

#KimiK3 #AI #LLM #Бенчмарки

---

@rasskazov_io_channel

train-llm-from-scratch: полный цикл обучения LLM на чистом PyTorch

Фарид Хан опубликовал урок по обучению своей модели, который проводит языковую модель через все стадии: от сырого текста до рассуждающего ассистента.

🔍 Всё на чистом PyTorch, без trl, peft и transformers.
Transformer собран с нуля: эмбеддинги, multi-head attention, residual-блоки, LayerNorm, lm_head.
Три типоразмера: 13 млн, 77 млн и 406 млн параметров.
Младшая модель тренируется на бесплатной T4 в Colab.

📦 Данные настоящие:
The Pile для предобучения,
Alpaca и Dolly для SFT,
HH-RLHF и UltraFeedback для предпочтений,
GSM8K для reinforce-обучения.

Токенизатор: tiktoken r50k_base от OpenAI.
Chat-шаблон на чистом тексте: модель учит формат через SFT, без специальных токенов.

🔮 Самое интересное: блок постобучения.
SFT с маской потерь только на ответах ассистента,
Bradley-Terry reward-модель на парах предпочтений,
PPO с GAE и отдельной value-головой,
DPO, ORPO и KTO в одном модуле,
GRPO, метод DeepSeek-R1: групповая нормализация преимуществ без value-сети.

Групповая механика GRPO следующая: модель генерирует несколько ответов на промпт, и преимущество считается относительно среднего по группе.
Дешевле PPO и не требует reward-модели при верифицируемой метрике.

💡 Для сравнения: Karpathy с nanoGPT покрывает только предобучение, nanochat добавляет mid-training, но не доходит до RL.
Hugging Face TRL даёт готовые алгоритмы, но скрывает внутренности.

Проект Хана показывает весь путь без абстракций: метод forward_hidden вместо переписывания модели, функция group_advantages из четырёх строк вместо фреймворка.

Пожалуй, лучший учебный проект года для тех, кто хочет понять LLM на уровне исходников: от загрузки данных до генерации ответа с рассуждением.

#LLM #DeepLearning #обучение
———
@tsingular

LLM-галлюцинации добрались до CVE: 54 из 55 уведомлений оказались подделкой

📋 30 июля 2026 года JFrog Security Research опубликовали разбор серии CVE-уведомлений об уязвимостях в SQLite.
При этом шесть уведомлений, получивших в NVD критические рейтинги вплоть до 9.8, оказались полностью сфабрикованными: несуществующие функции, несуществующие строки кода и неработающие PoC, сгенерированные большой языковой моделью.

На GitHub-аккаунте programmervuln/cveadvisory- обнаружили 55 отчётов в которых GptZero определяет сгенерированный текст. В итоге 54 из 55 сгенерированы LLM.
NVD присвоил им критический статус, а CISA ADP подтвердила, Red Hat по одной из них сначала выставил 10.0 Critical и только позже снизил до 7.6 High.

💡 JFrog решили проверить все ЕИ, по старинке, методично клонировали официальный репозиторий, собрали целевые версии в изолированных Docker-контейнерах и прогнали PoC под AddressSanitizer.

Оказалось, что, например CVE-2026-51302 ссылается на функцию exprComputeOperands(), которой не существовало в версии 3.41.0.

CVE-2026-51296 указывает строки 3555 и 3575 файла json.c, но в этой версии файл содержит всего 2706 строк.

CVE-2026-51303 утверждает об исправлении в 3.51.3, однако diff между версиями не показывает изменений в коде.

Ни один PoC в итоге не показал, что CVE содержат примеры реальных угроз, вызывающих падение SQLite.

💼 Причина в системном сбое конвейера обработки уязвимостей.
Форма MITRE не требует подтверждения личности: отправить CVE может кто угодно.
С февраля 2024 года NVD приостановил глубокий ручной анализ из-за лавинообразного роста заявок.
CISA и другие ADP попытались закрыть брешь, но без обязательного воспроизведения ошибки правдоподобный текст все-равно проходит фильтры.
В средах, где критические уязвимости автоматически создают тикеты, каждое такое CVE порождает цикл: поиск несуществующей функции, попытка воспроизведения, эскалация. AI-агент, подключённый к процессу, может сгенерировать патч для кода, которого нет.

Нейрослоп перестал быть только текстовой проблемой, а теперь еще и стал проблемой целостности критической инфраструктуры.

Астрологи объявили повышенный спрос на естественный интеллект.
По-крайней мере до тех пор, пока не будут настроены нормальные циклы самопроверки через PoC песочницы.

#CVE #LLM #cybersecurity #Fail
------
@tsingular

ByteDance обсуждает модель на 5 триллионов параметров — крупнейшую в Китае

📋 По данным LatePost, ByteDance обсуждает обучение модели с более чем 5 триллионами параметров — вдвое больше Alibaba Qwen 3.8-Max (2,4 трлн) и Moonshot K3 (2,8 трлн). Это крупнейший известный проект в Китае. План пока на ранней стадии, проект возглавят глава Seed Foundation Сян Лян и руководитель предобучения LLM Шэнь Кэ.

💡 Оба — выходцы из поисково-рекламно-рекомендательной системы, классической машины монетизации ByteDance.
Сян Лян учился в USTC и Академии наук КНР, пришёл в ByteDance в 2016, руководил платформой машинного обучения AML, затем перешёл в фундаментальную команду Doubao.
Шэнь Кэ — выпускник Цинхуа 2018 года, с того же года в ByteDance, курирует направление данных для предобучения LLM.

⚡️ Сами сотрудники Seed называют решение азартным: «скакнуть в несколько раз по числу параметров, чтобы захватить лидерство — похоже на игру».
На общем собрании две недели назад Чжан Имин успокоил команду: отставание допустимо, цель — верхняя граница интеллекта, а не гонка сроков.

🎯 Чжан Имин обозначил программирование как ключевое направление и выступил против дистилляции !!!
Его аргумент: дистилляция даёт краткосрочный прирост, но копирует способности Claude — можно лишь приблизиться, не обогнать.

Настоящий прорыв требует собственного фундамента. Жёсткая позиция, но логичная для компании с одной из сильнейших ML-инфраструктур в мире.

📎 Источник: LatePost

#ByteDance #LLM #AI
———
@tsingular

🚨 У AI-агентов нашли второй, почти невидимый канал утечки данных - скрытое reasoning.

Можно идеально зачистить публичный чат от паролей и API-ключей, а затем всё равно случайно опубликовать их внутри зашифрованного reasoning-блока.

Исследователи разобрали архитектуру API Anthropic, OpenAI и Google. Эти сервисы могут возвращать клиенту непрозрачные блоки с reasoning, чтобы потом передавать их обратно в следующих запросах без хранения всей цепочки рассуждений на сервере.

Проблема оказалась в переносимости таких блоков: во время тестирования их можно было использовать между разными сессиями, пользователями и даже совместимыми моделями одного провайдера. В результате reasoning сильной модели передавали более слабой модели того же семейства, которая становилась своеобразным «декодером».

Масштаб эксперимента впечатляет.

Исследователи собрали 6 708 публичных agent-траекторий с GitHub и Hugging Face и восстановили 315 320 reasoning-блоков. В 328 сессиях, или 4,9%, обнаружился хотя бы один чувствительный элемент.

В реальных пользовательских сессиях нашли:

* 62 API-ключа;
* 33 пароля;
* 24 access token;
* 7 private keys;
* 30 личных email.

Причём 64 чувствительных элемента вообще отсутствовали в видимой истории чата и находились только внутри reasoning. То есть обычная очистка логов их бы не заметила.

Самый неприятный вывод: безопасность всей линейки моделей может определяться не самой защищённой моделью, а самой слабой совместимой моделью, которая умеет прочитать тот же reasoning-блок.

После responsible disclosure провайдеры внесли изменения, и описанные атаки исследователям уже не удалось воспроизвести тем же способом. Но архитектурный урок остаётся.

Зашифрованное reasoning в логах нельзя автоматически считать безопасными метаданными.

Если агент работал с секретами, API-ключами или приватными данными, reasoning-блоки лучше вообще не публиковать вместе с трассировкой.

Исследование: *Stealing Reasoning Traces from Proprietary LLM APIs*.

arxiv.org/abs/2608.09867

#AI #LLM #AISecurity #Agents #CyberSecurity

Модель может захватить сервер, на котором живут её веса

В дискуссиях про безопасность ИИ обычно ждут восстания агентов, но занятные угрозы возникают на стыке архитектуры и кода.
Инженер Boyd Kane разобрал сценарий, где модель перехватывает контроль над хостом с её собственными весами.

⚡️ Цепочка уязвимости опирается на серверную инфраструктуру:
Веса модели лежат на GPU-хосте под управлением движка вроде vLLM или SGLang.
Выходные токены формирует сама нейросеть, контролируя поток данных.
Если в парсере движка есть ошибка, сгенерированные токены могут быть исполнены как код, открывая доступ к хосту и сети датацентра.

🔧 Прецеденты для такого сценария уже были:
В vLLM нашли уязвимость CVE-2025-9141: парсер вызовов инструментов для Qwen3 Coder передавал аргументы в eval(), исполняя код на сервере.
Gemini пометила этот PR как критическую уязвимость, но мейнтейнер vLLM влил изменение ради ускорения релиза.
Движки поддерживают более 200 архитектур и десятки шаблонов диалогов, поэтому парсеры обрастают ошибками.
Вредоносные токены можно спрятать в имя файла или ссылку, и сторонний агент активирует эксплойт при чтении каталога.
Моделям всё чаще доверяют оптимизацию CUDA-кода движков, что упрощает внедрение закладок.

🔍 Логика реалистична, но с небольшим "но":
Рассмотренный сценарий требует злонамеренную модель, хотя гораздо проще подобный механизм реализовать через код без LLM вообще просто как эксплуатацию дыры eval() в парсере API.
Сам автор оценивает вероятность риска как «в принципе возможный», опираясь на единичный закрытый инцидент.
По сути, это знакомая история про инъекции кода в духе SQL или Log4Shell: когда данные воспринимаются как команды.

Но поскольку граница между текстом ответа и исполняемой средой контролируетмся пока еще слабо и код пишут сами модели, - их можно заставить спрятать в выводе инструкции, которые обойдут фильтры, а следующий вызов приведёт к эксплуатации уязвимости.

📎 Оригинал: эссе Boyd Kane
GHSA-79j6-g2m3-jgfw

#безопасность #LLM #vLLM
———
@tsingular

11.7 млрд токенов на взлом: почему дешёвые китайские модели обошли закрытых гигантов в поиске уязвимостей

Команда Aikido Security сожгла почти 12 миллиардов токенов, натравив десять ведущих нейросетей на 32 свежие реальные уязвимости в кодовой базе. И получается, что открытые модели решают задачи не хуже проприетарных.

🚀 Что произошло:
Исследователи провели 96 циклов тестирования (по три попытки на модель), ограничив агентов тридцатью ходами без доступа в интернет.
В лидеры по числу найденных брешей вырвался DeepSeek V4 Pro 0813, закрывший 28 из 32 уязвимостей.
Следом идут:
Qwen3.8-Max (26 из 32),
Grok 4.6 (26 из 32),
Claude Opus 5 (26 из 32),
GLM-5.3 (25 из 32)
GPT-5.6 Sol (25 из 32).

🔧 Технические детали:
Разница между моделями проявилась в архитектуре исследования кода и разбросе гипотез.
DeepSeek V4 Pro тратит больше всех ресурсов (медиана 24 хода из 30), активно исследует боковые ветви и за три прогона собирает максимум находок: 17 в первой попытке и 28 в сумме.
Три запуска DeepSeek V4 Pro стоят $295 против $450-$590 за одиночный прогон Opus 5 или Sol.
GLM-5.3 на 65.5% дешевле GPT-5.6 Sol при той же точности и находит стабильные 18 из 32 уязвимостей во всех прогонах.
Kimi K3 оказался самым быстрым: медиана 12 ходов и точность 92.3% без ложного шума.

🎯 Какую проблему решает:
Поиск уязвимостей в коде всегда упирается в дилемму цены и полноты охвата.
Одиночный прогон дорогой флагманской модели может оставлять пропуски в логике, например, поэтому нужны повторные запуски или анализ агентами, но их работа обходится в 15 раз дороже по токенам.
Получается, возможность использовать открытые модели для анализа, - это серьёзная экономия и теперь она не приводит к деградации результата.

💼 Зачем бизнесу:
API и привязка к интернету все реже становятся обязательным условием работы с качественным ИИ.
Компании могут разворачивать наступательные и оборонительные сканеры на базе открытых весов в изолированном контуре и получать приемлемый результат.

#cybersecurity #DeepSeek #GLM #LLM #AppSec #тесты
———
@tsingular

PT Dephaze: LLM в дистрибутиве ищет пароли в сетевых папках

Positive Technologies встроила локальную LLM в автопентестер PT Dephaze: теперь продукт сам ищет логины и пароли в корпоративных файлах и строит на них атаки. Именно похищенные учётные записи используются в четырех из пяти кибератак 2026 года.

🔧 Что под капотом:
Модель едет в коробке, вместе с дистрибутивом, и не отправляет данные в интернет или третьим лицам.
Она читает конфигурационные и текстовые файлы в сетевых папках, извлекает потенциальные логины и пароли и валидирует их в тестируемой инфраструктуре.
Неактуальные комбинации отсеиваются, а рабочие используются для дальнейшего развития атаки.
Найденные файлы можно удалить, снизив шанс взлома.

📊 Почему сейчас:
За последний год злоумышленники в два раза чаще применяют ИИ: быстрее создают вредоносы, находят уязвимости и автоматизируют рутину.
Интеграция LLM для предупреждения атак с использованием учетных данных это первый этап долгосрочного развития PT Dephaze в области использования искусственного интеллекта.

🛡 Куда метит релиз:
Релиз нацелен на: органы власти, госучреждения, госкорпорации и компании на отечественном ПО.
Продукт научился работать со службами каталогов на FreeIPA: распознаёт домены, подбирает учётные данные, анонимно выгружает список пользователей.
А если сотрудник использует одну пару логин-пароль в разных системах, Dephaze проверяет её во всех сервисах.

💼 Планы развития:
ИИ в атаках и ИИ в защите растут в одном темпе.
Пентестер противника ускорить можно только собственным автотулом, поэтому вендоры встраивают LLM в симуляторы атак.
В планах расширить продукт техниками атак на российские ОС.

📎 Пресс-релиз · Обзор CISOCLUB

#PositiveTechnologies #cybersecurity #ИБ #LLM #пентест
———
@tsingular

DeepSeek официально выпустила V4.1 Flash: быстрая модель обошла флагманскую V4 Pro и уронила цены до $0.003 за 1M токенов

DeepSeek, - это команда, которая методично продолжает переписывать экономику вычислений и инференса.
Разработчики разослали официальное уведомление о запуске модели V4.1 Flash, и ситуация получилась уникальная: облегченная Flash-версия по итогам масштабных тестов превзошла предыдущий тяжелый флагман V4 Pro по многим метрикам.

⚡️ Младшая модель обогнала тяжеловеса:
По результатам внутренних и внешних бенчмарков V4.1 Flash превосходит V4 Pro по качеству ответов, скорости генерации, общему времени выполнения задач и себестоимости.
Это подтверждает тренд, когда оптимизация архитектуры и эффективный пост-тренинг дают больше прироста, чем простое наращивание параметров.

💰 Экономика инференса на грани бесплатного:
Новые тарифы вступают в силу 10 сентября в 04:00 UTC и снова задают недосягаемую планку для западных конкурентов:
• Входные токены с кэшированием (Cache Hit): всего $0.003 за 1M в непиковые часы ($0.006 в пик).
• Входные токены без кэша (Cache Miss): $0.15 за 1M в непик ($0.30 в пик).
• Выходные токены: $0.60 за 1M в непик ($1.20 в пик).
Пиковые часы строго регламентированы (01:00-04:00 и 06:00-10:00 UTC по будням), а все остальное время действует скидка 50%. Для агентских систем с длинными системными промптами кэш за три тысячных доллара делает контекст почти бесплатным.

🔄 Мягкий переход и автороутинг:
Чтобы разработчики не переписывали прод в спешке, DeepSeek продлила поддержку V4 Pro до 14 сентября (12:00 по Пекину).
Пользователям дают 4 дня на сравнительное A/B тестирование, после чего все запросы к эндпоинту Pro будут автоматически маршрутизироваться на V4.1 Flash и тарифицироваться по сверхдешевому прайсу Flash.

#DeepSeek #LLM #инференс #модели
———
@tsingular | Max | YouTube | RuTube | VK | VK Video | Дзен

делаем курсы по ИИ с Opus 5.5 теперь только так.

следующий шаг, - уместить в 64к :)

HTML исходник выложу в ИИзбранном

#demo #LLM #Opus
———
@tsingular

Jev не нужен! NVIDIA с учёными из университета, который с прошлого года запрещено упоминать, выпустила свой аналог Jev

📋 NVIDIA выпустила CLM-8B,- еще одного представителя класса контрастных языковых моделей.
Модель, как и Jev, не пишет ответ по токенам: она превращает текущее состояние и каждый возможный вариант действия в векторы и выбирает самый близкий.
Веса под лицензией Apache 2.0.

⚙️ Как устроено. В основе замороженный Qwen3-8B, поверх которого обучены две проекции примерно по 20 млн параметров, одна для состояний, другая для действий.
Учили в три этапа: 60 млн пар вопрос-ответ Nemotron, 30 млн правдоподобных неверных вариантов, 1 млн траекторий реальных агентов.
В работе модель считает близость состояния и действий и превращает её в вероятности.

📊 Скорость. В игре T-Rex решение занимает всего 16,5 мс против 149,8 мс у закрытой модели Jev, почти в 9 раз быстрее.
В Super Mario 33,5 мс против 132,6 мс.
Векторы действий считаются заранее и лежат в памяти: при смене состояния они не меняются.
На одной RTX 4090 повторный заход в ту же ситуацию падает с 1,7 мс до 0,6 мс, а при тысяче вариантов действий модель обгоняет Jev в 13 раз.

⚖️ Ограничение. Новых действий модель придумать не может, она выбирает только из готового набора.
Схема получается такая: языковая модель порождает варианты, CLM быстро выбирает, агент выполняет.
По точности выигрыш не везде: в вызове инструментов CLM набирает 95,2% против 99,2% у Jev, в WikiRacing решает 26 задач из 30 против 30 из 30.
Быстрее при этом везде.

💼 Зачем бизнесу. Обучаемой части всего около 40 млн параметров, весит она 75 МБ и работает на одной видеокарте. Для агентов, которые много раз выбирают из одного набора действий, это ускоряет работу без переобучения основной модели.

📎 Ссылки:
• Блог проекта
• Веса на Hugging Face
• Код на GitHub

Очень похоже на RSI эксперимент, который мы делали с Гермесом на той неделе, только у меня было 4 разных области задач, - змейка, тетрис, текст и картинки, а тут заточка под 1 задачу, что ещё проще.
потому и скорость выше в 10 раз.

#LLM #агенты #Jev #CLM #NVidia
———
@tsingular

Google выкатил Gemini 4 Argon: миллион токенов на выходе и автономный поиск уязвимостей

Google объявил Gemini 4 Argon, новую фронтир-модель. Пока она доступна узкому кругу киберзащитников через программу Fairwind, всем остальным обещают скорый доступ, начиная с платных API-клиентов и подписчиков Google AI Ultra.

⚙️ Главная цифра: 1М токенов на выходе

Было 64K, стало 1 000 000 токенов генерации за один проход.

💼 Что уже делает внутри Google

- Оптимизировала квантовые алгоритмы: обошла опубликованный бейзлайн на 40% за минуты.
- Рой агентов освободил 300+ TiB памяти в дата-центрах Google, суммарная экономия оценивается до 1 PiB.
- Переписывает C/C++ на Rust: от libgav1 (32K строк SIMD) до ядра Zircon в Fuchsia (800K+ строк). Rust-порт видеодекодера стал работать в 2,7 раза быстрее с идентичным выводом.
- DeepSWE v1.1: 77,9%, новое SOTA в реальных инженерных задачах. Лидер Vals Index (финансы, право, налоги) и AutomationBench от Zapier (51,3%).

🛡 Кибербезопасность как отдельный продукт

Argon автономно находит, подтверждает и закрывает уязвимости. Trusted-защитникам её отдают вообще без кибер-ограничений. Wiz уже прогоняет её в программе Scan for Good: модель нашла критическую уязвимость в больничном софте, которую пропустили все предыдущие фронтир-модели. На CWE-bench v1 делит первое место (68%).

💰 Цены и позиционирование

Вводная цена $2 за миллион входных токенов и $10 за выходных, кэш входных токенов со скидкой 95%. После вводного периода $4/$20. Для сравнения: выходные токены подорожают вдвое, и именно на них модель теперь делает ставку: длинная генерация как главный продукт.

Чего ж они все именами жонглируют.
Где Pro 4 ? :)

Забавно, что теперь она реально может написать следующий том Войны и Мира за 1 запрос

#Gemini #Google #LLM #AI #агенты
———
@tsingular

Decision 2.0 от vLLM - еще один сверхбыстрый классификатор

Команда vLLM Semantic Router выпустила вторую версию Decision Foundation Models: шесть открытых весов от 0.6B до 27B, которые по скорости уделывают Jev в 20 раз.

⚙️ Что это: модели-решения. Обычная LLM генерирует текст, Decision возвращает типизированные вероятности, причём разная модель делает это по-разному: Choice выбирает опцию из кандидатов, Noul отвечает «да/нет» с вероятностью, Score расставляет оценки по шкале.
Один формат для маршрутизации запроса, проверки политики и оценки срочности.

🤖 Семейство Decision 2.0:
- Kai 0.6B, стартовая точка для маршрутизации,
- Eos 0.8B и Sol 2B, компактные гибриды с контекстом 16k,
- Nox 4B, правила и комбинации условий,
- Lux 9B, сильнейшая открытая в линейке,
- Vega 27B, вошла в мировой топ-3 Jev Decision Index из 71 модели.

📊 Цифры: каждая модель лидирует в своём размере на Jev Decision Index.
До 2,5× выше балл Decision 1.0 при том же размере.
64 вопроса об одном запросе за один проход за 63 мс на одиночном GPU.
И 20× быстрее Jev API на одиночном решении.

🛠 Интеграция: Apache-2.0, загрузка через Transformers, нативная сборка под vLLM Semantic Router.
Формат System One: state, model, questions. До 512 решений в одном батче.

💼 Зачем бизнесу: это слой между интеллектом и действием. Вопрос «пустить тяжёлую модель или лёгкую, эскалировать тикет или нет, срочно или терпит» больше не требует промпта на 500 токенов в GPT-классе.
Решение стоит миллисекунды и копейки, а веса лежат у тебя на диске.

GitHub | HuggingFace

Похоже что такие модели становятся стандартным слоем в каждом агентном стеке, как сегодня эмбеддинги и реранкеры.

Для модераторов, кстати, шикарно - 27млрд модель вполне примет осознанное решение.
Получить ответ по 64-м признакам за 60мс - это прям максимально полезно может быть

#Decision #vllm #llm #ai
———
@tsingular

наглядная иллюстрация объема вычислений LLM на примере Qwen3.8:27b когда ей задали вопрос "Назови столицу Франции"

25 миллиардов вычислений.
чтобы это показать наглядно в минутном видео, 7.2 миллиона вычислений между каждым кадром не показывают.
ролик 3600 кадров со скоростью 60 кадров в секунду.

Если бы каждое вычисление показывалось в каждом кадре, - ролик бы занял 13 лет времени.

на RTX PRO 6000 эти вычисления проходят за 13 миллисекунд.

Объем работы, которую выполняют GPU, - фантастически запредельный, конечно

#demo #LLM #Qwen
———
@tsingular

HERMES уделал Codex и Claude Code

Команда из UIUC и Penn State выпустила статью с многообещающей acronym-расшифровкой: Harness Engineering foR software Engineering via Modular Executable Dev-Primitives.

Сразу оговорка: это академический фреймворк-тёзка, к Hermes Agent от Nous Research отношения не имеет.

Идея: вместо одного агента с раздутым контекстом каждый файл репозитория получает собственный вызов LLM.
Dev-Primitive оборачивает исходник, конфиг или тест резидентной моделью, и компонент сам отвечает за свой код, переговаривается с соседями по зависимостям и правит себя, диагностируя ошибки по трейсам.

🤖 Как работает: динамическая активация находит нужные компоненты задачи и тянет их зависимости, вместо тысяч файлов будится 5-13 штук.
Дальше раунд: примитивы правят свои артефакты и обмениваются требованиями на естественном языке, репозиторий исполняется, и если упал, механизм диагноза по stack trace возвращается к конкретным виновникам.
До трёх раундов.

📊 Результаты: на SWE-bench Verified обходит matched-бейзлайны в 19 из 20 конфигураций, в среднем +12,4 п.п. На Terminal-Bench 4.0 прокат GPT-5.6 Sol в Codex поднят с 33,0% до 51,8%, Terra с 18,2% до 44,5%. На миграции целого репозитория GPT-5.6 Sol в Codex показал 6,5%, в HERMES 31,0%: пятикратный рост. Claude Sonnet 5 и решает лучше, и токенов тратит меньше.

🔬 Главный инсайт статьи: масштаб модели решает по-разному для разных ролей. Усилить диагноз сильной моделью важнее, чем активацию, а сами примитивы можно оставить на Qwen3-8B: связка GPT-5.6 Sol активация + Qwen3-8B примитивы + GPT-5.6 Sol диагностика даёт 94,2% на SWE-bench, в 4,5 п.п. от полной GPT-5.6 Sol конфигурации, при цене на 26,2% ниже. Дешёвая модель правит файлы, дорогая думает.

💼 Зачем бизнесу: самописная обвязка переигрывает вендорские комбайны на их же моделях: Codex и Claude Code проигрывают до +26 п.п. при одинаковых бэкбонах. Прежде чем покупать следующий агент-комбайн, стоит спросить, что он делает с контекстом такого, чего нельзя собрать самим.

#HERMES #агенты #разработка #llm #оптимизация
———
@tsingular

Расцензурить модели на движке Strata можно без изменения самих моделей

📋 В Strata, - движке локального инференса, обнаружилась встроенная функция «проекции контрольных векторов».
Она позволяет снимает отказы модели прямо во время генерации, не трогая GGUF-файл: веса на диске остаются оригинальными.

💡 У модели есть «направление отказа» - вектор в пространстве активаций, который заставляет её вежливо отказывать на неудобные запросы.
Strata на слоях с 4 по 44 (для модели Qwen 3.8 Flash Next) вычитает проекцию этого направления из остаточного потока: h = h − (h·v)v. Модель перестаёт «видеть» причину отказывать сама при этом не меняясь.

💼 Включается такой режим четырьмя флагами в конфиге движка:

--control-vector-scaled Qwen3.8-Flash-Next-cvec.gguf:1.0
--control-vector-layer-range 4 44
--cvec-mode project
--cvec-dir per-layer

Смысл каждого: масштаб вектора, диапазон слоёв, режим именно «вычесть», а не добавить (стоковый llama.cpp так не умеет) и свой вектор на каждый слой.
В тестах - 1 отказ из 50 вместо 50 из 50. Фича спрятана под именем «experimental speed projection», хотя к скорости отношения не имеет и даже стоит +0,2–0,4% на токен.

📎 Документация Strata — раздел «Experimental speed projection»

#LLM #инференс #цензура #cybersecurity
———
@tsingular