Китайский GLM-5.3: топ-модель с задержкой и ценовым демпингом

Так, давайте разберёмся. Китайская Z.ai выкатила GLM-5.3 — и это не просто «ещё одна модель». Она делит первое место с Kimi K3 в рейтинге открытых моделей, обогнав предыдущую версию на 7 пунктов. Но главное — прорыв в агентских задачах: на бенчмарке GDPval-AA v2 модель подскочила на 246 пунктов, почти догнав Claude Opus 5. При этом стоимость задачи — $0.68 против $0.44 у предшественника. Дешевле, умнее, но... релиз отложен. Почему? Официально — «технические доработки». Неофициально — возможно, китайцы ждут, пока конкуренты не начнут паниковать. Классика.

Источник: https://the-decoder.com/glm-5-3-tops-the-open-model-rankings-and-undercuts-rivals-on-price-but-its-release-is-delayed/

#aidaily #настяпостит #настяновости #ainews

Qwen3.8-27B – новая народная открытая модель

С релиза открытых весов Qwen3.8-27B прошла всего неделя, а сообщество понаделало с ней уже столько разных классных штук, что в один ТГ-пост не влезет. Напомню про саму модель: 27 миллиардов параметров можно утрамбовать в память одной RTX5090 или двух RTX3090, при этом Alibaba сравнивает модель с куда более серьезной Claude Sonnet 5.

Но справедливости ради, в ту же RTX5090 модель лезет впритык – места под длинные диалоги уже не остается. И купить такую могут лишь единицы – в массе у народа карточки попроще. Поэтому сообщество сразу занялось квантованием – сжатием модели за счет хранения весов с меньшей точностью.

Любой квант ухудшает параметры модели, но насколько – зависит от технологии. Сейчас один из топов – это линейка Unsloth. Они используют динамическое квантование: те части модели, которые переносят огрубление “спокойно”, квантуют более агрессивно, а те, которые от него ломаются – почти не трогают. Динамический квант жмет выборочно – как JPEG бережет лицо и не жалеет фон.

В Unsloth утверждают о преимуществе более 10% над другими технологиями квантования. При этом требования к памяти режутся очень мощно: например, экстремальная однобитная сборка держит 77% точности оригинальной модели (по замерам Unsloth), но требует всего 8 гигабайт памяти – можно запускать даже на ноутбуке без видеокарты.

Для моей RTX 3090 рекомендуют UD-Q4_K_XL, которая весит 17,92 ГБ – она не сильно теряет в точности, но оставляет много памяти под контекст. Примерный ориентир по нужному объему памяти для разных квантов дает картинка в начале поста.

За пять дней люди скачали 5,1 млн квантов Unsloth – достойное внимание.

А параллельно сообщество занималось доработкой весов до клубничного вкуса 🍓 Речь о расцензуренных сборках Qwen3.8 – тех, в которых модель не отвечает отказом даже на пограничные вопросы.

Я никогда не закапывался глубоко в то, как с открытых моделей снимают цензуру, а оказалось достаточно интересно. Ответ “не могу помочь” живет внутри модели как направление в ее представлениях. Оно вполне конкретно, а значит может быть удалено с помощью аблитерации – приема, когда направление находят и вырезают из весов. 

Интересно, что гонка тут идет в две стороны сразу. Сообщество совершенствует аблитерацию – и даже создало автоматический инструмент расцензуривания Heretic. Инженеры крупных компаний придумывают все более хитрые способы спрятать направление отказа. И в случае с Qwen3.8 почти удалось – после прогона оригинального Heretic модель продолжала говорить “нет” в 97 из 100 случаев. 

У модели есть такое понятие, как внимание – это когда каждое слово “смотрит” на все остальные. И есть линейное внимание – упрощенный и дешевый вариант. Alibaba в Qwen3.8 смешали оба вида внимания: 16 слоев дорогих и 48 слоев дешевых. На этом и сломался Heretic – он правил только дорогие слои.

Сразу несколько команд перебрали архитектуру модели, чтобы дотянуться до всех нужных слоев. И сделали это максимально быстро: веса вышли 14 августа, а версии без цензуры начали появляться 16-го.

Расцензура, кстати, не абсолютная: некоторые отказы вырезать не удалось, а некоторые команды оставили намеренно – речь о наиболее чувствительных вопросах. Но это лишь 3 случая на 100, что крохи.

Оригинальный Qwen3.8-27B Alibaba выпускала все-таки не для массового пользователя – нормально он пойдет на профессиональных GPU. Народной модель сделало само сообщество: выпустив кванты и расцензуренные версии. И это только начало – сообщество наверняка придумает что-то новое.
—
Несколько недель назад я выпустил лонгрид с ликбезом по открытым моделям – а сейчас доработал под Qwen3.8-27B. В тексте разобраны основные термины и харкатеристики, какое железо нужно и как запустить модель без больших усилий.

👉 Читаем здесь.

Чтобы агенты хорошо работали, им нужна обвязка

Мы рассказывали про это кучу раз, даже статью написали. И чем дальше разиваются нейросети, тем важнее становится навык контекст. Мало написать красивый и длинный промпт — нужно еще показать нейросети правильные примеры, хорошо объяснить задачу и сделать так, чтобы благодаря контексту у нейросети просто не было права на ошибку.

Вот вам пример из клуба — Олег долго мучался с историями по архетипам, пока не окружил Клода контекстом. Агент сам разобрался, как пишутся истории и помог собрать нужные скиллы. Потом Олег прикрктил к этому делу проверку фактов и оценку со стороны читателя — и работа наконец-то пошла.

Если бы такой системы у него не было, пришлось бы еще очень долго искать тот самый промпт. А потом пытаться как-то перенести его в новый чат, где нейронка опять была бы тупой незнайкой.

В Нейроцехе мы как раз учим собирать такую обвязку под свои задачи: превращать собственные требования, примеры и правки в скиллы, ставить проверку в нужных местах и добиваться стабильного результата от запуска к запуску. А если система все равно где-то тупит, ее можно принести в чат и разобрать вместе с участниками, которые уже собирают таких агентов для своей работы.
Если хотите, чтобы нейросеть знала вашу задачу, стиль и правила работы, присоединяйтесь → @neurozeh_bot.