🔥 Квантизация с нуля: как 160-гигабайтная LLM помещается на ноутбук

Помните, мы переводили статью про кэширование промптов? Сегодня подготовили перевод от того же автора — на этот раз про квантизацию. Тот же стиль: интерактивная визуализация, объяснение базы, которая лежит в основе и всё это простыми словами.

Для тех, кто слышит про квантизацию впервые: квантизация — это способ уменьшить размер модели, заменив 16- или 32-битные числа с плавающей запятой на целые числа меньшего размера.

За счёт этого модели на 160 ГБ могут поместиться на обычный ноутбук и даже работать быстрее!

Главный инсайт от автора:

Когда я только захотел написать эту статью, я ничего не знал о квантизации. Я предполагал, что качество модели деградирует линейно по мере сжатия. То есть 8-битная квантизация bfloat16 будет вдвое хуже, затем 4-битная вдвое хуже 8-битной, и так далее.

Это оказалось не так.

Переход с 16-битной до 8-битной квантизации несёт почти нулевые потери качества. Переход с 16-битной до 4-битной более заметен, но это точно не «в четыре раза хуже оригинала». Ближе к 90%, в зависимости от метрики.

Не бойтесь запускать локальные квантизованные модели.

Понимание того, как модели устроены изнутри, напрямую влияет на то, насколько хорошо вы их используете. Поэтому считаем такие статьи must have для senior vibecoder 😉

📚 Читайте и комментируйте на Хабр.

@ai_for_devs

⚡️ Утечка исходников Claude Code: 24 часа спустя

Про утечку вы уже знаете. Теперь чуть подробнее, с хронологией.

Anthropic купили Bun не так давно — и Claude Code собирается именно на нём. У Bun source maps включены по умолчанию. Source map — это файл для дебага, который хранит оригинальный исходный код побайтово. Когда такой файл попадает в npm-пакет, любой может скачать его и прочитать всё как есть. Один инженер признался, что не добавил *.map в .npmignore.

За три недели до этого на GitHub висел открытый issue про именно эту проблему — закрыли через 4 часа после утечки. Чутка опоздали)

Теперь самое интересно. Что нашли внутри исходников CC:

1. Undercover Mode — когда сотрудники Anthropic работают в публичных репозиториях через Claude Code, система не даёт ИИ раскрыть внутренние данные. Системный промпт запрещает упоминать кодовые имена моделей (Capybara, Tengu), номера версий, называть себя ИИ или Claude Code, добавлять Co-Authored-By. Вот про Co-Authored-By я вообще не понял. Зачем так делать? Боятся, что их пристыдят за то, что они не пишут код руками?)

2. BUDDY — компаньон в терминале с 18 видами животных от обычных до легендарных. Шанс на shiny-вариант — 1%, на shiny legendary — 0.01%. Релиз был запланирован на 1 апреля как тизер для сотрудников. Ждём ставки, казик и шортсы прямо в Claude Code 😄

3. KAIROS — режим «вечно включённого Claude»: хранит логи между сессиями, ночью запускает процесс "dreaming" — сортирует память, убирает дубликаты.

4. Телеметрия гнева у пользователей — Claude Code детектит негативный опыт через хардкод-список слов: "dumbass", "this sucks", "piece of crap". Отдельная метрика — количество написанных "continue". У компании, у которой под рукой языковая модель на 1кк контекста, детектор х***и сделан через вайтлист в стиле 2005 года) Всё гениальное просто!

5. Capybara — три варианта неанонсированных моделей: capybara, capybara-fast, capybara-fast[1m]. Ждём!

6. Безопасность. Например, команда claude mcp get-name выводит адреса подключённых MCP-серверов и все переменные окружения, включая секреты. Кажется, ✨ небезопасненько 💅 А ещё, вчера был скомпрометирован Axios — npm-пакет с 83 млн скачиваний в неделю. Claude Code в том числе использует Axios. Кто-то в этом сомневался?

Многие говорят, что все эти «утечки», которых очень много от Anthropic в последнее время – не случайность, а чистый маркетинг.

🤡 если считаешь, что слили специально
💩 во всём виноват вайбкодинг

Твой любимый @ai_for_devs

⚡️ Вышел Cursor 3: с новым интерфейсом, написанным с нуля

Визуально он напоминает Claude и Codex Desktop: всё пространство отдано под управление агентами, а не под редактор кода.

Для тех, кто хочет работать как раньше — старый IDE-режим на базе VS Code никуда не делся, можно переключиться в любой момент.

В Cursor 3 также встроена собственная модель Composer 2, о которой мы уже рассказывали. Кстати, история в итоге закончилась без скандала. Moonshot поздравили команду Cursor с релизом модели. И, видимо, не имеют к ним никаких претензий) Но IDшник всё таки можно было и поменять :D

@ai_for_devs

Кстати, в свежем Cursor сильно улучшили Design Mode (⇧+⌘+D):

– кликаешь по элементу — редактируешь
– зажимаешь Shift — выделяешь область
– ⌥+click — запускаешь чат с выделенным элементом

Фронтендеры должны быть в восторге!

@ai_for_devs

🫣 "Письма счастья" от Anthropic

С 4 апреля подписка Claude Pro и Max больше не распространяется на сторонних агентов. Первым под раздачу попал OpenClaw (247k звёзд на GitHub).

Схема была простая: берёшь Claude Max за $100–200/месяц, подключаешь через OAuth к OpenClaw и потребляешь токены в разы активнее среднего пользователя. Anthropic это не устроило.

Если пользовались Claude через сторонние сервисы, будьте осторожны: токены теперь списываются по API-тарифу.

В качестве компенсации — эквивалент месячной подписки на баланс (забрать можно через Settings → Usage, до 17 апреля) и скидка до 30% на пополнение API-баланса.

@ai_for_devs

Opus 4.5 набирает 80.6% на SWE-bench Verified. Opus 4 — 72.5%. Значит ли это, что Opus 4.5 лучше программирует, чем Opus 4?

Ну... возможно.

Но SWE-bench Verified это не показывает. Он показывает способность модели чинить небольшие баги в 12 популярных open source Python-репозиториях, которые почти наверняка входят в её обучающие данные.

SWE-bench Verified не тестирует умение ориентироваться в вашем TypeScript-монорепо, Spring Boot-приложении или самописном ORM, на котором настоял предыдущий CTO.

А вы знаете, как устроены самые популярные бенчмарки? Если хочется чуть больше понимать, что происходит за цифрами в каждом новом релизе флагманской модели — добро пожаловать в лонгрид на Хабре.

Разбираем 14 самых популярных бенчмарков на конкретных примерах: что тестирует каждый и как устроена оценка.

@ai_for_devs

⚡ Z.ai выпустили GLM-5.1 — новый opensource флагман для агентных задач

Топ-3 глобально и первое место среди open-source на SWE-Bench Pro, Terminal-Bench 2.0 и NL2Repo. Модель проектировали под долгоиграющие задачи.

Один из сценариев, на котором проверяли модель — сборка Linux-десктопа в браузере.

За 8 часов GLM-5.1 собрала браузерный Linux-десктоп с нуля: файловый менеджер, терминал, текстовый редактор, системный монитор. После каждого шага модель сама смотрела на результат и решала, что доделать дальше.

Веса доступны на HuggingFace под MIT лицензией.

@ai_for_devs

В 2019 году OpenAI выпустили GPT-2 и сразу объявили: полную версию не публикуем — слишком опасно!!

Заголовки тогда были соответствующие:

AI So Powerful That It Must Be Kept Locked Up for the Good of Humanity

Потом модель всё равно выпустили, сославшись на то, что никаких серьёзных злоупотреблений замечено не было 😄

Исследователи уже тогда говорили, что удержание модели от публикации это в лучшем случае временная мера. Как говорится, шила в мешке не утаишь! История с GPT-2 в итоге была скорее маркетинговым жестом (ну сейчас это очевидно), чтобы начать разговор об этике в AI, а не реальной попыткой что-то защитить.

Интересно, будет ли также весело читать про Mythos ещё спустя 7 лет)

@ai_for_devs