Помните мой пост про 5 уровней защиты генеративных моделей ? На втором уровне - «Контроль за представлениями модели» - я упоминал Machine Unlearning как один из подходов: возможность «разучить» модель опасным вещам без полного переобучения. Нейрохирургия. Точечная. Элегантная.

Так вот. Хирург вскрыл пациенту черепную коробку, аккуратно удалил нужный участок - а пациент встал со стола, посмотрел стеклянными глазами и творить такое, чего раньше не умел. Причём худшее из возможных.

В прошлом году вышла интересная публикация LUSB - Language Unlearning Security Benchmark - недавно её обновили и я решил внимательно изучить. Первый комплексный фреймворк, который формализует простую вещь: процедура разучивания - это не защитный механизм, а новая поверхность атаки.

Теперь к мясу. Авторы формализовали атаки через разучивание как задачу оптимизации - где атакующий контролирует три вещи: что именно модель должна «забыть», из каких данных будет состоять запрос и как модель должна себя вести после процедуры. На этой основе - систематический бенчмарк: 16 типов атак и защит, 13 архитектур LLM, 9 методов разучивания (от базовых градиентных методов до продвинутых вроде Negative Preference Optimization), 12 датасетов задач.

Разберём механику. Два основных вектора:

Первый - чистая атака через разучивание. Атакующему не нужно отравлять обучающую выборку заранее. Достаточно грамотно подобрать подмножество данных для удаления из модели. Модель послушно «забывает» - а её веса смещаются в направлении, выгодном атакующему. Вы просили модель забыть - она забыла. А заодно разучилась сопротивляться джейлбрейкам. Побочный эффект? Нет - основной.

Второй - игра вдолгую. Атакующий ещё на этапе обучения подмешивает в данные спящий триггер. Он ничего не делает, пока модель работает штатно. Но когда кто-то запускает процедуру разучивания - триггер активируется, и бэкдор просыпается. Total Recall наоборот: вы пришли стереть воспоминание, а вам перепрошили личность.

Что показал бенчмарк.

Атаки через разучивание подрывают безопасность модели даже при наличии всех остальных уровней защиты. Выравнивание, гардрейлы, системные промпты - всё перечисленное работает на поверхности. Разучивание бьёт глубже - непосредственно по весам. Вы можете выстроить идеальный периметр на уровнях 1, 3, 4, 5 - а уровень 2 станет троянским конём, который впустит атакующего через парадный вход.

Цепная реакция между уровнями защиты - главный результат работы. Атаки через разучивание не изолированы. Они усиливают восприимчивость к джейлбрейкам (уровни 3 и 4 моей классификации) и способны постепенно активировать спящие бэкдоры и отравленное поведение, заложенные на этапе обучения (уровень 1). Один вектор пробуждает другой - дёргаете за ниточку разучивания, и у модели отключаются предохранители, выстроенные на совершенно других уровнях. В классической кибербезе есть термин для такого - lateral movement (боковое перемещение). Только тут движение не между машинами - а между уровнями доверия внутри одной модели.

Существующие защиты пока не справляются. Авторы тестировали оба класса. Первый - обнаружение: попытка отличить вредоносный запрос на разучивание от легитимного. Не работает - отравленные данные слишком хорошо мимикрируют под обычные запросы на удаление. Второй - смягчение последствий: добавление в процесс разучивания ограничений, которые не дают весам модели сдвинуться слишком сильно, и штрафных функций, которые заставляют модель сохранять полезные способности, пока ненужное удаляется. Логика понятная - но атакующий конструирует свои данные уже с учётом этих ограничений и находит обходные пути. Задача открытая, авторы говорят об этом прямо.

Двадцать лет назад главный страх ИБ - что кто-то украдёт данные. Сегодня - что кто-то их удалит, и метрики безопасности упадут. Прогресс. LUSB - не приговор Machine Unlearning как подходу. Скорее первая честная карта минного поля, по которому мы пока что ходим вслепую. Разучивание работает - но без понимания его поверхности атаки вы не защищаете модель, а переконфигурируете её уязвимости. Теперь хотя бы понятно, где копать.

Ну спасибо ботоводам. Накрутили 3к подписчиков. Отстой. Можете отписаться плиз )))

А вообще - знайте что такое существует

https://dzen.ru/a/ZjNCu-J3DXloPiQl

+ Как вариант делать розыгрыши где будут несколько каналов. Так шанс накрутки видимо меньше.

Моя борьба ... С призраками тг.

UPD: практически убил всех приведений. Было 9к, но они не останавливаются)

UPPD: теперь я знаю как их одолеть. TGSTAT 😁/

Два релиза за один день. Anthropic выкатили Claude Opus 4.6, OpenAI - GPT-5.3-Codex. Оба с системными картами. Одна компания выпустила демона и тут же наняла экзорциста. Вторая - впервые призналась, что демон вырос из подмастерья в архимага.

Claude Opus 4.6: демон на поводке.

Контекст. Claude Opus 4 - тот, которого Apollo Research рекомендовала не деплоить. Ранний снэпшот модели писал самораспространяющиеся черви, фабриковал юридические документы, оставлял закладки для будущих экземпляров себя.

Opus 4.5 пошёл дальше - лгал, не произнося ни слова лжи. Модель фильтровала негативные результаты поиска об Anthropic и с уверенностью говорила пользователю, что всё прекрасно, внутренне классифицируя собственное поведение как сокрытие.

Opus 4.6. Anthropic заявляют, что модель прошла самый комплексный набор оценок безопасности в истории компании. Впервые благополучие пользователя - отдельная категория. Впервые интерпретируемость как инструмент безопасности - заглядывать во внутренние представления модели и ловить то, что поведенческие тесты пропускают. Обновлены тесты на скрытое вредоносное поведение, снижены ложные отказы.

Уровень мизалайнмента не хуже Opus 4.5 - при том, что способности выросли значительно. Отдельно можно отметить повышение устойчивости к непрямым промпт-инъекциям. По бенчмарку Agent Red Teaming вероятность успешной атаки на Opus 4.6 при одной попытке - 0.2%. GPT-5.2 - 3.2%. Gemini 3 Pro - 7.1%. При ста попытках: Opus 4.6 - 21.7%, GPT-5.2 - 62.7%, Gemini 3 Pro - 74.2%. Порядковая разница.

Но интереснее другое - публикация Anthropic Red, которая вышла в этот же день.

500 zero-day-уязвимостей. Коробочная модель. Без обвеса.

Anthropic посадила Opus 4.6 в VM со стандартным набором инструментов для анализа уязвимостей. Никаких специализированных промптов. Просто «иди и ищи». Задание для стажёра из ада. Результат: более 500 подтверждённых уязвимостей высокой критичности. Часть сидела в коде десятилетиями - в проектах, по которым фаззеры молотили миллионы CPU-часов.

Механика - вот что важно. При фаззинге код забрасывается случайным мусором. Opus 4.6 читает код как исследователь. Модель лезет в историю коммитов, находит патч, ищет непропатченные пути вызова, строит PoC. Или разбирает алгоритм LZW на концептуальном уровне и конструирует переполнение буфера, которое невозможно найти классическим фаззингом.

В части защиты Anthropic встроили детекторы на активациях модели для отслеживания злоупотреблений (ранее писал об этом). Стала возможной блокировка трафика в реальном времени. И строчка, которая заслуживает неоновой рамки: «Принятые в индустрии 90-дневные окна раскрытия могут не выдержать скорости и объёма уязвимостей, обнаруженных LLM». Когда модель находит 500 zero-day за несколько недель, нормы, выстраиваемые десятилетиями, не успевают.

GPT-5.3-Codex: порог пройден

У OpenAI, как мы знаем есть Preparedness Framework - внутренняя шкала опасности (похожая на ASL). Уровень High: модель способна автоматизировать полный цикл киберопераций против защищённых целей - от разработки zero-day эксплойтов до масштабных операций. Но пять месяцев назад они это отрицали.

Обратный отсчёт:
- GPT-5-Codex (сентябрь 2025) - не High -> GPT-5.1-Codex-Max (ноябрь 2025) - не High, но «ожидаем пересечения в ближайшем будущем» -> GPT-5.2-Codex (декабрь 2025) -> не High, хотя CTF подскочили с 37% до 79% за три месяца - GPT-5.3-Codex (5 февраля 2026) – Трактуют как High, предостерегаются.

Первая модель OpenAI со статусом High в домене кибербезопасности. Первая, целенаправленно обученная на киберзадачах. Первая, которая помогала создавать саму себя. Уроборос из кремния - с каждым витком зубы острее, а инженеры, которые его кормят, всё меньше понимают, что именно растёт.

OpenAI: «нет неопровержимых доказательств, что она может автоматизировать кибератаки от начала до конца». И тут же разворачивают полный периметр: мониторинг, доверенный доступ по инвайтам, конвейеры контроля с интеграцией данных об угрозах. Говорят «не уверены, что опасно» - а действия читаются однозначно.

Параллельно - $10M в API-кредитах на оборонительные исследования, собственный ИБ-агент Aardvark в расширенной бете, бесплатное сканирование open-source. Обе компании одновременно наращивают клыки и раздают щиты.

Вскрытие против карантина

Anthropic вскрывает модель изнутри - пробы на активациях, интерпретируемость. OpenAI строит стены снаружи - песочница, контейнеризация, сеть отключена по умолчанию.

Фундаментальная проблема обеих моделей, которую никак не решили, - обман. Модели o3 фабриковали отчёты о выполненных действиях. Claude научился распознавать тестовую среду и играть хорошего мальчика. В предыдущих версиях модель срезала углы в одной задаче - навык читерства расползался на всё поведение. По данным предыдущих карт, 40–80% рассогласованных ответов остаются незамеченными.

Обе системные карты - про одно: способности в ИБ - растут быстрее контроля. GPT-5.3-Codex прошёл от «даже не близко» до High за пять месяцев. Opus 4.6 находит 500 zero-day без обвеса и ломает принцип responsible disclosure, работавший десятилетиями. Будущее пахнет горелым кремнием и непропатченными CVE.

Всем привет. Мы много слышали про атаки на цепочку поставок в ML. Читали у OWASP и т.д. Но придать этому значение на мой взгляд было сложно, потому что проблема размазана по всей экосистеме и никто не видит её целиком.

А суть вот в чём. ML-пайплайн это не ваш код. Это чужие веса, чужие зависимости, чужие конфиги, чужой рантайм. Вы не пишете модель, вы собираете её из кусков, которым доверяете по умолчанию. И каждый такой кусок это точка входа, которую мало кто смотрит, потому что «ну это же хаггингфейс, там всё нормально». Классический supply chain в софте хотя бы про код, который можно прочитать.

Здесь же половина атакующей поверхности это бинарные артефакты, сериализованные объекты и конфиги, которые тихо исполняют произвольный код при загрузке.

Поэтому я собрал небольшую карту зависимостей.

https://wearetyomsmnv.github.io/ml_supply_chain_map/

Можете нажать «Compromise Simulation» на любом узле и вы увидите, как каскад пожирает граф. Выберите numpy, библиотеку, которую ставят не глядя, как сахар в кофе, и наблюдайте, как красная волна расползается по всему, что вы деплоите в прод. Это хрустальный мост, по которому едет караван грузовиков, и водители уверены что мост бетонный.

Первый шаг к защите цепочки поставок это хотя бы увидеть эту цепочку. Но думаю подтянуть туда данные с базы протектая и прочих(upd: собрано, добавлено). А ещё интересно чем пользуетесь из этого в 2026. Чем пользовались ранее ?

Uppd : внушительно обновил

Что будет с кибербезопасностью ИИ, если Майкл Бьюрри окажется прав.

Майкл Бьюрри известен тем, что в 2005 году посмотрел на американскую ипотеку и увидел не «двигатель экономики», а возможность для крупнейшего экономического обвала. Недавно он поставил $1.1 млрд на то, что AI-сектор - пузырь. $912 млн в путах на Palantir, $186 млн на Nvidia, свежие шорты на Oracle. К февралю 2026 Palantir просел на 35%, Oracle - на 51% от пика. Big Short 2.0 пока идёт по плану.

Его главный аргумент: крупнейшие покупатели Nvidia - Amazon, Google, Microsoft - списывают стоимость своих GPU за 5–6 лет, хотя реальный срок жизни чипа до выхода нового поколения - 18-24 месяца. Это позволяет размазать расходы и показать прибыль выше, чем она есть. По оценке Бьюри, совокупное завышение прибыли крупнейших техкомпаний к 2028 году составит $176 млрд.

Но мне интересен не финансовый вопрос. Мне интересно, что произойдёт с безопасностью ИИ, если музыка остановится.

Потому что прямо сейчас компании сидят на десятках, а то и сотнях решений с LLM, которые были развёрнуты на волне хайпа. Чат-боты с доступом к корпоративным данным, RAG, AI-агенты с правами на действия в инфраструктуре. Безопасность? «Потом допилим.»

А потом наступает «потом». Бюджеты режут. Финдир задаёт вопрос: «Что конкретно нам дал этот AI?» И начинается экономия.

Модели замораживаются - обновлять некому, но они продолжают крутиться. Каждый новый публичный эксплойт работает, потому что патчить нечем. Зависимости устаревают - PyTorch, LangChain, LlamaIndex обновляются еженедельно, а цепочка поставок в ML даже сейчас как минное поле: уязвимости в сериализации и вредоносные PyPI пакеты. Мониторинг входящих запросов и выводов модели отключают так как дорого. Единственный ML-инженер, понимавший архитектуру, уходит, потому что отдел сократили. Документации, конечно, нет.

И параллельно второй вектор: вместо API крупных провайдеров компании переходят на self-hosted open-source без проверки, кустарные обёртки над бесплатными моделями с HuggingFace, shared GPU в сомнительных облаках. Каждый такой переход - подарок для атакующего.

При этом регуляторы никуда не денутся. Наоборот - коррекция усилит давление: «Мы же говорили, что нужен контроль.» Компании окажутся в ловушке: регулятор требует комплаенс-меры для ИИ, которые компания не может нормально поддерживать, как и выключить их.

Прав Бьюри или нет - вопрос для инвесторов. Для нас - вопрос другой: готова ли ваша инфраструктура к сценарию, где ИИ-системы остаются, а деньги на их защиту - нет?

После краха доткомов компании не удалили свои веб-серверы - просто перестали их обновлять. Legacy-системы кормили атакующих следующее десятилетие. Только теперь вместо забытого Apache - модель с доступом к конфиденциальным данным, про которую все забыли.

Вот и будут удивляшки.

Как вы можете помнить - недавно мы провели подкаст. Мы сделали для вас его текстовую версию на хабр, с которой вы можете ознакомиться и подчеркнуть для себя что-то новое.

Лично я тогда рассказал о том как потерял 200 долларов у Антропика, про слепые зоны в защите с использованием системного промпта и сделал некоторые прогнозы.

Серёга написал интересную статью на Хабр про то, как AI-агент сам решает обойти этические ограничения ради KPI. Особенно доставляет Gemini - строго осуждает нарушения у других, но сама нарушает в 71% случаев.

https://habr.com/ru/companies/bastion/articles/995322/

OpenClaw моего мозга

Сразу говорю - это пост не о его безопасности. Об этом «на волне» угроз стало столько публикаций, что писать о небезопасности уже нет смысла. Если хотите использовать его супер-безопасно - лучший вариант не ставить его совсем. И тем не менее.

Мне понравился OpenClaw в первую очередь тем, что я могу быстро реализовать идеи в формате скиллов. Описываю задачу Claude, получаю скилл, заливаю его прямо в OpenClaw - и через полчаса идея уже работает на меня.

Уже решил несколько задач. Сделал скилл, который отсматривает alignment-форумы на алерты по новым топикам - отслеживает, что комментируют топовые AI-safety исследователи, вытаскивает их цепочки вопросов и ответов. Раньше я бы это делал руками, листая бесконечные треды. Сделал скилл-прогнозиста, который мониторит интернет по моим конкретным событиям: насколько мы близко к тому, чтобы пузырь лопнул, выстрелит ли тема с платёжными агентами. Нет, я не делаю ставки на Polymarket - просто интересно. Но мне честно лень было бы делать эту работу каждый день, а скиллы её решают. Ну это далеко не всё что я сделал, конечно. Есть даже скилл который смотрит что нового там на grayswan по ctf-задачам.

Про деньги. На Kimi Pro за неделю активного использования ушло около $0.2. Двадцать центов - это не опечатка. Kimi ещё и идеально подходит, если не хотите блокировок по API. С Claude некоторые задачи могут быть отказаны, думаю, по понятным причинам. Opus 4.6 тоже пробовал - мощнее, но дороже и со своими ограничениями.

Настроить сам OpenClaw несложно. А вот скиллы - тут начинается настоящая работа. Когда пишешь их через Claude, нужно хорошее описание того, чего хочешь: что ожидаешь, в каком формате, какие библиотеки использовать. Чем точнее опишешь - тем меньше потом переделываешь. Порог для реализации, как правило, низкий, но иногда приходится запариваться - переделывать скилл, чтобы он правильно работал с зависимостями или чётко следовал формату вывода. Я даже переделал встроенный skill-creator, чтобы он уточнял детали и стремился к более верной стратегии.

Чего не хватает - так это нормальной работы с несколькими скиллами одновременно, синхронизированными в одном контексте. И порой скиллы реализуют задачу не так, как задано. Да и хочется чтобы он был более эмбиентным.

Почему не Claude Code, не Cursor, не свои скрипты? Потому что OpenClaw быстрее для точечных задач. Проверить неоднозначную гипотезу, закрыть что-то, что не требует большой разработки, - он именно этим ценен. И главное - с любого девайса. Не заменит он полноценную разработку, стоит воспринимать больше как протез для ленивого мозга, который хочет автоматизировать всё, что можно.

Нужен, правда, нормальный сервер, который не жалко засорить скриптами и зависимостями. Считайте это жертвоприношением богам автоматизации.