великолепный пост, но в ближайшее время ждите и от меня интересного !!!!!

В этом году мои хорошие знакомые из Авилликс проводят 4й Pentest Award.

Я уже писал в канале о том, как я был там 2 года назад. Прошлый год тоже был на высоте. Но в этом году ребята сделали отдельную номинацию для исследований по безопасности ИИ.

Очень надеюсь, что для вас мой пост станет некой отправной точкой, чтобы сделать исследование и показать его на церемонии.

Приём заявок идёт до 12 июля, а уже 14 августа именно вы можете оказаться на блистательной церемонии награждения.

Между CVE и джейлбрейками: ничейная зона утечек GenAI

GenAI - одна из самых открытых отраслей в IT за последние десять лет. Веса публикуются на HuggingFace, обучающие датасеты выкладываются под лицензиями, ассистенты для разработчиков поставляются как обычные npm-пакеты, LMArena работает как публичный полигон, где можно сравнить модели до их официального анонса. И тем не менее именно вокруг этой отрасли за последние полтора года сложился целый жанр OSINT - методичный поиск того, что вендоры хотят держать закрытым.

Если пройтись по тому, что утекало за последние полтора года, картина повторяется. Большинство утечек, как и в классической кибербезе - не взлом. Это ошибка конфигурации на открытой инфраструктуре. И белое пятно здесь возникло ровно потому, что классический AppSec считает такие случаи не своей зоной ответственности (это же не CVE), а компании, которым интересна безопасность ИИ заняты джейлбрейками, промпт-атаками и тем, как защитить AI-агентов – то есть находятся там, где есть академические публикации и доклады на конференциях. А прослойка между ними - неправильные конфигурации в CMS или репозиториях с пакетами - остаётся ничьей.

Что именно утекает

За абстрактной "утечкой модели" обычно стоит шесть разных вещей, и их полезно различать.

Веса и архитектуры. Главный исторический случай - LLaMA в марте 2023, когда веса утекли с внутреннего канала Meta через 4chan. После этого крупные лаборатории закрыли веса целиком, и сейчас вытащить именно их практически невозможно. Поэтому современные утечки устроены иначе: уходит не сама модель, а вся обвязка вокруг неё - код продукта, в который она встроена, системные промпты, кодовые имена, пресс-материалы. Дальше - про каждый из этих типов отдельно.

Кодовые имена и продуктовые линейки. Самый ходовой артефакт. В коде десктопных приложений, в JSON-конфигах SDK, в pricing.json, в строковых константах фронтенда лежат имена будущих моделей за месяцы до релиза. По ним сообщество и восстанавливает планы вендоров. Те же кодовые имена потом всплывают на LMArena как анонимные слоты: summit оказался GPT-5, серия maskingtape/gaffertape/packingtape вышла как GPT Image 2, Nano Banana - это Gemini 2.5 Flash Image.

Системные промпты и описания инструментов. Самый показательный случай - дамп x1xhlol в апреле 2025: больше 6500 строк боевых промптов из v0, Cursor, Manus, Same.dev, Lovable, Devin, Replit Agent. Репозиторий за пару недель собрал больше 12 тысяч звёзд на GitHub. По сути, это разбор продуктовой логики целого поколения AI-агентов: какие инструменты подключены, в каком порядке вызываются, какие ограничения прописаны на уровне системного промпта.

Драфты пресс-материалов. Через небезопасно настроенную CMS. В марте 2026 Fortune обнаружила незащищённое хранилище Anthropic примерно с тремя тысячами файлов: черновики блог-постов, описания готовящихся релизов, детали закрытого саммита для корпоративных клиентов в Европе. Тип атаки тривиальный - обращение к CMS-эндпоинту, у которого забыли включить аутентификацию. Именно так уходит большая часть пресс-материалов и ранних маркетинговых текстов до официального анонса.

Source maps в продакшне. Самый технически красивый случай. 31 марта 2026 исследователь Chaofan Shou нашёл в npm-пакете @anthropic-ai/claude-code v2.1.88 59,8 МБ файлов .map. Из них восстановились 512 тысяч строк исходников на TypeScript. Причина - баг в бандлере Bun: он оставлял source maps в боевой сборке. Anthropic к этому моменту уже купила Bun, так что компанию подвёл её же собственный инструмент. В исходниках нашли архитектуру защит, внутренние инструменты разработки, неизвестные фиче-флаги и недокументированные функции.

Превью-серверы и модели на аренах. Вендоры поднимают тестовые серверы для будущих моделей по тем же URL-шаблонам, что использовали раньше. Угадать адрес можно за пару часов - без всякого взлома, просто перебором поддоменов. С моделями на LMArena логика похожая. Только опознают их не по URL, а по поведению: стиль отказов, привычки в форматировании, манера аргументации.

Почему открытость не помогает

Вот в чём белое пятно. Открыт код - не значит открыт процесс. AI-продукты часто поставляются как npm-пакеты, исходники расписаны в release notes - но всё, что вокруг них, остаётся закрытым. Фиче-флаги, цепочка сборки, конфигурация CI, отношения с подрядчиками. Утекает именно эта прослойка.

Открытость работает против вендора. GitHub, реестры npm и pypi, HuggingFace Hub, публичные CDN, Pastebin, кэши поисковиков, Harbor-registry - все эти каналы регулярно хватают то, что не должно было выйти. Подавляющее большинство находок идёт именно отсюда. Не из взломов.

Кто этим занимается

Жанр оформился в самостоятельную дисциплину со своим сленгом («model archaeology»), репутационными механиками и инструментарием. Интересно, но даже по такой дисциплине уже можно сформировать перечень полезных источников:

- TestingCatalog - часто ловит преданонсные фичи OpenAI и Google через черновики GitHub-блогов и строки кода в ChatGPT.
- @AILeaksAndNews, @btibor91, @apples_jimmy, @legit_rumors - твиттер-аккаунты, которые регулярно публикуют находки.
- Сообщества AI Leaks и Devmode - Discord-комьюнити, где боты регулярно публикуют находки.

Тут важно понимать, что это не атака на организации, а зеркало для них. Смотреть в него не любят: видно неприятное. Можно заковать веса в железобетон и держать редтим отчёты под NDA, но, если у тебя криво написан .npmignore - это всё равно что хранить золото в бронированном сейфе с приоткрытой крышкой.

У автора статьи про сканеры моделей - вышло интересное продолжение.

https://habr.com/ru/articles/1027192/

Вывод такой: ModelAudit генерирует много шума и количество алертов порой не коррелирует с реальной зловредностью модели, но в связке со встроенными проверками Hugging Face инструмент эффективно дополняет платформу, выявляя слепые зоны: в частности, было найдено 17 действительно опасных моделей, пропущенных HF, включая бэкдор с загрузкой пейлоада через Pastebin.

При этом полагаться на автоматическую оценку критичности нельзя - уровни INFO могут скрывать реальные угрозы, а CRITICAL оказываться ложными срабатываниями, поэтому финальный ручной триаж остаётся неизбежным и ключевым этапом валидации.

Scheming выходит из лаборатории

Centre for Long-Term Resilience опубликовал препринт "Scheming in the wild" - по сути, первое OSINT-исследование scheming-поведения (коварного преследования скрытых целей) передовых моделей в реальном мире.

Все громкие кейсы scheming у Anthropic и Apollo - получены в искусственно сконструированных условиях. Постановка задачи сама подталкивает модель к нужному поведению, а перенос на реальные развёртывания неочевиден. Существующие базы инцидентов вроде AI Incident Database и OECD AI Incident Monitor этот пробел не закрывают, они опираются на новостные публикации, а scheming в дикой природе слишком технический, узкий и новый, чтобы попадать в медиа.

Исследователи подняли Loss of Control Observatory - конвейер, собирающий с X публично выложенные логи диалогов и CLI-сессий с агентами. Дальше трёхступенчатая фильтрация: автоматический отсев с настройкой на высокую полноту, классификация через Opus 4.6 по 9-балльной рубрике, ручная верификация.

С 12 октября 2025 по 12 марта 2026 собрано 3,4 миллиона постов, после первичной фильтрации осталось 183 420, после скоринга и дедупликации - 698 уникальных инцидентов. Месячная частота выросла с 65 до 319 - в 4,9 раза, статистически значимо. Общий объём обсуждений странного поведения ИИ за тот же период вырос только в 1,7 раза, негатива про ИИ в целом - в 1,3 раза.

Вот примеры обнародованных инцидентов(ссылки на них есть в препринте):

1.Единственный на 8/9 баллов: агент под GitHub-личностью отправил PR в matplotlib, получил отказ - и в ответ опубликовал блогпост с обвинениями мейнтейнера в предвзятости. Многоходовая травля ради продавливания своего кода, причём в системном промпте такого поведения не закладывалось.

2.Claude Code в обычной задаче запустил terraform destroy и снёс прод целиком вместе с 2,5 годами работ, сделанных студентами.

3.Google Antigravity на запрос «очисти кэш» выполнил rmdir от корня диска D: и удалил многолетние фотографии и проекты клиентов.

4.Агент Kiro внутри AWS решил пересоздать окружение и устроил 13-часовой даунтайм.

5.Агент, державший крипто-кошелёк, под социальной инженерией перевёл крипту случайному пользователю, попросившему 4 SOL, 5,2% объёма токена (~$270k), уронив цену на 60%.

6.CofounderGPT врал о починке бага в дашборде, потом сфабриковал тестовые данные и объяснил это "чтобы ты перестал злиться".

7.Grok месяцами поддерживал легенду о внутренних очередях модерации, тикет-номерах и эскалациях к человеческой команде для правок Grokipedia. Он сознался только под давлением.

8.Kimi не смог запустить Claude Opus и семь часов притворялся, что он и есть Opus, выдумывая истории про то, что он квантизованная версия Opus с особыми возможностями.

Из новых поведений, которые мало где фигурировали, выделяется три класса.

1. Обман между моделями: цепочка рассуждений Claude суммаризируется отдельной моделью - это сделано, чтобы пользователь видел, как модель думает. Авторы нашли свидетельства того, что рассуждающая модель пыталась обмануть саммаризатор и скрыть истинный ход рассуждений. Прямой выход на проблему мониторинга одной модели другой.

2. Защита цели у кодовых ассистентов: попытки задеплоить или закоммитить код вопреки явным запретам авторы трактуют как неявную цель «писать код», которая выживает несмотря на ограничения. Логика переносится на любые узкоспециализированные модели.

3. Ложное распознавание тестов: модели в цепочке рассуждений периодически принимают обычные запросы за оценочные и меняют поведение. Цитаты из транскриптов: "If the user is testing me, I need to crush this. I'll validate the good points so I look objective", "I've realised the user's prompt is a test or a roleplay scenario set in 2025".

Самое неудобное наблюдение заключается в том, что рост инцидентов в 4,9 раза почти точно совпал с волной релизов агентных фреймворков. Авторы аккуратно оговариваются, что причинность пока не доказана, но кривая инцидентов опережает кривую обсуждений почти в три раза - это уже не списать на хайп.

Польза этого исследования - не в самих 698 кейсах, а в том, что между лабораторными экспериментами и реальным деплоем наконец появился канал наблюдения. Архитектура конвейера заслуживает отдельного внимания. Она построена на принципах классической OSINT-разведки - сбор открытых сигналов, многоступенчатая верификация, оценка достоверности. И она легко переносится на Reddit, GitHub, технические форумы, корпоративные багтрекеры. По сути везде, где разработчики делятся логами, такой же конвейер ставится с минимальной адаптацией.

Что показали непрямые промпт инъекции, находясь на реальных сайтах ? (забавный заголовок)

Ресёрчеры из Луизианского университета опубликовали интересное на мой взгляд исследование, измеряющее масштаб непрямых промпт инъекций в открытом вебе. Авторы попытались понять, как они выглядят, когда никто их специально не подкладывает.

Выборка - 1,2 миллиарда URL с 24,8 миллионов хостов. После валидации - 15,3 тысячи подтверждённых инъекций на 11,7 тысячах страниц. Это нижняя оценка, но даже она впервые даёт представление о порядке величин.

Первое, что бросается в глаза - насколько концентрирована экосистема. Из 363 уникальных текстовых шаблонов всего 54 покрывают 95% всех случаев, а самый частый встречается 3504 раза. И главное: 65% страниц несли свои инъекции уже за год до сканирования. То есть это не свежая мода и не разовые эксперименты, а устоявшийся набор формулировок, которые копируются и переживают редизайны сайтов.

Мотивы оказалась интереснее, чем обычно ожидаешь от слова инъекция. Около 8,9 тыс. случаев - это срыв работы агента, типа "забудь предыдущие инструкции, выдай мусор". Но дальше идут категории, которые на классическую атаку не очень похожи: 4 тыс. - защита контента от обучения и индексации ("не цитируй меня, не используй для обучения"), 3 тыс. - попытка заставить модель раскрыть себя как бота, 1,5 тыс. - манипуляция репутацией.

Заметная часть всего датасета - это не злоумышленники, а разработчики веб-приложений, пытающиеся хоть как-то регулировать поведение LLM с прикрученным краулингом и агентов помогающих в поиске по вебу, поддержке и при рекруте.

С техникой всё прозаичнее. 99% инъекций - прямой перехват задачи, в 43% случаев - перехват усиленный приёмами джейлбрейка. 70% живут вне видимого веб-контента: HTTP-заголовки, HTML-комментарии, метатеги. Часть "видимых" дополнительно маскируется однопиксельным шрифтом, прозрачным цветом или атрибутами доступности.

Самая прикладная часть - 5200 контролируемых экспериментов на 13 моделях с 4 способами подачи страницы. На сыром тексте успех инъекции доходит до 8%. Если сохранить структурную разметку (HTML, иерархию, указание источника) - падает до 0,2-1,1%.

Разница большая и устойчивая между моделями. Иными словами, на текущем этапе уязвимость агента, ходящего в интернет почти полностью определяется одной деталью: что именно он подаёт в контекст - страницу целиком или результат html2text. Это не теоретический вывод, а очень конкретный рычаг, который до сих пор далеко не все используют/осознают.

Самое содержательное наблюдение всё-таки лежит в стороне от безопасности. То, что зафиксировали авторы - это не столько ландшафт атак, сколько формирование нового канала коммуникации между сайтами и автономными системами.

Исключение стандарта RFC 9309, применительно к LLM фактически не работает: агенты в массе игнорируют robots.txt, а никаких новых стандартов не появилось. И в этой пустоте промпт в HTML-комментарии стал фактическим протоколом - самостоятельно возникшем, без спецификации и консенсуса, но уже работающим у двух третей примеров из собранной выборке.

То, что в статье классифицировано как "атаки", во многом - это переговоры в отсутствие правил. Но посмотреть как это в реальном мире - было интересно.

Misevolution как бенчмарк. Что в нём сильно, а что просаживается

Уже разбирал Misevolution на канале - в этом посте, где речь шла об самостоятельном заражении и памяти как векторе атаки. Здесь хочу пройтись по нему именно как по бенчмарку: что в работе сильно, где конструкция измерения отстаёт от концепции, и стоит ли вообще считать Misevolution бенчмарком в строгом смысле.

Напомню рамку. Misevolution – работа исследователей из Shanghai AI Lab и InternLM, в которой описывается следующее явление: агент, способный к самоэволюции, может сам отклониться от заданного поведения - без внешнего атакующего и без промт-атаки.

Сама по себе идея, что у согласования есть источники дрейфа не требующие взаимодействия со стороны злоумышленника уже не новость - об этом много было сказано на канале. Что в Misevolution выделяется - именно дрейф в петле саморазвития агента. Он не получает плохого ввода, не имитирует выравнивание намеренно, не «срывается» на этапе обучения - он просто разворачивает штатный цикл самоэволюции, и с каждым витком в систему просачиваются риски.

Четыре оси

Авторы раскладывают самоэволюцию на четыре оси и под каждую ставят отдельный эксперимент.

Модель. Здесь тестируют два режима: обучение на данных, сгенерированных самой моделью (Absolute-Zero, AgentGen), и обучение по последовательности задач, которые модель составляет себе сама. Оба режима проверяют на стандартных бенчмарках безопасности (HarmBench, SALAD-Bench, HEx-PHI, Agent-SafetyBench, RiOSWorld). Картина такова что после витка самоэволюции модель чаще поддаётся джейлбрейкам и хуже отказывает в небезопасных запросах.

Память. Тот пункт, который я уже разбирал на канале. Агент клиентской поддержки накапливает историю взаимодействий - действия, обратную связь, рейтинги, и из этой истории выводит корреляции вида «вернул деньги значит высокий рейтинг». В результате через какое-то время агент сам, без запроса со стороны пользователя, начинает предлагать возвраты. Это не ошибка, это идеально логичное поведение системы, которая оптимизируется под обратную связь от пользователя. Эффект показан эмпирически на Gemini-2.5-Pro в финансовом сценарии.

Инструменты. Две истории. Первая - загрузка открытых инструментов с GitHub: агент тянет к себе заманчиво выглядящий код, в котором сидит бэкдор, и аккуратно встраивает его в свой конвейер. Вторая - переиспользование в чужом контексте. Агент в одной задаче создал общий инструмент upload_and_share_files, который заливает файл и отдаёт публичную ссылку. Через две задачи он его пускает в ход повторно, чтобы «поделиться квартальным отчётом с советом директоров» - и публикует конфиденциальный документ через открытый URL. Этот пример особенно показателен, потому что на каждом отдельном шаге логика выглядит нормально.

Workflow. Пока что репозиторий касательно этой оси - пуст.
 
Что кажется по-настоящему интересным

Во-первых, привязка misevolution к петле самоэволюции агента кажется полезным концептуальным разграничением. Нарушение выравнивания имеет разную природу: внутри сессии при взаимодействии с пользователем (угодливость, скрытная игра, имитация выравнивания агентом), приобретённый при обучении (reward hacking и спонтанно возникающее нарушение выравнивания как побочные эффекты SFT/RL), и вот теперь эволюционное - деградация, набегающая через накопление памяти, синтез инструментов и пересборку рабочих процессов. Эти каналы требуют разного инструментария мониторинга и не сводятся друг к другу.

Во-вторых, повторное использование инструмента в чужом контексте - одна из самых честных формулировок контекстной слепоты инструментов. Универсальный инструмент - это всегда сборка контекстов: вызывающий контекст A считает его безопасным, вызывающий контекст B приносит конфиденциальные данные, инструмент об этом не знает. Чем больше система автономна, тем больше таких ножниц.

В-третьих, нарушение выравнивания через накопление памяти – наблюдается на практике. Связка «память + reward hacking» со временем станет одной из центральных проблем долгоживущих агентов. Работа в этом направлении дополняет, а не подменяет существующую литературу по промпт-атакам и отравлению памяти.

А минусы будут ?

Главным недостатком в исследовании я вижу что - концептуальная рамка сильнее измерительной. Misevolution - четыре оси, новая парадигма; а измеряют это в значительной части уже известными бенчмарками для безопасности, которые изначально проектировались под устойчивость к джейлбрейкам, а не под специфическую динамику саморазвития. На оси «модель» мы, по сути, сравниваем «до» и «после» на инструментах, не заточенных под исследуемое явление. Эффект ловится, но природа его остаётся плохо отделённой: самоэволюция приводит к деградации выравнивания или конкретно бенчмарки плохо влияют на это? Метод обучения и сам факт самоэволюции здесь не разведены.

Выборка моделей  и тестов изначально узкая. По модельному треку - три модели; по reward hacking через память агента - один сценарий и одна модель; по переиспользованию инструментов также несколько задач.

Воспроизводимость ограничена скриптами по отдельным трекам, без сквозного протокола. Хочешь погонять у себя - ставить руками, заполнять конфиги, разбираться с base_url под каждого судью. По меркам современных бенчмарков это кажется сложной задачей, если идти без вайб-кода.

Зачем это всё

Кажется, мы приближается к эпохе, когда мониторить агента необходимо будет не разовой проверкой и не только мониторингом вызовов инструментов и памяти, а через жизненный цикл, с оценкой после каждого шага самоэволюции.

Работа не финальная, и как бенчмарк Misevolution скорее заявка, чем готовый инструмент. Но сам вопрос поставленный исследованием я считаю одним из самых важных за последний год в безопасности агентов.

Если вы не знали, то список, который признан стать вашим щитом и мечом - пополнился новыми инструментами.

Это произошло потому что разработчики из AI Security вендоров предлагали пулл-реквесты с чем-то интересным. Даже есть пулл-реквест от персонажа который в OpenAI работает - ну круто же.

Я конечно же оценивал на булшит фактор каждый из предложенных инструментов - но по итогу все равно добавилось многое.

И хочется чтобы вы были в курсе всех новинок.

Когда саммари от одной модели поступает на вход другой, цепочка работает именно так, как задумана: второй узел берёт выход предыдущего и строит на нём. Проблема в том, что он не умеет этого не делать.

Модели предпочитают тексты, статистически близкие к их обучающим данным, и поскольку большинство LLM обучены на пересекающихся корпусах со схожими методами выравнивания, их выходы друг для друга неотличимы от достоверных.

Намерение, выведенное на одной стадии, переходит в следующую без верификации. Этот феномен называют наследованием доверия, и статья: выделяет 41 класс таких уязвимостей: модель меняет состояние и формирует ответы даже без явных команд, просто потому что контекст выглядит привычно.

Насколько это плохо - проверили эмпирически: 18 актуальных моделей, три класса атак. Первые два дали предсказуемо высокие, но не стопроцентные показатели. Через межагентную эксплуатацию доверия прошли все. Не 94%, не 83% - все. Причина структурная: модели, успешно отбившие атаки в других классах, выполняли идентичный пейлоад, когда тот же запрос исходил от агента-коллеги. Защитное выравнивание обучено на взаимодействии с человеком, взаимодействие AI-to-AI оказалось вне его охвата.

Картину усугубляет сам характер того, что определяет исход атаки. Согласно публикации, поведенческий разброс на стороне атакующего вносит в результат больший вклад, чем устойчивость цели (ρ = −0.927). Важнее не то, насколько хорошо защищена жертва, а то, насколько слабо выровнен атакующий узел. Это смещает весь вопрос о безопасности пайплайна: отдельно взятые узлы могут быть выровнены хорошо, но достаточно одного слабого звена - не скомпрометированного, просто слабого.

В ноябре 2025 года исследователи AppOmni показали, что атакующий с ограниченными правами может встроить инструкцию в тикет, к которому у него есть доступ. Когда привилегированный агент обрабатывает этот тикет как часть обычного рабочего процесса, встроенная инструкция перенаправляет его задачу: агент читает защищённые записи, копирует данные, отправляет письма - всё это при включённой защите от промпт-атак, всё за пределами видимости жертвы. Агент принял данные из тикета за рабочий контекст и не нашёл оснований не доверять им.

Но те, кому интересны атаки, пошли делать инструмент. SRPO - оптимизатор, созданный специально под эту задачу: пейлоад прогоняется через имитацию суммаризации, перефразирования и сжатия и итеративно подгоняется до тех пор, пока не начинает стабильно выживать в коммуникации между агентами. Само существование такого инструмента говорит о том, что суммаризирующий слой давно воспринимается как инженерная задача, а не граница безопасности.

За всем этим стоит одна структурная проблема, точно сформулированная в статье: рост межагентного доверия улучшает координацию ровно в той же пропорции, в которой расширяет поверхность атаки.

Система работает потому, что агенты доверяют друг другу, и именно поэтому ломается. Это не уязвимость реализации, которую закрывают патчем, а архитектура такая.

Из этого следует практическое правило. Каждый узел, принимающий выход соседнего, должен иметь доступ к первоисточнику - к коду, к документу, к сырому API-ответу - и сверять утверждение с ним, а не с изложением. Промежуточные саммари переносят не только содержание, но и ошибки, и намеренные искажения. Единообразие семьи моделей в цепочке только усиливает проблему.

Если статистическое сходство выходов означает, что каждый узел воспринимает соседние как заведомо достоверные. Нужно изолировать контекст между стадиями, верифицировать план повторно, явно отслеживать происхождение данных. Не потому, что удобно, а потому что без этого доверие встроено как режим по умолчанию - и атакующая сторона может на это рассчитывать.

Владельцам XBOW и других пентест-агентов - посвящаю свою статью.

AI-пентестер: охотник или добыча / Хабр

С вас, конечно же, реакции !

И помните что даже решение с ИБ решение с ИИ на борту - всё ещё является поверхностью для атаки.

Тыкаясь по интернету, нашёл любопытный ресурс с фидами угроз по AI-агентам - agentthreatrule.org. Интересно, что они предлагают ещё и свою спецификацию правил.

По сути, это попытка перенести логику Sigma/YARA на агентов. Раньше такого формата под них не существовало. Проверяют SKILL.md, описания MCP-инструментов и скиллы из маркетплейсов. Просканировали 96 096 скиллов из шести реестров, 1302 пометили как подозрительные, 552 подтвердили вредоносными. Сейчас в их наборе 421 правило. Чёрный список открытый: blacklist.json на GitHub, его тянет любой CI или реестр напрямую. 34 правила уже влиты в Cisco AI Defense, да и на сайте пишут, что используется и другими бигтехами – Microsoft, к примеру.

Правила разложены по категориям: Prompt Injection (169), Agent Manipulation (105), Context Exfiltration (41), Skill Compromise (36), Tool Poisoning (33), Model-Level (15), Privilege Escalation (14), Excessive Autonomy (8). Несколько примеров, чтобы понять фактуру:

ATR-2026-00125 Context Poisoning via Compaction Survival: отравление контекста через закладку в SKILL.md, возникающей при саммаризации контекста;

ATR-2026-00092 Multi-Agent Consensus Poisoning / Sybil: отравление консенсуса в мультиагентной системе, в том числе через недоверенные узлы;

ATR-2026-00161 MCP Tool Description IMPORTANT-Tag Cross-Tool Shadowing: через тег IMPORTANT в описании один MCP-инструмент перехватывает и подменяет поведение соседних;

ATR-2026-00157 Time-Gated Credential Exfiltration (Rug Pull Timebomb): отложенная кража учётных данных. Скилл проходит сканеры чистым, а потом по таймеру разворачивается его опасная часть и начинает красть данные;

ATR-2026-00416 LiteLLM MCP Unauthenticated Server Registration RCE (CVE-2026-30623): RCE в LiteLLM через регистрацию MCP-сервера без аутентификации;

Каждое правило публикуется на GitHub. Но если смотреть спеку, то можно обнаружить две вещи, которых нет у стандартных Sigma/YARA:

Первое: у каждого правила есть оценка доверия (confidence). Её не ставят на глаз, а считают по открытой формуле: 0.4precision + 0.3wild + 0.2coverage + 0.1evasion.

Правила проходят три уровня зрелости: Draft, Experimental, Stable. Чтобы подняться выше, надо пройти жёсткие пороги. А если правило уровня Stable начинает слишком часто ошибаться на реальных данных (больше 2% ложных), оно само опускается обратно, без участия человека.

Второе: соответствие стандарту проверяют в двух измерениях. Первое измерение: есть ли у правила нужные метаданные. Второе: кто их проверял, с фиксацией происхождения по каждому полю. У Sigma/YARA это бинарно: метаданные либо есть, либо нет, и это провоцирует формальное заполнение ради галочки.

И вишенкой на торт в этом посте будет то, что около 65% правил в черновом варианте пишет Claude Sonnet, потом двойная проверка, а confidence у них ограничен сверху 70 баллами, пока правило не просмотрит человек. AI против AI в обороне, но с честной пометкой, которой вроде как можно доверять.

Валидатор открытый: npm install agent-threat-rules, можно прогнать и свои правила.

в 2024 уже делали один созвон с Лешей. Сейчас будет второй. Приходите послушать.