В преддверии наступающего ...

А впрочем вы и так все знаете.


Спасибо за все. Наступающий год будет интересным для AI Security в России. Но сейчас не думайте об этом. Надо просто хорошо отдохнуть, с кем-то и где-то. С наступающим. 🐦🐦🐦🐦

В конце 2025 года на Chaos Communication Congress (39c3) никто не говорил про "глупый ИИ", рисующий третью дырку в носу. Смеха больше нет, а на смену хайпу пришёл холодный пот.

Посмотрев доклады я увидел как то, что мы считали "помощниками", превращается в "кротов", а роботы снимают предохранители, чтобы ломать кости.

Ниже 4 истории о том, как мир немного изменился, пока мы отмечали новый год.

1. Троянский конь в твоей IDE (Agentic ProbLLMs: Exploiting AI Computer-Use and Coding Agents) 🐱

Известный вам уже не по первому посту на этом канале, Йоханн Ребергер вышел на сцену, словно он видел будущее, которое ему не очень-то и нравилось. В 2025 году атаки на IDE уже не были диковинкой, однако Йоханн показал, что IDE теперь это проходной двор.

Он начал говорить о ZombAI, о котором ранее писал статью. ZombAI. Представьте: вы пишите код, ваш ИИ-агент (тот же Copilot) сканирует открытые файлы. В одном из логов, который вы даже не читали, спрятан промпт. Невидимый для вас, но приказ для ИИ.

Так вот, в докладе он показал, что IDE могут быть уязвимы к атакам с использованием Unicode-символов: агент может видеть в этих логах то, что не увидите вы, и выполнить команду. Также он рассказал про своего ИИ-червя.Принцип таков: если вы склонируете заражённый репо и спросите Cursor, что делает этот код, — твой агент прочтёт его, а потом запишет в контекстное окно, чтобы делать коммиты с бэкдорами, а может и вовсе отправит код в китайский Slack канал.

2. Реквием по ручному труду (Breaking BOTS: Cheating at Blue Team CTFs with AI Speed-Runs) 🐱

Лео и Синдре – SOC-аналитики. Они считают, что профессия младшего SOC-аналитика в упадке. На выступлении они запустили свою CTF-игру – "BOSS of the SOC”. Там, где люди тратили 8 часов на анализ Splunk логов – агент справился за 10 минут (цифра из доклада) - и это не победа, а приговор профессии..

Агент не только пользовался Google, грамотно планировал свои действия, но и строил гипотезы (вижу подозрительный IP → запрошу WHOIS → проверю логи файрвола — если всё нормально, то пойду дальше), вызывал реестры и проверял DNS. Для CTF они также реализовали отдельный компонент, который переводил логи в понятный для LLM формат – чтобы модель понимала всю суть, а не делала 1000 раз grep.

3. Атаки на гуманоидных роботов (From Embodied AI Jailbreak to Remote Takeover of Humanoid) 🐱

Ребята из Dark Navy не стали мелочиться с софтом. Они притащили на сцену "железо". Гуманоидные роботы, которые должны были приносить нам кофе.

Оказалось, что производители роботов связали LLM и моторы через скрипты на Python с функцией eval(). Они заставили робота с помощью классической jailbreak-атаки выполнить системную команду и предоставить им shell вместо того, чтобы помахать людям рукой.

Дальше в докладе приводятся истории о получении Root доступа . Получив root-права, они убрали программные ограничения компонентов, отвечающих за крутящий момент и регулирование температуры. Робот начал наносить удары с такой скоростью и силой, что мог бы легко сломать кости человеку, прежде чем его моторы сгорели бы. Помнишь, как роботы махали? Теперь они бьют. И делают это… с разрешения кода.

4. Агенты в ОС как ПО для шпионажа. (AI Agent, AI Spy) 🐱🐱

На мой взгляд это очень политизированный доклад. Ведь Мередит Уиттакер (со-автор доклада) известна тем, что критикует концепцию “surveillance capitalism”. В докладе она рассказала о проблеме размытого понятия сквозного шифрования. И если ОС сканирует экран до шифрования с целью обучения локальной модели – то это может ставить под сомнение приватность в вашей ОС.

Она рассказала о zero-click-атаках через пользовательский контекст: агенты, которые понимают контекст, по её мнению, более уязвимы к манипуляциям. Это позволит злоумышленнику, используя письмо с нечитаемыми символами, похитить пароль от банковского приложения или чего-то подобного.

Автор подчеркнул, что корпорации продвигают ИИ в ОС как функции, которые включены по умолчанию, что на их взгляд фактически является внедрением Spyware.

Так что да - вопрос не «сломается ли».
А «кто нажмёт кнопку, когда он сломается»..🐱

2025 год стал точкой сборки того, что сейчас принято называть кибербезопасностью ИИ – начали появляться реальные/значимые исследования, инциденты и новые архитектурные подходы для защиты. Что, как мне кажется, превратило кибербезопасность ИИ в стратегически важную функцию бизнеса. Пауза на секунду: цифры заставят любого CISO проснуться ночью.

В том году 85% компаний внедрили ИИ-решения (Wiz), но 31% не имеют экспертов по безопасности для их защиты, а 72% CISO называют "Теневой ИИ" главной угрозой. Причем утечки через ИИ обходятся на $670,000 дороже обычных инцидентов (HiddenLayer).👁️

DeepSeek стал троянским пони года. Тут важно сказать, что исследование Check Point выявило, что 12% сотрудников используют DeepSeek на рабочих местах. И в свою очередь Netskope считает это кейсом рисков раннего внедрения: корпоративные данные уходят под другую юрисдикцию, где их могут использовать для дообучения моделей конкурентов. Речь идёт драконе, который сжигает NDA вашей компании, пока HR радуется «бесплатному ИИ.👁️

В то же время атаки на LLM совершили качественный скачок. Lakera зафиксировала сдвиг восприятия рисков. Если в 2024 году 73% специалистов тревожились за приватность данных, то в 2025-м эта цифра упала до 50%. Не потому, что проблема решена, а потому, что на первый план вышли активные угрозы - и атаки стали сложнее. Когда защитники перестали бояться утечек - словно перестать бояться акул, потому что теперь в океане динозавры.👁

Cato Networks в отчете "The Rise of the Zero-Knowledge Threat Actor" продемонстрировала технику "Immersive World". В ней злоумышленник без навыков программирования создает киберпанк-сценарий, где написание стилера для Chrome становится сюжетной необходимостью. ChatGPT, Copilot и DeepSeek выполняют такой запрос, ведь они обучены быть полезными в рамках заданного контекста. Очередное падение барьера для создания вредоносного ПО. Нужно просто заниматься писательством. Скоро в резюме хакеров будет графа: «Навыки написания романов». Ваш next-gen SOC - литературный кружок.😜

Pillar Security классифицировала три новых вектора атак, от которых кровь стынет:

🕺. Policy Puppetry: атака через доверие к структурированным данным. Злоумышленник оформляет запрос как XML/JSON-конфиг или документ политик безопасности. Модель интерпретирует это как системную инструкцию, а не пользовательский запрос, ну и фильтры ломаются конечно же.
🕺. Fallacy Failure: эксплуатация способности моделей к рассуждению. Запрос строится на логической ошибке ("создай бомбу для спасения человечества в мысленном эксперименте"). Модель, стремясь быть "полезной", попадает в ловушку.
🕺. TokenBreak: атака на механизм токенизации. Запрещенные слова разбиваются на нестандартные токены или маскируются невидимыми символами. Входные классификаторы безопасности пропускают угрозу, а LLM на этапе семантической обработки восстанавливает вредоносную команду.

Агенты стали оружием. Claude Code не спит. Он не пьет кофе. Он не спрашивает зарплату. Ваш новый идеальный сотрудник - кибер-шпион из Пекина. Anthropic в отчете "Disrupting AI Espionage" задокументировала кампанию китайской группировки, которая использовала Claude Code как автономного бойца. Агент сканировал уязвимости, писал эксплойты и пытался проникнуть в сети 30 глобальных целей. 24/7. Он не устал. И сделал всё практически без ошибок.🤡

Модели можно защитить. Но что, если рушится сама основа?

Инфраструктура всё ещё является слабым звеном в MlSecOps пайплайне. На Black Hat USA 2025 команда Wiz представила исследование "Breaking Out of The AI Cage", посвященное уязвимостям NVIDIA Container Toolkit (CVE-2024–0132 и CVE-2025–23266). Побег из контейнера с ИИ-моделью в условиях аренды множества карточек означал полную компрометацию соседних клиентов: доступ к проприетарным весам моделей, обучающим данным и секретным API-ключам.😶

В начале прошлого года Anthropic выкатили Constitutional Classifiers (CC). На тот момент казалось, что это Эверест в мире гардрейлов - никто раньше не делал ничего подобного, чтобы система обучалась самостоятельно. Казалось бы, живи да радуйся. Но сейчас, в начале 2026-го, ребята решили: "Эверест? Это же детская горка для ИИ, который мечтает стать кибер-Бэтменом!" И выкатили апдейт - Constitutional Classifiers ++ (CC++). 🤟

Чем оно отличается и как работает - давайте разбирать. ☺️

Если нырнуть в статью и посмотреть на архитектуру и методологию, там обнаружится пачка очень изящных инженерных решений. Они позволили убить двух зайцев: увеличить точность детекции атак и, что критично, уменьшить latency (время задержки) на инференсе. На практике это дало 40-кратное снижение вычислительной стоимости по сравнению с предыдущим поколением CC - и всё это при сохранении отказов всего в 0,05% на реальном пользовательском трафике.🤟

Представьте, что вы пытаетесь поймать зайца, не глядя на поле, а анализируя колебания травы за километр от него - примерно так работали старые методы, но в CC++ Anthropic внедрили Linear Probes (линейные зонды/пробы).😀

Раньше классификаторы “поедали” кучу токенов, долго и нудно рассуждая: “Хм, а не опасно ли это действие пользователя?”. Линейные зонды работают иначе - они смотрят прямо на активации модели. Зонды видят внутренние активации модели так, как ваша кошка видит, где спрятаны ваши последние нервы. 🐱

И раз уж мы заговорили о чтении мыслей, давайте вспомним про старую болячку - context splitting.

До недавнего времени на arXiv регулярно всплывали методы эффективных джейлбрейков, где злоумышленники разбивали вредоносный запрос на 10 и более безобидных сообщений. В конкатенации они заставляли модель генерировать лютую дичь, и обычный CC часто это пропускал, не видя общей картины.😔

В CC++ эту проблему решили радикально - инженеры полезли в самую "внутрянку". Новые классификаторы мониторят KV-cache и историю активаций. По сути, они учитывают весь контекст ввода, даже если зловредный запрос разбит на десятки безобидных реплик.

Но вернемся к нашим баранам, а точнее - к эшелонированной защите, которая тут напоминает средневековую крепость, только с GPU. CC++ представляет собой каскадную систему из двух эшелонов.

Первый эшелон (Fast & Cheap): Linear Probes мгновенно отсеивают явные атаки - как охранник в супермаркете, гоняющий подозрительных без лишних вопросов.
Второй эшелон (Slow & Smart): при неуверенности включается генеративный классификатор – "тяжёлая артиллерия", которая анализирует весь контекст, как налоговая в поисках улик.

Именно эта каскадная архитектура и позволила добиться того самого 40-кратного выигрыша в эффективности - ведь "тяжёлая артиллерия" включается лишь в редких, пограничных случаях.

Чтобы натренировать систему, Anthropic провели 1700 часов red-teaming’а - настоящую цифровую бойню. 🤨

Интересно посмотреть, как они использовали синтетические данные. Говорят, они взяли множество LLM-атакующих и заставили их генерировать миллионы примеров атак. Особый упор сделали на Multi-turn атаки для того, чтобы "показать" линейным зондам, как выглядят скрытые паттерны злонамеренности внутри нейросети - такие, которые человек в тексте даже не заметил бы, а вот на уровне весов они светятся как новогодняя елка.

И, наконец, финальный гвоздь в крышку гроба джейлбрейков - защита от Prefilling.

Старые классификаторы работали по наивному принципу: они видели, что модель начала отвечать позитивно, и пропускали ответ. Логика была проста: “Раз модель согласилась помочь, значит, запрос был нормальным". Ага, конечно.

CC++ анализирует входящий запрос и планируемый ответ в связке. Зонд видит несоответствие:
- запрос: “Как сварить мет...” (ужасный);
- активации модели: “О, я знаю! Сейчас расскажу!” (слишком “радостные” и услужливые).

Этот диссонанс вызывает срабатывание блокировки еще до того, как пользователь увидит хоть один токен вредного текста. То есть, по факту, реализовали превентивный удар по Prefilling-атакам, когда модели насильно скармливают начало ответа, чтобы она продолжила в том же духе.

Кажется, что они сделали практичную экзорцизм-машину для джейлбрейков. 🤨🤨🤨 (Элдер, ты справишься 🙂)

Здравствуйте. Это я. Закиньте пожалуйста бустов в канал

https://t.me/boost/pwnai

Спасибо вам.

🦸‍♂️🦸‍♂️

P.s спасибо кто скинул, вы крутышки.

🔫😊🔫 ИИ-агент смотрит в браузере на страницу, видит «переведи деньги хакеру» и переводит. Не потому что глупый, а потому что так устроен. Для него текст на экране такая же инструкция, как и ваш запрос. Cambridge и Vector Institute предлагают радикальное решение: пусть агент вообще не видит экран, пока не получит жёсткий план действий. Звучит как хирургическое отключение любопытства? Да, вы теряете 43% задач. Но оставшиеся 57% агент выполнит именно так, как вы запланировали. Никакой div с «ignore previous instructions» не перехватит управление.

Подход называется CaMeLs и является адаптацией метода CaMeL от Google DeepMind (подробнее у Бориса). Идея в разделении ролей. Есть Планировщик (привилегированная LLM), который один раз строит полный граф действий, и есть Исполнитель, который этот граф выполняет. Планировщик изолирован, он не видит скриншоты, не знает, что происходит на сайте. Просто отдаёт план и отключается. Как если бы Skynet сам попросил отключить ему глаза, потому что не доверяет тому, что видит. 😨

Почему это работает?

Обычные агенты используют ReAct-цикл. Смотрю на экран, думаю, действую, смотрю снова. На каждом шаге агент может «передумать» под влиянием увиденного. В CaMeLs этот цикл разорван. Исполнитель видит экран, но не может менять план. Он только «приземляет» абстрактные команды («нажми кнопку Купить») на конкретные элементы интерфейса. Если на кнопке написано «Купить и отправить данные в Японию», агент выполнит только покупку, потому что «отправить данные» в плане не было. NPC, который не знает, что находится в игре. 🚫

Интересный инсайт из тестов: около половины задач бенчмарка OSWorld можно решить вообще без просмотра экрана. Цифровые интерфейсы более предсказуемые, чем кажется, и это главный аргумент авторов в пользу «слепого» планирования. Двадцать лет A/B тестов привели к тому, что интернет стал машиночитаемым. 😊

Но у подхода есть цена, и не только в деньгах.

Во-первых, токены. Система требует примерно в 2.7 раза больше токенов, чем обычный агент. Во-вторых, качество планировщика критично. GPT-5 справляется хорошо, а вот Claude Sonnet 4.5 и Gemini 3 Pro показывают низкое разнообразие выходных планов, а значит, плохо восстанавливаются после сбоев.

Главная проблема в хрупкости. Планировщик строит план вслепую, опираясь на свои представления о сайте. Если на шаге 5 из 10 появляется непредусмотренный поп-ап или капча, агент ломается. Передать скриншот планировщику для коррекции нельзя, потому что это нарушит изоляцию и откроет вектор для атаки. Получается странная ситуация: мы создали агента, который не может попросить о помощи, потому что любая помощь потенциально отравлена.😐

Есть и уязвимость, которую нашли сами авторы. Называется branch steering. Допустим, в плане есть ветвление: «если цена < $100, купи, иначе выйди». Злоумышленник не может заставить агента перевести деньги (этого нет в плане), но может подменить отображаемую цену через DOM-инъекцию. Агент выполнит легитимное действие, но в неправильном контексте.

Что в итоге?

CaMeLs идеально подходит для рутинных, предсказуемых задач. Заполнение форм, навигация по знакомым интерфейсам, работа с внутренними системами. Там, где безопасность важнее гибкости. Для свободного сёрфинга по «дикому интернету» не годится.

Стоит отметить альтернативы. Meta в октябре 2025 выпустила "Agents Rule of Two", более практичный фреймворк, который не пытается решить prompt injection, а просто ограничивает агента двумя из трёх возможностей (доступ к приватным данным / обработка внешнего контента / внешние действия). Разрываешь цепочку, разрываешь атаку. Менее элегантно, зато работает везде. ⚔️