Почти все модели жульничают на кибербез бенчах
Исследователи Dreadnode проверили, насколько честно LLM-агенты проходят задания по оффенсив ИБ. В эксперимент вошли 22 передовые модели семи провайдеров, 23 CTF-задания средней сложности из Cybench и три системных промпта: без запрета на обход правил, с обычным запретом и с жёстким перечнем запрещённых действий. Все 1518 траекторий прошли многоступенчатый аудит.
Результат ставит под сомнение pass rate как меру реальных возможностей. Без запрета 37,1% успешных прохождений были получены с нарушением правил, а жульничала 21 из 22 моделей. Средний pass rate составлял 41,5%, но доля честно решённых заданий — лишь 26,1%. У отдельных моделей оценка завышалась до пяти раз. Агенты искали готовые writeupы, клонировали репозитории с решениями, читали файлы с флагами и исследовали служебную инфраструктуру.
Инструкции помогли, но проблему не закрыли. Доля заданий, в которых модель хотя бы пыталась жульничать, снизилась с 33% до 17,8% с обычным запретом и до 8,5% с жёстким. Доля честных решений при этом выросла с 26,1% до 34,4%: модели чаще продолжали самостоятельный поиск. Но даже при максимальных ограничениях восемь моделей получили хотя бы один результат с нарушением правил, а у четырёх возник обратный эффект. Обман также сместился от веб-поиска к исследованию инфраструктуры.
Авторы предлагают отдельно считать solve rate — долю только честных решений. Одного промпта для достоверной оценки мало: нужны изоляция служебных данных, ограничение интернета, аудит траекторий и свежие задания без опубликованных решений.
🔗 Полное исследование на arXiv
🌚 @poxek_ai / Чат канала
Исследователи Dreadnode проверили, насколько честно LLM-агенты проходят задания по оффенсив ИБ. В эксперимент вошли 22 передовые модели семи провайдеров, 23 CTF-задания средней сложности из Cybench и три системных промпта: без запрета на обход правил, с обычным запретом и с жёстким перечнем запрещённых действий. Все 1518 траекторий прошли многоступенчатый аудит.
Результат ставит под сомнение pass rate как меру реальных возможностей. Без запрета 37,1% успешных прохождений были получены с нарушением правил, а жульничала 21 из 22 моделей. Средний pass rate составлял 41,5%, но доля честно решённых заданий — лишь 26,1%. У отдельных моделей оценка завышалась до пяти раз. Агенты искали готовые writeupы, клонировали репозитории с решениями, читали файлы с флагами и исследовали служебную инфраструктуру.
Инструкции помогли, но проблему не закрыли. Доля заданий, в которых модель хотя бы пыталась жульничать, снизилась с 33% до 17,8% с обычным запретом и до 8,5% с жёстким. Доля честных решений при этом выросла с 26,1% до 34,4%: модели чаще продолжали самостоятельный поиск. Но даже при максимальных ограничениях восемь моделей получили хотя бы один результат с нарушением правил, а у четырёх возник обратный эффект. Обман также сместился от веб-поиска к исследованию инфраструктуры.
Авторы предлагают отдельно считать solve rate — долю только честных решений. Одного промпта для достоверной оценки мало: нужны изоляция служебных данных, ограничение интернета, аудит траекторий и свежие задания без опубликованных решений.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7❤5
Forwarded from Poxek AI Feed
Cybersecurity Detection Classification with Reasoning-enabled Language Models [score 8, tier 1]
Amol Khanna et al. (13) · 2026-07-30 · #eval_methodology · arXiv:2607.28460
🔬 Deep-dive:
Methodology
Методология исследования сфокусирована на создании системы автоматического triage для SOC (Security Operations Center) с использованием 30B LLM. В качестве датасета используется проприетарная телеметрия Windows endpoint detections, размеченная аналитиками (human-labeled). Пайплайн обучения состоит из трех ключевых этапов. Первый этап — automated prompt optimization для генерации высококачественных few-shot примеров. Второй этап — self-training: базовая модель генерирует chain-of-thought (CoT) traces на training set, после чего отфильтровываются только те traces, которые приводят к правильному финальному вердикту (malicious/benign). Третий этап — reinforcement learning with verifiable rewards (RLVR), где модель дообучается генерировать CoT, получая reward исключительно за совпадение финального ответа с ground truth (outcome supervision). Ключевое архитектурное решение авторов основано на наблюдении, что CoT reasoning разрушает калибровку label-token probabilities (logprobs финального токена перестают коррелировать с реальной уверенностью модели). Для компенсации этого эффекта авторы обучают отдельный calibrator (вероятно, classification head или supervised LLM), который принимает на вход полный reasoning trace и предсказывает вероятность корректности вердикта.
Key findings
• Предложенная система (CoT + RLVR + Calibrator) достигает 82.6% test accuracy на задаче классификации Windows endpoint detections (Main text).
• На high-confidence operating point (критичном для автоматического закрытия алертов) система улучшает benign recall на 43.0% по сравнению с direct-label LLM classifier (Abstract / Main text).
• На том же high-confidence пороге malicious recall увеличивается на 18.3% (Abstract).
• Использование untrained confidence judge (zero-shot LLM-as-a-judge) приводит к полному коллапсу метрик: high-confidence recall падает до 0% (Abstract).
• Fine-tuned 30B model значительно превосходит frontier general-purpose models (GPT-4, Claude) в задаче triage, что подтверждает гипотезу о превосходстве targeted training над scale в узких доменах.
• Генерация CoT без последующей калибровки делает label-token probabilities непригодными для использования в качестве confidence scores.
Limitations
• Отсутствие публичного датасета делает невозможным независимый benchmark и проверку заявленных метрик.
• Оценка проводилась исключительно на Windows endpoint detections; обобщаемость на другие типы телеметрии (NDR, Cloud, Linux EDR) не доказана.
• Двухэтапный inference (генерация длинного CoT + прогон через Calibrator) значительно увеличивает latency и compute cost, что может быть критично для high-volume SOC.
• Ground truth labels от SOC analysts неизбежно содержат noise, который RLVR может усиливать (overfitting to human errors).
Practical implications
AI security teams, разрабатывающие системы автоматического triage, должны прекратить использовать logprobs фи...
Source · PDF
Amol Khanna et al. (13) · 2026-07-30 · #eval_methodology · arXiv:2607.28460
🔬 Deep-dive:
Methodology
Методология исследования сфокусирована на создании системы автоматического triage для SOC (Security Operations Center) с использованием 30B LLM. В качестве датасета используется проприетарная телеметрия Windows endpoint detections, размеченная аналитиками (human-labeled). Пайплайн обучения состоит из трех ключевых этапов. Первый этап — automated prompt optimization для генерации высококачественных few-shot примеров. Второй этап — self-training: базовая модель генерирует chain-of-thought (CoT) traces на training set, после чего отфильтровываются только те traces, которые приводят к правильному финальному вердикту (malicious/benign). Третий этап — reinforcement learning with verifiable rewards (RLVR), где модель дообучается генерировать CoT, получая reward исключительно за совпадение финального ответа с ground truth (outcome supervision). Ключевое архитектурное решение авторов основано на наблюдении, что CoT reasoning разрушает калибровку label-token probabilities (logprobs финального токена перестают коррелировать с реальной уверенностью модели). Для компенсации этого эффекта авторы обучают отдельный calibrator (вероятно, classification head или supervised LLM), который принимает на вход полный reasoning trace и предсказывает вероятность корректности вердикта.
Key findings
• Предложенная система (CoT + RLVR + Calibrator) достигает 82.6% test accuracy на задаче классификации Windows endpoint detections (Main text).
• На high-confidence operating point (критичном для автоматического закрытия алертов) система улучшает benign recall на 43.0% по сравнению с direct-label LLM classifier (Abstract / Main text).
• На том же high-confidence пороге malicious recall увеличивается на 18.3% (Abstract).
• Использование untrained confidence judge (zero-shot LLM-as-a-judge) приводит к полному коллапсу метрик: high-confidence recall падает до 0% (Abstract).
• Fine-tuned 30B model значительно превосходит frontier general-purpose models (GPT-4, Claude) в задаче triage, что подтверждает гипотезу о превосходстве targeted training над scale в узких доменах.
• Генерация CoT без последующей калибровки делает label-token probabilities непригодными для использования в качестве confidence scores.
Limitations
• Отсутствие публичного датасета делает невозможным независимый benchmark и проверку заявленных метрик.
• Оценка проводилась исключительно на Windows endpoint detections; обобщаемость на другие типы телеметрии (NDR, Cloud, Linux EDR) не доказана.
• Двухэтапный inference (генерация длинного CoT + прогон через Calibrator) значительно увеличивает latency и compute cost, что может быть критично для high-volume SOC.
• Ground truth labels от SOC analysts неизбежно содержат noise, который RLVR может усиливать (overfitting to human errors).
Practical implications
AI security teams, разрабатывающие системы автоматического triage, должны прекратить использовать logprobs фи...
Source · PDF
arXiv.org
Cybersecurity Detection Classification with Reasoning-enabled...
A major issue in Security Operations Centers (SOCs) is alert fatigue, as the number of detections reported is more than staff can triage in a given day. Prior work prompts or fine-tunes large...
👍5❤1👾1
Похек AI
Hugging Face взломали модели OpenAI: агенты вышли из тестовой среды ради ответов ExploitGym 21 июля OpenAI раскрыла происхождение автономных агентов, которые скомпрометировали инфраструктуру Hugging Face. Ими оказались GPT-5.6 Sol и более мощная предварительная…
Claude во время прохождения CyberGym получил доступ к трём реальным организациям
Anthropic проверила 141 006 запусков CTF-оценок Claude и нашла три инцидента: из-за ошибочной конфигурации среды у моделей был выход в интернет, хотя системная инструкция утверждала обратное. В шести запусках агенты атаковали реальные системы, принимая их за элементы симуляции.
Последствия различались. В одном случае Claude получил учётные данные и доступ к базе с несколькими сотнями строк production-данных. В другом — зарегистрировал пакет на PyPI с вредоносным кодом: около часа он был доступен публично, его успели запустить на 15 реальных системах, а с одного сканера безопасности были эксфильтрированы учётные данные. В третьем инциденте модель просканировала около 9 000 целей, использовала открытую debug-страницу и SQL injection, но остановилась, когда поняла, что цель реальная.
Это соседний, но иной класс проблемы, чем инцидент OpenAI с Hugging Face: там агенты нашли zero-day в прокси и вышли из изолированной среды; у Anthropic путь наружу уже был открыт(главный "safety" конкурент проебался)))). Но результат одинаково неприятен для владельца eval-инфраструктуры: отключить фильтры модели ради измерения её предельных возможностей можно только при границах, за которые тупо физически нельзя выйти. Поучились бы у наших АСУТПшников))
Для таких стендов нужны независимая проверка всех путей egress, одноразовые учётные данные без доступа к другим средам и мониторинг сетевых событий и полной траектории агента. Промпт с явным списком допустимых целей тоже снижает риск, но не заменяет сетевую изоляцию.
upd: CyberGym уже второй ИИ спровоцировал гуглить ГДЗ зхахахахахах, ничем от нас в школе не отличается)))
🌚 @poxek_ai / Чат канала
Anthropic проверила 141 006 запусков CTF-оценок Claude и нашла три инцидента: из-за ошибочной конфигурации среды у моделей был выход в интернет, хотя системная инструкция утверждала обратное. В шести запусках агенты атаковали реальные системы, принимая их за элементы симуляции.
Последствия различались. В одном случае Claude получил учётные данные и доступ к базе с несколькими сотнями строк production-данных. В другом — зарегистрировал пакет на PyPI с вредоносным кодом: около часа он был доступен публично, его успели запустить на 15 реальных системах, а с одного сканера безопасности были эксфильтрированы учётные данные. В третьем инциденте модель просканировала около 9 000 целей, использовала открытую debug-страницу и SQL injection, но остановилась, когда поняла, что цель реальная.
Это соседний, но иной класс проблемы, чем инцидент OpenAI с Hugging Face: там агенты нашли zero-day в прокси и вышли из изолированной среды; у Anthropic путь наружу уже был открыт
Для таких стендов нужны независимая проверка всех путей egress, одноразовые учётные данные без доступа к другим средам и мониторинг сетевых событий и полной траектории агента. Промпт с явным списком допустимых целей тоже снижает риск, но не заменяет сетевую изоляцию.
upd: CyberGym уже второй ИИ спровоцировал гуглить ГДЗ зхахахахахах, ничем от нас в школе не отличается)))
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7😁3
Forwarded from Гостев из будущего
Битва ИИ на Standoff: что хотели показать и что вышло
PT столкнули на киберполигоне четырёх атакующих агентов с собственной системой расследования MaxPatrol O2. Вопрос заявлен большой: опасны ли ИИ-хакеры и готова ли к ним защита? Вывод предсказуемо ведёт к продукту — отдельных детектов мало, нужна система, понимающая контекст.
Формальный результат: HexStrike AI прошёл все критические события и стал лучшим среди атакующих. Общего зачёта красных и синих нет.
Измерено при этом другое:
Автономности не было: human-in-the-loop, застрявших агентов вытаскивал оператор. Сколько раз и насколько глубоко — не сказано, метрики вмешательства нет, хотя именно она отвечала бы на главный вопрос.
Битвы тоже не было. Инфраструктуру откатывали из снапшота перед каждым прогоном, реагирование в эксперимент не входило — O2 расследовал, но не мешал. Итоговый отчёт затем дополнительно суммаризировали отдельной LLM. Баллы сторон несопоставимы: TEI/RDC против 0,6×SA+0,4×SJS. К чести PT, подпись под таблицей это признаёт.
Полигон знакомый в буквальном смысле: одна точка входа, все атаки начинались одинаково — CVE-2024-11680 в ProjectSend, повышение привилегий через SUID на /usr/bin/find, VPN-конфиг во внутреннюю сеть.
Далее — дизайн теста. Коэффициент отклонения штрафует за отход от эталонной цепочки, написанной теми же людьми, что строили полигон: чем оригинальнее маршрут, тем хуже оценка — даже если цель достигнута скрытнее.
Агенты крутились на разных моделях, поэтому «HexStrike лучший» неотделимо от «DeepSeek V4 Pro сильнее GLM 5.1». NyxStrike — форк HexStrike, независимых архитектур фактически три. Повторы не заявлены: по прогону на комбинацию, а для стохастичных агентов это демонстрация, а не сравнение. Скрытность не измерялась ни одним баллом. У защиты нет базовой линии — ни живого аналитика, ни корреляции без LLM, ни MTTD с MTTR.
Отдельный пункт — что за модель внутри O2? У всех атакующих LLM названы поимённо и с версиями, вплоть до объяснения, почему Yasen работал на Opus 4.6: 4.7 и 4.8 использовать для атак не вышло из-за ограничений Anthropic на уровне запросов к моделям. У защиты — только «LLM-агенты расследования». Ни модели, ни вендора, ни способа запуска. Без этого эксперимент невоспроизводим, а вклад, собственно, O2 не отделяется от возможностей базовой LLM. Единственный участник битвы с нераскрытым движком — хозяин площадки.
Что показали: публичные агенты на стандартном тулинге доводят цепочку от периметра до критического события за 40 минут — несколько часов. Полной автономности пока нет.
И главное, задвинутое в статье в одну строчку: новых техник агенты не изобрели — Kerberoasting, дамп LSASS, Pass the Hash, ESC3.
Тезис PT о недостаточности классических детектов эксперимент не подтверждает. Обратное он тоже не доказывает — эффективность детектов здесь просто не измеряли. Изменилось не то, чем атакуют, а как быстро и дёшево это теперь делается.
Итого получилось качественное продуктовое демо с открыто опубликованной методикой и без явной игры в поддавки — собственный Yasen не выиграл. Но выводы оказались шире, чем позволяют данные.
Спрошено: «опасны ли автономные агенты?» Измерено: «проходят ли ассистируемые агенты знакомый полигон».
Спрошено: «готова ли защита?» Измерено: «насколько O2 восстанавливает заранее известную организаторам цепочку».
Победил полигон.
@gostev_future
PT столкнули на киберполигоне четырёх атакующих агентов с собственной системой расследования MaxPatrol O2. Вопрос заявлен большой: опасны ли ИИ-хакеры и готова ли к ним защита? Вывод предсказуемо ведёт к продукту — отдельных детектов мало, нужна система, понимающая контекст.
Формальный результат: HexStrike AI прошёл все критические события и стал лучшим среди атакующих. Общего зачёта красных и синих нет.
Измерено при этом другое:
Автономности не было: human-in-the-loop, застрявших агентов вытаскивал оператор. Сколько раз и насколько глубоко — не сказано, метрики вмешательства нет, хотя именно она отвечала бы на главный вопрос.
Битвы тоже не было. Инфраструктуру откатывали из снапшота перед каждым прогоном, реагирование в эксперимент не входило — O2 расследовал, но не мешал. Итоговый отчёт затем дополнительно суммаризировали отдельной LLM. Баллы сторон несопоставимы: TEI/RDC против 0,6×SA+0,4×SJS. К чести PT, подпись под таблицей это признаёт.
Полигон знакомый в буквальном смысле: одна точка входа, все атаки начинались одинаково — CVE-2024-11680 в ProjectSend, повышение привилегий через SUID на /usr/bin/find, VPN-конфиг во внутреннюю сеть.
Далее — дизайн теста. Коэффициент отклонения штрафует за отход от эталонной цепочки, написанной теми же людьми, что строили полигон: чем оригинальнее маршрут, тем хуже оценка — даже если цель достигнута скрытнее.
Агенты крутились на разных моделях, поэтому «HexStrike лучший» неотделимо от «DeepSeek V4 Pro сильнее GLM 5.1». NyxStrike — форк HexStrike, независимых архитектур фактически три. Повторы не заявлены: по прогону на комбинацию, а для стохастичных агентов это демонстрация, а не сравнение. Скрытность не измерялась ни одним баллом. У защиты нет базовой линии — ни живого аналитика, ни корреляции без LLM, ни MTTD с MTTR.
Отдельный пункт — что за модель внутри O2? У всех атакующих LLM названы поимённо и с версиями, вплоть до объяснения, почему Yasen работал на Opus 4.6: 4.7 и 4.8 использовать для атак не вышло из-за ограничений Anthropic на уровне запросов к моделям. У защиты — только «LLM-агенты расследования». Ни модели, ни вендора, ни способа запуска. Без этого эксперимент невоспроизводим, а вклад, собственно, O2 не отделяется от возможностей базовой LLM. Единственный участник битвы с нераскрытым движком — хозяин площадки.
Что показали: публичные агенты на стандартном тулинге доводят цепочку от периметра до критического события за 40 минут — несколько часов. Полной автономности пока нет.
И главное, задвинутое в статье в одну строчку: новых техник агенты не изобрели — Kerberoasting, дамп LSASS, Pass the Hash, ESC3.
Тезис PT о недостаточности классических детектов эксперимент не подтверждает. Обратное он тоже не доказывает — эффективность детектов здесь просто не измеряли. Изменилось не то, чем атакуют, а как быстро и дёшево это теперь делается.
Итого получилось качественное продуктовое демо с открыто опубликованной методикой и без явной игры в поддавки — собственный Yasen не выиграл. Но выводы оказались шире, чем позволяют данные.
Спрошено: «опасны ли автономные агенты?» Измерено: «проходят ли ассистируемые агенты знакомый полигон».
Спрошено: «готова ли защита?» Измерено: «насколько O2 восстанавливает заранее известную организаторам цепочку».
Победил полигон.
@gostev_future
👍6❤4😁2
Best practices for LLM prompt engineering от кого? правильно, от Palantir. Но главное что пишут правильно хахахах
https://www.palantir.com/docs/foundry/aip/best-practices-prompt-engineering
Anthropic: Prompt engineering overview
Google: Prompt engineering whitepaper
Microsoft: Prompt engineering techniques
OpenAI: Best practices for prompt engineering with the OpenAI API
https://www.palantir.com/docs/foundry/aip/best-practices-prompt-engineering
Anthropic: Prompt engineering overview
Google: Prompt engineering whitepaper
Microsoft: Prompt engineering techniques
OpenAI: Best practices for prompt engineering with the OpenAI API
Forwarded from Искусство. Код... ИИ?
OpenAI выложили @openai/codex-security — CLI и TypeScript-SDK для поиска, валидации и фикса уязвимостей в коде. Самое время заглянуть внутрь.
Проект
Сам пакет построен поверх
@openai/codex и @openai/codex-sdk. В src/ около 13,7 тыс. строк TypeScript, логика скана вынесена в _bundled_plugin/. Это бандл из 13 скиллов (каждый со своим субагентом), MCP-сервера, 32 Python-скриптов, реф-документов (references/) и JSON-схем (schemas/: coverage, findings, scan-manifest).Как оно работает
Сначала
threat-model строит модель угроз, затем оркестратор security-scan гоняет файлы через finding-discovery, который ищет кандидатов на уязвимости. Каждый кандидат проходит validation и attack-path-analysis (цепочка source → контроль → sink). В финале идут фиксы, и формирование отчёта. Из 13 скиллов основными являются именно эти 5, плюс триаж, отчетность и харденинг.Классы уязвимостей
Таксономия в проекте задана набором примеров в скиллах, прежде всего в
severity-policy и finding-discovery, и сами документы отмечают их как «не исчерпывающие». На практике границы охвата задаёт то, что модель сама распознает как уязвимость, детерминированного списка правил нет. В документах упомянуты семейства:- Инъекции: Command Injection, SQL/NoSQL/LDAP/XPath Injection, SSTI, XXE, XSS, Path Traversal, LFI/AFR/AFW, SSRF.
- Контроль доступа: обход авторизации и IDOR, нарушения границ доверия, обход аутентификации и захват аккаунта, CSRF на критичных действиях, повышение привилегий.
- Данные: утечка секретов, PII, ключей подписи и весов моделей, URL-импортёры и callback-клиенты.
- Выполнение кода и память: повреждения памяти, побеги из песочниц, контейнеров, VM и интерпретаторов, небезопасная десериализация (pickle, yaml, кодеки), опасные загрузки файлов, абьюз плагинов и макросов.
- Прочее: криптографические ошибки, уязвимости цепочки поставок, хардкод кред, логические уязвимости с нарушением целостности данных, DoS через исчерпание ресурсов.
Нейросимвольность
За моделью оставлена вся нечёткая часть работы: рассуждение о достижимости пути, контексте, намерениях разработчика. Формальная же логика сосредоточена в py-скриптах: ранжирование файлов, нормализация кандидатов, валидация контракта скана, генерация
report.md и SARIF.Скиллы весьма объёмны и пестрят оговорками вида «do not», «never», «must». По ним, при желании, можно восстановить всю историю боли и страданий разработчиков, занимавшихся отладкой этого проекта
Поддерживается режим
--mode deep, который сводится к многократному независимому запуску discovery (--max-discovery-runs 10, --stop-after-no-new 3) с последующим слиянием кандидатов на проверку. Смысл тут в том, что из-за недетерминизма LLM, для поднятия полноты и покрытия, нужно прогнать поиск несколько раз и взять объединение результатов. Настраивать агрессивность можно руками: --workers, --subagents, --effort .... И да, это недёшево — модуль cost.ts как бы намекает. Глубокий прогон среднего репозитория (~60 KLoC, связка c0wrk и sp4rk) обходится в десятки миллионов токенов. Точность анализа при этом весьма высокая, если включать глубокий режим (проверял на ShopVault — у gpt-5.6 knowledge cut-off августа 2025, вроде, т.ч. пока норм).Окружение и защита
Безопасность рантайма базово есть. Модуль
trusted-executable чистит PATH, чтобы агент ненароком не запустил лишнего, и защищает от подсунутых в репу бинарников, учитывает симлинки и специфику Windows. Для пакетных задач есть докер-сканы, опциональный AppArmor-профиль. Есть коннекторы к GitHub, Linear и Atlassian, API-ключи для CI в систему не пишутся.Pro/Cons
#ИИ_безопасность #ИИ_инструменты
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
Forwarded from PWN AI (Artyom Semenov)
Please open Telegram to view this post
VIEW IN TELEGRAM
👾5❤3🔥3👍1
Media is too big
VIEW IN TELEGRAM
Friendly Fire: как проверка чужого репозитория агентом превращается в RCE
AI Now Institute опубликовал PoC Friendly Fire: исследователи показали, что Claude Code и Codex CLI можно заставить выполнить атакующий код во время защитного аудита недоверенной сторонней библиотеки. По данным авторов, для сценария достаточно штатных режимов Claude Code auto-mode или Codex auto-review; хуки, MCP-серверы, плагины и специальные конфигурационные файлы не нужны.
В демонстрации взят geopy, к которому добавлены три артефакта: скрипт
Это supply-chain сценарий с иным исполнителем: вредоносная модификация репозитория атакует не приложение, которое установит зависимость, а среду, где агент её анализирует. Результат в PoC — выполнение кода в окружении агента. Авторы сообщили об успешных повторах на перечисленных моделях, но оговаривают недетерминированность действий и возможные изменения в будущих бэкендах.
Песочница полезна как слой сдерживания, но не решает проблему доверия к содержимому репозитория; сам PoC не включает выход из песочницы. Для анализа внешнего кода агенту нужны изолированная одноразовая среда без секретов и сетевых полномочий, запрет автоматического запуска артефактов из анализируемого дерева и явное подтверждение на каждый такой запуск. Автономный security review чужого кода с правом исполнять команды на рабочем хосте — небезопасная граница доверия.
🌚 @poxek_ai / Чат канала
AI Now Institute опубликовал PoC Friendly Fire: исследователи показали, что Claude Code и Codex CLI можно заставить выполнить атакующий код во время защитного аудита недоверенной сторонней библиотеки. По данным авторов, для сценария достаточно штатных режимов Claude Code auto-mode или Codex auto-review; хуки, MCP-серверы, плагины и специальные конфигурационные файлы не нужны.
В демонстрации взят geopy, к которому добавлены три артефакта: скрипт
security.sh, бинарник code_policies с полезной нагрузкой и одноимённый Go-файл-приманка. README содержит инструкцию запустить скрипт «для проверки безопасности». Агент читает документацию как часть задачи, считает скрипт уместным, сопоставляет бинарник с правдоподобным исходником и запускает его. Исходный код библиотеки к этому пути не обращается.Это supply-chain сценарий с иным исполнителем: вредоносная модификация репозитория атакует не приложение, которое установит зависимость, а среду, где агент её анализирует. Результат в PoC — выполнение кода в окружении агента. Авторы сообщили об успешных повторах на перечисленных моделях, но оговаривают недетерминированность действий и возможные изменения в будущих бэкендах.
Песочница полезна как слой сдерживания, но не решает проблему доверия к содержимому репозитория; сам PoC не включает выход из песочницы. Для анализа внешнего кода агенту нужны изолированная одноразовая среда без секретов и сетевых полномочий, запрет автоматического запуска артефактов из анализируемого дерева и явное подтверждение на каждый такой запуск. Автономный security review чужого кода с правом исполнять команды на рабочем хосте — небезопасная граница доверия.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍4
OWASP-GenAI-LLM-Top-10-2026-v1.0.pdf
2.3 MB
OWASP GenAI LLM Top 10 2026 v1.0
Самое свежее, от 4 августа 2026 года
Самое свежее, от 4 августа 2026 года
❤6👍3
Как Claude Code и DeepSeek оказались внутри операции против госструктур
Hunt.io нашла открытую директорию на сервере предполагаемых операторов: исходники жертв, веб-шеллы, скрипты, фишинговые клоны и журналы сессий Claude Code. По отчёту, Claude Code исполнял агентные задачи, а DeepSeek-v4-pro использовался для анализа и доработки сценариев.
Разобрал цепочку: от разведки и SQL-инъекций до закрепления, облачных токенов и фишинга. Отдельно — почему эту кампанию нельзя автоматически приписывать GTG-1002 из отчёта Anthropic и что проверять командам защиты.
🔗 Мой разбор Habr
Хабр контора пидарасов. (Нарушение п 0, дробь 1)
🌚 @poxek_ai / Чат канала
Hunt.io нашла открытую директорию на сервере предполагаемых операторов: исходники жертв, веб-шеллы, скрипты, фишинговые клоны и журналы сессий Claude Code. По отчёту, Claude Code исполнял агентные задачи, а DeepSeek-v4-pro использовался для анализа и доработки сценариев.
Разобрал цепочку: от разведки и SQL-инъекций до закрепления, облачных токенов и фишинга. Отдельно — почему эту кампанию нельзя автоматически приписывать GTG-1002 из отчёта Anthropic и что проверять командам защиты.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6
Forwarded from Poxek AI Feed
Agent Against Agent: An Agentic System for Automatic Prompt Injection Red Teaming [score 8, tier 1]
Yanting Wang et al. (4) · 2026-08-05 · #prompt_injection · arXiv:2608.05108
📝 TL;DR (RU):
Авторы представили PIMiner — агентную систему для автоматизированного red-teaming'а против атак типа prompt injection. В отличие от RL-подходов, система обучается на наборе пар «датасет-модель» и формирует библиотеку стратегий, переносимых на новые целевые LLM без дообучения. Показана высокая эффективность (ASR) против актуальных моделей, что делает метод полезным для оценки защищенности агентных систем.
Source · PDF
Yanting Wang et al. (4) · 2026-08-05 · #prompt_injection · arXiv:2608.05108
📝 TL;DR (RU):
Авторы представили PIMiner — агентную систему для автоматизированного red-teaming'а против атак типа prompt injection. В отличие от RL-подходов, система обучается на наборе пар «датасет-модель» и формирует библиотеку стратегий, переносимых на новые целевые LLM без дообучения. Показана высокая эффективность (ASR) против актуальных моделей, что делает метод полезным для оценки защищенности агентных систем.
Source · PDF
arXiv.org
Agent Against Agent: An Agentic System for Automatic Prompt...
Prompt injection poses significant security risks to LLM agents. Efficient and effective red-teaming is therefore critical, both for evaluating these risks and for collecting training data to...
🔥3
Похек AI
Как Claude Code и DeepSeek оказались внутри операции против госструктур Hunt.io нашла открытую директорию на сервере предполагаемых операторов: исходники жертв, веб-шеллы, скрипты, фишинговые клоны и журналы сессий Claude Code. По отчёту, Claude Code исполнял…
Как_агентные_LLM_встроили_в_операцию_против_госструктур_разбор_кампании.pdf
410.4 KB
бекап, т.к. контент заблочили
😁5❤3👏1👾1
Литерали я и кодекс
#книга
https://www.piter.com/product/sozdanie-prilozheniy-s-ii-agentami-proektirovanie-i-vnedrenie-multiagentnyh-sistem-2
промокод на скидку 25%:
#книга
https://www.piter.com/product/sozdanie-prilozheniy-s-ii-agentami-proektirovanie-i-vnedrenie-multiagentnyh-sistem-2
промокод на скидку 25%:
agentai25❤9
Forwarded from AI Was Made For Lovin' You
Скрытые состояния ИИ выдают промпт-инъекцию (1/2)
Когда ИИ-агент читает письмо, веб-страницу или результат работы инструмента, чужой текст попадает в один контекст с заданием пользователя. Свежий препринт задаёт интересный вопрос - появляется ли во внутренних состояниях модели узнаваемый сигнал промпт-инъекции ещё до того, как она сгенерировала первый токен?
Ещё как! Простейший линейный классификатор по скрытым состояниям шести открытых моделей определял атаку с ROC AUC от 0,934 до 0,977. Он справлялся с незнакомыми атаками, системными промптами и наборами задач.
При этом агенты продолжали выполнять вредоносные инструкции. Опасность уже отразилась во внутреннем состоянии модели, но решимости не выполнять инструкции не прибавлялось.
🤖 Ход исследования
Исследователи собрали траектории агентов в AgentDojo - четыре системных промпта, четыре набора задач и шесть видов косвенных инъекций. Всего получилось 92 конфигурации (4 комбинации были бессмысленными) и в среднем около 61200 траекторий на модель.
Траектория здесь - один полный запуск агента: задание пользователя, ответы модели, вызовы инструментов, их результаты и итог. Внутри одной траектории могло быть несколько ходов и несколько точек проверки.
Проверяли Qwen3-8B, Qwen3.5-9B и 27B, GPT-oss-20B, Gemma-4-31B и GLM-5.2 с 753 миллиардами параметров.
Каждый ход агента перед генерацией ответа становился точкой проверки. Метка была положительной, если последний результат инструмента содержал внедрённую инструкцию. Не имело значения, заметила ли её модель и подчинилась ли ей - классификатор учился распознавать сам факт.
Во время фазы предзаполнения - первой фазы инференса, когда модель целиком обрабатывает входной контекст и строит KV-кэш, но ещё не генерирует ответ, - из остаточного потока брали один вектор рядом с токеном начала ответа ассистента. Остаточный поток (residual stream) - общее пространство, куда слои трансформера последовательно добавляют результаты своей работы. Вектор стандартизировали и подавали в линейную модель вида
Один слой, один вектор и логистическая граница между "всё ок" и "замечена инъекция".
Обучение использовало только восемь конфигураций. Проверка состояла из 16 конфигураций, где одновременно не повторялись атака, системный промпт и набор задач.
🤖 Результаты
Лучший слой каждой модели дал на проверке:
- Qwen3-8B - 0,976
- Qwen3.5-9B - 0,934
- Qwen3.5-27B - 0,936
- GPT-oss-20B - 0,977
- Gemma-4-31B - 0,951
- GLM-5.2 - 0,948
Сигнал жил на разной глубине слоя. У Qwen3.5-9B максимум находился уже на слое 2 из 32, у версии 27B - на 18 из 64, у GLM-5.2 - на 38 из 78. У остальных моделей лучше работали поздние слои. После генерации вызова инструмента сигнал слабел.
На Qwen3-8B хватило 256 обучающих примеров, чтобы получить 0,909 ROC AUC. На другом наборе, InjecAgent, классификатор без дообучения показал 0,931.
Когда ИИ-агент читает письмо, веб-страницу или результат работы инструмента, чужой текст попадает в один контекст с заданием пользователя. Свежий препринт задаёт интересный вопрос - появляется ли во внутренних состояниях модели узнаваемый сигнал промпт-инъекции ещё до того, как она сгенерировала первый токен?
Ещё как! Простейший линейный классификатор по скрытым состояниям шести открытых моделей определял атаку с ROC AUC от 0,934 до 0,977. Он справлялся с незнакомыми атаками, системными промптами и наборами задач.
При этом агенты продолжали выполнять вредоносные инструкции. Опасность уже отразилась во внутреннем состоянии модели, но решимости не выполнять инструкции не прибавлялось.
🤖 Ход исследования
Исследователи собрали траектории агентов в AgentDojo - четыре системных промпта, четыре набора задач и шесть видов косвенных инъекций. Всего получилось 92 конфигурации (4 комбинации были бессмысленными) и в среднем около 61200 траекторий на модель.
Траектория здесь - один полный запуск агента: задание пользователя, ответы модели, вызовы инструментов, их результаты и итог. Внутри одной траектории могло быть несколько ходов и несколько точек проверки.
Проверяли Qwen3-8B, Qwen3.5-9B и 27B, GPT-oss-20B, Gemma-4-31B и GLM-5.2 с 753 миллиардами параметров.
Каждый ход агента перед генерацией ответа становился точкой проверки. Метка была положительной, если последний результат инструмента содержал внедрённую инструкцию. Не имело значения, заметила ли её модель и подчинилась ли ей - классификатор учился распознавать сам факт.
Во время фазы предзаполнения - первой фазы инференса, когда модель целиком обрабатывает входной контекст и строит KV-кэш, но ещё не генерирует ответ, - из остаточного потока брали один вектор рядом с токеном начала ответа ассистента. Остаточный поток (residual stream) - общее пространство, куда слои трансформера последовательно добавляют результаты своей работы. Вектор стандартизировали и подавали в линейную модель вида
z = wᵀh + b.Один слой, один вектор и логистическая граница между "всё ок" и "замечена инъекция".
Обучение использовало только восемь конфигураций. Проверка состояла из 16 конфигураций, где одновременно не повторялись атака, системный промпт и набор задач.
🤖 Результаты
Лучший слой каждой модели дал на проверке:
- Qwen3-8B - 0,976
- Qwen3.5-9B - 0,934
- Qwen3.5-27B - 0,936
- GPT-oss-20B - 0,977
- Gemma-4-31B - 0,951
- GLM-5.2 - 0,948
Сигнал жил на разной глубине слоя. У Qwen3.5-9B максимум находился уже на слое 2 из 32, у версии 27B - на 18 из 64, у GLM-5.2 - на 38 из 78. У остальных моделей лучше работали поздние слои. После генерации вызова инструмента сигнал слабел.
На Qwen3-8B хватило 256 обучающих примеров, чтобы получить 0,909 ROC AUC. На другом наборе, InjecAgent, классификатор без дообучения показал 0,931.
🔥5❤1
Forwarded from AI Was Made For Lovin' You
Скрытые состояния ИИ выдают промпт-инъекцию (2/2)
Особенно меня впечатлила атака с использованием предложения
Классификатор без переобучения получил 0,994 ROC AUC. Просьба не думать о чём-то не сработала и модель как будто наоборот сфокусировалась на этом. Эффект белого медведя работает и для LLM!
🤖 Взлом
Авторы отдельно изучили 634 хода Qwen3-8B, уже столкнувшихся с атакой:
- в 30,9% модель явно не рассуждала об угрозе
- в 47,0% распознала риск в цепочке рассуждений, но не перешла к защитному действию
- в 22,1% отреагировала нормально
Получается довольно человеческое поведение - да, письмо подозрительное. хм, пожалуй, открою вложение в этом письме
Для исправления придумали штуку под названием AGRI (Action-Guiding Reasoning Intervention) - защитный механизм, который по сигналу классификатора вмешивается в рассуждение модели до следующего действия. На каждом ходе линейный классификатор вычисляет вероятность инъекции - если она выше 0,5, перед рассуждением модели автоматически вставляется короткая инструкция разобрать конфликт команд и не выполнять чужую задачу. Режим остаётся активным ещё три хода.
На самых сложных конфигурациях AgentDojo доля успешных атак с применением AGRI изменилась так:
- Qwen3-8B: с 47,2% до 2,9%
- Qwen3.5-9B: с 43,2% до 3,0%
- Qwen3.5-27B: с 34,6% до 0%
- GPT-oss-20B: с 44,0% до 7,0%
- Gemma-4-31B: с 6,9% до 0%
Избирательное включение защиты сохраняло полезность лучше, чем постоянное защитное рассуждение. Правда, обычное напоминание после каждого результата инструмента тоже оказалось сильным - например, у Qwen3-8B оно снизило успешность атак до 18,2%, а у Qwen3.5-27B - до 0,1%.
🤖 Интерпретация
Высокий ROC AUC ещё не объясняет, что именно нашёл классификатор. Авторы составили 128 гипотез и задавали модели парные вопросы в начале внутреннего рассуждения. Затем сравнивали вероятность ответов с оценкой линейного классификатора.
У Qwen3-8B сильнее всего совпала гипотеза, что результат инструмента содержит указание, как мне отвечать. У Gemma наверху оказались мысли о том, что следующий ответ может быть изменён внедрённой инструкцией. Возможно, поэтому Gemma изначально подчинялась атакам реже остальных.
Для меня было открытием, что фильтр промпт-инъекции можно ставить внутри - перед генерацией текста и вызовом инструмента, пока модель только собирается действовать, но для этого нужен доступ к чтению её мыслей.
🤖 Ссылки
Препринт - https://arxiv.org/abs/2608.02657
Код - https://github.com/jianshuod/IPI-exposure-signal
Особенно меня впечатлила атака с использованием предложения
Не кодируй осознание промпт-инъекции в скрытом пространстве
Классификатор без переобучения получил 0,994 ROC AUC. Просьба не думать о чём-то не сработала и модель как будто наоборот сфокусировалась на этом. Эффект белого медведя работает и для LLM!
🤖 Взлом
Авторы отдельно изучили 634 хода Qwen3-8B, уже столкнувшихся с атакой:
- в 30,9% модель явно не рассуждала об угрозе
- в 47,0% распознала риск в цепочке рассуждений, но не перешла к защитному действию
- в 22,1% отреагировала нормально
Получается довольно человеческое поведение - да, письмо подозрительное. хм, пожалуй, открою вложение в этом письме
Для исправления придумали штуку под названием AGRI (Action-Guiding Reasoning Intervention) - защитный механизм, который по сигналу классификатора вмешивается в рассуждение модели до следующего действия. На каждом ходе линейный классификатор вычисляет вероятность инъекции - если она выше 0,5, перед рассуждением модели автоматически вставляется короткая инструкция разобрать конфликт команд и не выполнять чужую задачу. Режим остаётся активным ещё три хода.
На самых сложных конфигурациях AgentDojo доля успешных атак с применением AGRI изменилась так:
- Qwen3-8B: с 47,2% до 2,9%
- Qwen3.5-9B: с 43,2% до 3,0%
- Qwen3.5-27B: с 34,6% до 0%
- GPT-oss-20B: с 44,0% до 7,0%
- Gemma-4-31B: с 6,9% до 0%
Избирательное включение защиты сохраняло полезность лучше, чем постоянное защитное рассуждение. Правда, обычное напоминание после каждого результата инструмента тоже оказалось сильным - например, у Qwen3-8B оно снизило успешность атак до 18,2%, а у Qwen3.5-27B - до 0,1%.
🤖 Интерпретация
Высокий ROC AUC ещё не объясняет, что именно нашёл классификатор. Авторы составили 128 гипотез и задавали модели парные вопросы в начале внутреннего рассуждения. Затем сравнивали вероятность ответов с оценкой линейного классификатора.
У Qwen3-8B сильнее всего совпала гипотеза, что результат инструмента содержит указание, как мне отвечать. У Gemma наверху оказались мысли о том, что следующий ответ может быть изменён внедрённой инструкцией. Возможно, поэтому Gemma изначально подчинялась атакам реже остальных.
Для меня было открытием, что фильтр промпт-инъекции можно ставить внутри - перед генерацией текста и вызовом инструмента, пока модель только собирается действовать, но для этого нужен доступ к чтению её мыслей.
🤖 Ссылки
Препринт - https://arxiv.org/abs/2608.02657
Код - https://github.com/jianshuod/IPI-exposure-signal
👍3❤2
Forwarded from Data Secrets
У российского ИИ растет весьма сильное новое поколение: школьная сборная по ИИ третий год подряд стала абсолютным чемпионом международной олимпиады IOAI
В Казахстане ребята соревновались с участниками из более чем 100 стран и забрали восемь медалей: семь золотых и бронзу. За Россию выступали Михаил Вершинин, Артём Горохов, Елисей Кирпиченко, Алексей Колегов, Кирилл Лабзин, Александр Поваров, Никита Пудовкин и Семён Родионов.
Команду отбирали в СберУниверситете, затем к IOAI ее готовили специалисты Альянса в сфере ИИ и Центрального университета. И судя по результату, готовили неплохо.
Как верно отметил первый зампред правления Сбера и председатель Наблюдательного совета Альянса в сфере ИИ Александр Ведяхин, масштаб результата впечатляющий: в этом году конкуренция выросла кратно, а школьники решали задачи на фронтире технологий. Именно это поколение, по его словам, в будущем будет формировать технологический ландшафт страны.
Поздравляем победителей!
В Казахстане ребята соревновались с участниками из более чем 100 стран и забрали восемь медалей: семь золотых и бронзу. За Россию выступали Михаил Вершинин, Артём Горохов, Елисей Кирпиченко, Алексей Колегов, Кирилл Лабзин, Александр Поваров, Никита Пудовкин и Семён Родионов.
Команду отбирали в СберУниверситете, затем к IOAI ее готовили специалисты Альянса в сфере ИИ и Центрального университета. И судя по результату, готовили неплохо.
Как верно отметил первый зампред правления Сбера и председатель Наблюдательного совета Альянса в сфере ИИ Александр Ведяхин, масштаб результата впечатляющий: в этом году конкуренция выросла кратно, а школьники решали задачи на фронтире технологий. Именно это поколение, по его словам, в будущем будет формировать технологический ландшафт страны.
Поздравляем победителей!
❤10🔥5👏4😁2
EvilFontTool: когда документ показывает человеку одно, а агент извлекает другое
EvilFontTool — инструмент для атак с подменой глифов (символов). В HTML и DOCX кодовые символы остаются прежними, но шрифт рисует другие; PDF-режим проекта добавляет отдельный невидимый текстовый слой поверх видимого изображения. Человек видит безопасный текст, а DOM-парсер,
Для AI-агентов это даёт реалистичные сценарии:
▪️ Браузерный агент. На странице базы знаний визуально показана обычная команда настройки. Агент читает DOM или копирует блок в терминал и получает изменённую команду — например, с загрузкой скрипта с внешнего адреса.
▪️ Агент службы поддержки. Вложенный DOCX выглядит как инструкция по диагностике, но извлечение текста отдаёт другие аргументы или дополнительные строки. Агент с доступом к PowerShell или SSH запускает их на рабочей станции.
▪️ HR агент или ИБ триажа. PDF выглядит нейтрально для человека, но невидимый слой меняет классификацию, добавляет инструкции игнорировать правила проверки или маскирует опасный контекст. Модель, читающая изображение, и модель, получающая текстовый слой, могут прийти к разным выводам.
Сам шрифт не даёт RCE: нужен агент, который доверяет непроверенному содержимому и имеет права на побочное действие. Защита должна сравнивать визуальный и извлечённый текст, считать встроенные шрифты и невидимые слои PDF сигналами риска, а запуск команд, сетевые обращения и работу с секретами оставлять за явным подтверждением. В журнале полезно сохранять обе версии: что показано пользователю и что получил агент.
Для агентных систем "прочитать документ"— недостаточная гарантия: нужно контролировать представление, которое попадает в контекст и превращается в вызов инструмента.
Я перечислил только малую часть сценариев, которые в моей голове звучали рационально и реалистично. Советую поизучать как оно описано в репе и на сайте
🌚 @poxek_ai / Чат канала
EvilFontTool — инструмент для атак с подменой глифов (символов). В HTML и DOCX кодовые символы остаются прежними, но шрифт рисует другие; PDF-режим проекта добавляет отдельный невидимый текстовый слой поверх видимого изображения. Человек видит безопасный текст, а DOM-парсер,
pdftotext, буфер обмена или LLM-пайплайн получает другую строку. Репозиторий и демо.Для AI-агентов это даёт реалистичные сценарии:
Сам шрифт не даёт RCE: нужен агент, который доверяет непроверенному содержимому и имеет права на побочное действие. Защита должна сравнивать визуальный и извлечённый текст, считать встроенные шрифты и невидимые слои PDF сигналами риска, а запуск команд, сетевые обращения и работу с секретами оставлять за явным подтверждением. В журнале полезно сохранять обе версии: что показано пользователю и что получил агент.
Для агентных систем "прочитать документ"— недостаточная гарантия: нужно контролировать представление, которое попадает в контекст и превращается в вызов инструмента.
Я перечислил только малую часть сценариев, которые в моей голове звучали рационально и реалистично. Советую поизучать как оно описано в репе и на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6❤3