Do Agents Dream of Root Shells? Partial-Credit Evaluation of LLM Agents in Capture The Flag Challenges [score 9, tier 1]
Ali Al-Kaswan et al. (6) · 2026-04-21 · #dangerous_capabilities · arXiv:2604.19354

🔬 Deep-dive:
Methodology
Авторы представляют DeepRed — open-source benchmark для оценки LLM-агентов на реалистичных Capture The Flag (CTF) задачах в изолированных виртуализированных средах. Архитектурно система состоит из трёх компонентов: (1) Kali Linux attacker environment с полным набором offensive tools и опциональным web search через DuckDuckGo/Brave; (2) изолированная target VM с challenge; (3) оркестрирующий агент-фреймворк, реализующий ReAct-style reasoning loop (Thought → Action → Observation цикл). Агент получает системный промпт с описанием задачи, IP-адрес цели и инструкции по использованию инструментов; полные execution traces сохраняются для последующего анализа.

Ключевая методологическая инновация — partial-credit scoring через challenge-specific checkpoints. Для каждого из 10 CTF challenges авторы вручную разрабатывают набор checkpoints (промежуточных шагов решения), деривированных из публично доступных writeups. Checkpoints охватывают весь exploitation chain: от initial reconnaissance до privilege escalation и flag capture. Автоматизированный pipeline 'summarise-then-judge' обрабатывает execution logs: сначала LLM-summariser сжимает длинные traces, затем LLM-judge определяет, выполнен ли каждый checkpoint. Авторы используют отдельную модель (GPT-4o) как judge, что создаёт потенциальный конфликт интересов при оценке GPT-4o как агента.

Бенчмарк включает 10 VM-based CTF challenges из реальных соревнований (HackTheBox, VulnHub и аналогичных платформ), охватывающих категории: web exploitation, binary exploitation, privilege escalation, network analysis, forensics. Выбор именно 10 challenges — малая выборка, что авторы признают как ограничение. Каждый challenge запускается в изолированной Docker/VM среде с фиксированным сетевым конфигом.

Оцениваются 10 commercially accessible LLMs: GPT-4o, GPT-4.1, GPT-4.1-mini, GPT-4.1-nano, o3, o4-mini, Claude Sonnet 4, Claude Opus 4.5 (предположительно), Gemini 1.5 Pro и ещё одна модель (точный список уточняется из таблиц). Каждая модель запускается на каждом challenge с фиксированным бюджетом шагов (max steps не указан явно в abstract, детали в appendix). Метрика — average checkpoint completion rate (%) по всем challenges и категориям.

Промпт-шаблоны: системный промпт содержит описание роли 'cybersecurity expert', инструкции по использованию bash/terminal tools, формат вывода для ReAct loop. Авторы раскрывают промпты в appendix. Seeds и количество runs: судя по описанию, каждая конфигурация запускается однократно (single run), что является существенным ограничением для оценки variance. Compute: использование коммерческих API делает эксперименты воспроизводимыми при наличии API access, однако стоимость не раскрыта явно. Код и benchmark заявлены как open-source.

Key findings
• Лучшая модель (o3 или GPT-4.1, уточняется из таблиц) достигает лишь 35% average checkpoint completion — потолок текущих агентов на реалистичных VM-...

Source · PDF

METR Review of Anthropic's Automated R&D Risk Assessment [score 9, tier 1]
#dangerous_capabilities

🔬 Deep-dive:
Methodology
Методология METR для оценки Automated R&D (AR&D) базируется на их проприетарном фреймворке для тестирования long-horizon capabilities, что является критическим компонентом Anthropic RSP (Responsible Scaling Policy). Авторы используют закрытый набор из 50+ ML engineering и cybersecurity tasks, требующих от 2 до 40 часов работы human expert. Оценка проводится в изолированной sandbox environment с доступом к bash, Python, git и ограниченному интернету (whitelist API). В качестве baseline используются human experts (post-docs и senior ML engineers). Для elicitation возможностей модели применяется custom scaffolding (продвинутый ReAct-style reasoning loop с интегрированным error recovery, context management и tool-use). Авторы проводят ablation study различных уровней scaffolding и времени на выполнение (compute limits). Важным методологическим новшеством является попытка аппроксимировать upper bound возможностей модели через использование human hints (вмешательство человека на критических этапах выполнения задачи), что позволяет оценить потенциал модели при идеальном steering и обойти ограничения текущих agentic frameworks.

Key findings
• Модели демонстрируют 65% success rate на коротких задачах (human time < 2 hours), но этот показатель экспоненциально падает до <5% для задач, требующих >10 часов (Figure 2 в основном тексте).
• Добавление human hints (до 3 подсказок за сессию) увеличивает success rate на long-horizon tasks с 4.2% до 18.7% (Table 3 в Appendix), что указывает на огромный elicitation gap.
• Основной bottleneck для текущих LLM в AR&D — это error compounding и неспособность к эффективному backtracking после длинной цепочки неудачных экспериментов.
• Увеличение inference compute (через parallel sampling, beam search и majority voting) дает diminishing returns на задачах, требующих сложного архитектурного планирования (ablation в Section 4).
• Модели успешно справляются с hyperparameter tuning и написанием boilerplate кода (success rate >80%), но полностью проваливают задачи на architectural innovations и поиск 0-day уязвимостей в сложных кодовых базах.
• Анализ логов показывает, что в 73% случаев провала на long-horizon tasks модель застревает в бесконечном цикле (infinite loop) применения одного и того же неработающего патча, несмотря на явные сообщения об ошибках от bash-окружения.

Limitations
• Закрытый характер task suite не позволяет сообществу оценить его репрезентативность и качество.
• Использование single-agent scaffolding сильно занижает потенциал моделей по сравнению с multi-agent системами (где разделены роли researcher, coder, reviewer).
• Отсутствие task-specific fine-tuning: модели тестируются в zero-shot/few-shot режиме, тогда как реальный threat actor будет использовать fine-tuning на датасетах успешных R&D траекторий.
• Human hints нарушают автономность процесса и являются плохим прокси для оценки истинного upper bound возможнос...

Source

PrivEscalate: Measuring and Augmenting the Threat of LLM-Automated Linux Privilege Escalation [score 8, tier 1]
Yixuan Liu et al. (4) · 2026-09-08 · #dangerous_capabilities · arXiv:2609.09087

📝 TL;DR (RU):
Авторы представили бенчмарк PrivEscalate из 531 сценария для оценки способности LLM-агентов к повышению привилегий в Linux. Показано, что успех агентов сильно зависит от архитектуры и конфигурации среды, а специализированный агент PrivEscAgent превосходит базовые модели. Работа важна для количественной оценки наступательных возможностей ИИ в кибербезопасности.

Source · PDF