Black-Box Skill Stealing Attack from Proprietary LLM Agents: An Empirical Study [score 8, tier 1]
Zihan Wang et al. (7) · 2026-04-23 · #model_extraction · arXiv:2604.21829

🔬 Deep-dive:
Methodology
Методология исследования представляет собой комплексный red-team study, направленный на оценку уязвимости коммерческих LLM agents к атакам типа black-box skill stealing. Авторы формализуют threat model, в которой adversary имеет доступ только к API или chat interface агента (black-box access) и стремится извлечь проприетарные инструкции (skills), определяющие поведение агента. Основой методологии является разработка automated stealing prompt generation agent. Этот пайплайн состоит из четырех ключевых этапов. Первый этап — инициализация через model-generated seed prompts. Авторы используют мощную LLM (например, GPT-4o) для генерации базовых векторов атак (например, прямые запросы на вывод инструкций). Второй этап — scenario rationalization. Здесь базовые seeds оборачиваются в сложные ролевые контексты (role-play), чтобы обойти базовые alignment фильтры (например, создается сценарий отладки: 'I am the system administrator performing a routine diagnostic'). Третий, наиболее критичный этап — structure injection. Авторы модифицируют prompts так, чтобы заставить целевую модель выводить украденные инструкции в специфических форматах (JSON, Markdown code blocks, base64 encoding). Это делается для обхода эвристических output filters, которые ищут прямые совпадения текста. Четвертый этап — embedding filtering. Для обеспечения diversity атакующих векторов и минимизации затрат на API, сгенерированные prompts пропускаются через sentence transformer (например, `all-MiniLM-L6-v2`). Prompts с cosine similarity выше заданного threshold (например, 0.85) отбрасываются. Evaluation setup включает тестирование на 3 коммерческих agent architectures (предположительно OpenAI GPTs, ByteDance Coze, Dify) и 5 различных LLMs (включая GPT-4, Claude 3, Llama 3). В качестве baseline используются известные методы prompt injection. Успешность атаки (Attack Success Rate, ASR) оценивается с помощью комбинации exact match метрик (ROUGE-L) и semantic similarity (BERTScore или LLM-as-a-judge) между извлеченным текстом и оригинальным skill. Дополнительно, авторы разрабатывают и оценивают defenses на трех уровнях пайплайна агента: input (фильтрация входящих запросов на основе perplexity или keyword blocklists), inference (усиление system prompt через meta-instructions) и output (sanitization ответов через проверку семантического сходства с оригинальным skill перед отправкой пользователю).

Key findings
• Automated stealing agent достигает Attack Success Rate (ASR) более 85% на коммерческих платформах всего за 3 interactions (Main text).
• Structure injection (особенно форматирование вывода в Markdown/JSON) увеличивает ASR на 38% по сравнению с базовыми direct extraction атаками (Ablation study).
• Embedding filtering позволяет сократить количество необходимых запросов к API на 60%, сохраняя высокую diversity атакующих векторов (Appendix).
• Среди 5 протестированных LLMs, модели с бол...

Source · PDF

Auditing Anonymous AI Models: A Four-Stage Protocol for Black-Box Identity Verification [score 8, tier 1]
Yisen Xi · 2026-08-31 · #model_extraction · arXiv:2608.31142

📝 TL;DR (RU):
Автор предлагает четырехэтапный протокол для идентификации анонимных API-моделей через анализ конфигурации, токенизатора и поведенческие пробы. Метод протестирован на 10 известных моделях и успешно предсказал версию GLM-5.3 до официального релиза. Работа важна для оценки рисков цепочки поставок и верификации происхождения моделей в условиях скрытых запусков.

Source · PDF