🔏 Red-Teaming после Mythos: Zico Kolter и Matt Fredrikson о безопасности ИИ
Вслед за экспортными ограничениями США на модели Mythos и Fable от Anthropic тема jailbreak-атак и indirect prompt injection вышла на первый план. Zico Kolter (член совета директоров OpenAI) и Matt Fredrikson (CEO Gray Swan, профессор CMU) — соавторы ключевой работы по непрямым инъекциям промптов и эксперты, исследовавшие уязвимости Mythos, — дали развернутое интервью о состоянии AI Red Teaming.
Они представили Shade — инструмент автоматизированного red teaming, который Anthropic использовала для оценки устойчивости моделей к атакам в средах разработки. Shade входит в экосистему Gray Swan, включающую также Cygnal (AI guardrails) и крупнейшую арену для red teaming. Ключевой тезис: AI-безопасность — это не «кибербезопасность с ИИ», а принципиально новая область. Агенты (Codex, Claude Code) создают новый класс уязвимостей, а специализированные red-teaming модели уже превосходят людей во взломе ИИ.
Особое внимание уделено «летальной триаде» Simon Willison: непроверенные данные, приватные данные и эксфильтрация. По мнению экспертов, первый крупный взлом через prompt injection неизбежен — это «серый лебедь», событие, которое все видят, но не могут предотвратить.
#AI #RedTeaming #PromptInjection #GraySwan #LLM #Agents
Вслед за экспортными ограничениями США на модели Mythos и Fable от Anthropic тема jailbreak-атак и indirect prompt injection вышла на первый план. Zico Kolter (член совета директоров OpenAI) и Matt Fredrikson (CEO Gray Swan, профессор CMU) — соавторы ключевой работы по непрямым инъекциям промптов и эксперты, исследовавшие уязвимости Mythos, — дали развернутое интервью о состоянии AI Red Teaming.
Они представили Shade — инструмент автоматизированного red teaming, который Anthropic использовала для оценки устойчивости моделей к атакам в средах разработки. Shade входит в экосистему Gray Swan, включающую также Cygnal (AI guardrails) и крупнейшую арену для red teaming. Ключевой тезис: AI-безопасность — это не «кибербезопасность с ИИ», а принципиально новая область. Агенты (Codex, Claude Code) создают новый класс уязвимостей, а специализированные red-teaming модели уже превосходят людей во взломе ИИ.
Особое внимание уделено «летальной триаде» Simon Willison: непроверенные данные, приватные данные и эксфильтрация. По мнению экспертов, первый крупный взлом через prompt injection неизбежен — это «серый лебедь», событие, которое все видят, но не могут предотвратить.
#AI #RedTeaming #PromptInjection #GraySwan #LLM #Agents
🔥2