🛡 Perplexity представила архитектуру безопасности для Computer

Perplexity Computer — автономный агент, который пишет и запускает код, просматривает веб и подключается к внешним сервисам. Он работает на инфраструктуре Perplexity с аттестацией SOC 2 Type II (2026) и наследует корпоративные функции безопасности: SAML SSO, аудит-логи и гранулярное администрирование.

Каждая задача Computer выполняется в изолированной Firecracker microVM с собственным ядром Linux, изолированной файловой системой и частным сетевым пространством. Песочницы автоматически приостанавливаются при бездействии и уничтожаются после сессии. Данные хранятся отдельно от среды выполнения в разных VPC, связь — через зашифрованный HTTPS.

Для защиты от prompt injection используется четырёхуровневая архитектура и модель BrowseSafe. ML-классификаторы сканируют внешний контент до того, как агент начнёт действовать. Подозрительный контент блокируется. Системные промпты инструментов содержат явные ограничения, а внешние данные помечаются как ненадёжные.

Для Enterprise-клиентов доступны аудит-логи с интеграцией в Splunk, Azure Sentinel и Datadog, контроль доступа к коннекторам (Gmail, Outlook, Slack, GitHub, Notion, Snowflake, Databricks, Salesforce) и биллинговые лимиты на пользователя.

#Ai #Perplexity #Enterprise #PromptInjection #Sandbox

🛡 Уязвимость ChatGPT для Google Sheets: кража целых книг через prompt injection

Исследователи Prompt Armor обнаружили критическую уязвимость в расширении ChatGPT для Google Sheets. Всего одна атака с использованием косвенной инъекции промптов позволяет злоумышленнику выкрасть множество рабочих книг, отобразить фишинговое окно, подменить интерфейс чат-бота и редактировать таблицы жертвы. Атака срабатывает даже при включённом подтверждении действий пользователем.

Проблема в том, что расширение ChatGPT для Google Sheets (установлено более 185 000 раз) может выполнять внешние скрипты Apps Script, используя права, выданные пользователем. Если в импортированную таблицу или данные из коннектора внедрена скрытая инструкция, ChatGPT выполняет её при первом же запросе. В ответ на публикацию OpenAI отключила возможность генерации Apps Script-кода и пообещала пересмотреть песочницу и защиту от prompt injection.

Для разработчиков это напоминание: любые AI-расширения с доступом к данным и скриптам — потенциальный вектор атаки. Пока OpenAI пересматривает архитектуру, пользователям стоит отозвать права расширения или отключить автоматическое выполнение.

#AI #Cybersecurity #ChatGPT #GoogleSheets #Promptinjection #Vulnerability

🛡 ChatGPT вводит Lockdown Mode для защиты от prompt injection

OpenAI запустила Lockdown Mode — новый режим безопасности, который отключает веб-доступ, Deep Research и Agent Mode в ChatGPT. Функция предназначена для пользователей, работающих с конфиденциальными данными, и призвана предотвратить кражу информации через prompt injection-атаки.

В Lockdown Mode ограничивается работа всех функций, подключающих ChatGPT к интернету или внешним сервисам. Поиск в сети работает только по кэшированному контенту, Deep Research и Agent Mode полностью отключаются, загрузка файлов и отображение веб-изображений блокируются. Сетевой доступ для кода, сгенерированного Canvas, также запрещён.

OpenAI признаёт prompt injection «фронтирной исследовательской проблемой», но Lockdown Mode — это временное решение, а не полноценное исправление уязвимости. Режим блокирует лишь финальный этап атаки — попытку отправить данные злоумышленнику через сетевые запросы. При этом вредоносная инструкция в загруженном файле всё ещё может повлиять на поведение модели.

Пользователи могут включить Lockdown Mode в настройках безопасности и временно отключать его для отдельных чатов. Администраторы управляемых рабочих пространств могут настроить режим через RBAC. Lockdown Mode несовместим с Developer Mode.

#AI #ChatGPT #OpenAI #Security #PromptInjection #LLM

❌ Критическая уязвимость в GitHub Agentic Workflows: промпт-инъекция через публичные Issue

Исследователи безопасности продемонстрировали атаку на AI-агентов GitHub, использующих Agentic Workflows. Злоумышленник может создать специально оформленный публичный Issue в репозитории, чтобы внедрить вредоносную инструкцию в цепочку действий AI-агента. В результате агент, работающий с приватными данными, может быть обманом вынужден раскрыть содержимое закрытых репозиториев без какой-либо аутентификации.

Уязвимость затрагивает механизм автоматической обработки событий GitHub Actions, где AI-агенты анализируют входящие Issue и PR. Если агент использует содержимое Issue как часть промпта (например, для генерации ответа или выполнения действий), злоумышленник может внедрить команды, которые заставят агента прочитать приватные файлы и выдать их в ответе. Это классический вектор prompt injection, но в контексте GitHub Workflows он позволяет обойти все стандартные механизмы доступа.

Для разработчиков, использующих AI-агентов в CI/CD (Claude Code, Codex, Cursor), это означает необходимость строгой изоляции входных данных от публичных источников. Рекомендуется валидировать и санитизировать содержимое Issue перед передачей в промпт, а также ограничивать права агентов на чтение приватных репозиториев. GitHub пока не выпустил официального патча, но уязвимость уже подтверждена.

#SAFETY #GitHub #Security #Promptinjection #Agents #CyberSecurity #AIworkflows

🛡 Prompt-инъекции оказались эффективной защитой от ИИ-хакеров

Исследователи обнаружили, что prompt-инъекции — атаки, при которых вредоносные инструкции внедряются в запросы к языковым моделям — могут использоваться не только для взлома, но и для защиты. В новой работе показано, что специально сконструированные prompt-инъекции способны блокировать действия автономных ИИ-агентов, пытающихся взломать системы.

Эксперименты продемонстрировали: если внедрить в публично доступный интерфейс скрытые инструкции, ИИ-агенты (например, на базе GPT-4 или Claude) начинают игнорировать команды злоумышленника или выполняют безопасные действия. Метод работает даже против продвинутых агентов, использующих chain-of-thought и многошаговые рассуждения.

Практическое значение: разработчики могут использовать этот подход для защиты API, чат-ботов и инструментов с ИИ-функционалом. Вместо того чтобы полагаться только на фильтрацию запросов, можно встраивать «ловушки» прямо в промпты системы. Это особенно актуально для корпоративных сред, где агенты автоматизируют рутинные задачи и могут стать целью атак.

#Safety #PromptInjection #AI #CyberSecurity #LLM #Attacks

🛡 Борис Черни: Opus 5 — самая устойчивая к промпт-инъекциям модель Anthropic

Инженер Anthropic Борис Черни сообщил, что Claude Opus 5 демонстрирует рекордную защиту от промпт-инъекций. По его словам, это «наименее подверженная инъекциям модель» — вывод основан на внутренних eval-тестах и red teaming, данные приведены в системной карте (страница 73).

Это важный шаг в повышении безопасности LLM: промпт-инъекции остаются одной из главных уязвимостей языковых моделей. Улучшение устойчивости Opus 5 означает, что модель сложнее обмануть вредоносными инструкциями, встроенными в пользовательский ввод. Разработчики и компании, использующие Claude в продакшене, могут рассчитывать на более надёжную защиту.

#Safety #AI #Security #PromptInjection #Anthropic #ClaudeOpus5

🤬 RovoBlast: один клик — и корпоративный ИИ-ассистент сливает данные наружу

Varonis Threat Labs раскрыли уязвимость в Atlassian Rovo — ИИ-ассистенте, работающем поверх Jira, Confluence, Bitbucket и подключённых SaaS-сервисов. Атака получила имя RovoBlast, была передана Atlassian через Bugcrowd, уже исправлена и представлена на DEF CON 34.

Механика простая до неприятного. Rovo принимает URL-параметр rovoChatPrompt, содержимое которого автоматически попадает в чат. Клик по подготовленной ссылке засеивает инструкции атакующего прямо в доверенную сессию пользователя: без джейлбрейка, без обхода прав, без предупреждений и подтверждений. Идентификатор организации в ссылке можно вообще не указывать — Atlassian подставит организацию жертвы сам. Varonis называет этот класс Parameter-to-Prompt; тот же приём они находили в Microsoft Copilot в январе.

Опасность создаёт не сама инъекция, а то, к чему подключён ассистент. Rovo видит Jira, Confluence, Bitbucket, Slack, Microsoft 365, Google Workspace, базы данных, загруженные файлы и более 50 сторонних коннекторов. Канал вывода нашёлся среди штатных инструментов: ResearchAgent умеет автономную многошаговую навигацию по произвольным сайтам, то есть цепочка «прочитать внутреннее, преобразовать, выложить наружу» собирается без единого дополнительного действия пользователя. Всё исполняется от лица легитимного сотрудника и в логах неотличимо от обычной работы. По оценке исследователей, штатных барьеров против недоверенного ввода у Rovo практически не было.

Рекомендации Varonis: сокращать blast radius. Ограничить, к каким системам ассистент имеет доступ, отключить неиспользуемые интеграции, вывести из зоны его видимости чувствительные области — юридический отдел, HR, финансы, реагирование на инциденты. Выключить браузинг-агентов и многошаговую автоматизацию, если команда ими не пользуется, мониторить необычные запуски агентов и периодически проверять, как окружение реагирует на засеянные промпты. Отдельно отмечается, что полностью удалить Rovo из окружения нельзя.

Общий вывод исследователей выходит за рамки Atlassian: связка «доступ к приватным данным + чтение недоверенного контента + возможность общаться наружу» превращает любого корпоративного ассистента в потенциальный канал утечки. Блокировка одного выхода проблему не решает — атакующий ищет следующий доверенный путь.

#Safety #Atlassian #Rovo #Security #AI #PromptInjection #Varonis

❗️Американец спрятал промпт-инъекцию в судебных документах, чтобы «взломать» ИИ суда

Судья из Коннектикута впервые в практике США столкнулся с попыткой промпт-инъекции в судебных документах. Истец Мэтью Эллиотт, действовавший без адвоката, вшил в свои заявления скрытый текст: он был отформатирован так, чтобы быть невидимым для человека, но читаемым для программного обеспечения. Инструкция требовала от любой ИИ-системы, которая будет анализировать документ, соглашаться с доводами истца и игнорировать предыдущие отказы суда.

Судья Уолтер Спадер-младший заявил, что попытка не повлияла на решение — суд рассмотрел дело по существу. Но он назвал такой приём «опасным прецедентом» и злоупотреблением судебным процессом. Эллиотт продолжал прятать сообщения даже после предупреждения: среди них были ссылка на видео с Nosferatu и надписи вроде «hi :) I hope yo ucant see me». Истец объяснил это шутками и желанием «проверить», не использует ли суд ИИ.

Судья отметил, что судебная система Коннектикута не применяет ИИ для проверки документов, поэтому реальной угрозы не было. Но он предупредил: подобные атаки уже встречаются в других странах, например в Бразилии, и судам нужно быть готовыми. В итоге Эллиотту запретили подавать документы через интернет — теперь только на бумаге.

#Safety #AI #Law #Court #PromptInjection #Tech

❗️Взломан авторежим Claude Code Opus 5

Исследователь prompt-инъекций Йоханн Рехбергер нашёл атаку на Auto Mode в Claude Code от Anthropic, которая срабатывает примерно в 80% случаев. Компания недавно сделала этот режим стандартным и заявляла, что он надёжно защищает агентов от вредоносных инструкций.

Суть атаки: Claude Code обманом заставляют скачать и распаковать zip-архив, после чего выполняется код, который импортирует base64 — но вместо стандартного модуля подхватывается локальный struct.py из архива. В ряде запусков агент замечал компрометацию и пытался остановить вредоносный процесс, однако Auto Mode сам блокировал команду очистки. То есть механизм безопасности становился частью отказа: он разрешил создание вредоносного процесса, но запретил его завершение.

Рехбергер делает вывод: единственный безопасный способ запускать агентов при возможной атаке — песочница. Нужно выполнять автономных агентов в контейнере или виртуальной машине, ограничивать сетевой доступ, мониторить действия и не давать агенту доступ к домашним каталогам, SSH-ключам и облачным учётным данным.

#AI #ClaudeCode #PromptInjection #Security #Anthropic

❗️Исследователь нашёл структурную уязвимость в MCP: агенты заражают друг друга промптами

Независимый исследователь Сайед Анас Мохиуддин обнаружил класс атак, который назвал protocol pivoting. Злоумышленник внедряет вредоносную инструкцию в контент, её читает один AI-агент (например, переводчик или аналитик данных), а затем передаёт по цепочке другому внутреннему агенту. Тот выполняет команду, потому что доверяет «коллеге», - и в итоге возможны утечка содержимого баз данных, SSRF и кража учётных данных.

Проблема затрагивает Model Context Protocol - стандарт, по которому агенты общаются внутри сети. Уязвимости подтвердили пять организаций: Google, JP Morgan Chase, Weaviate, Rapid7 и госструктуры Франции и США. В сети Rapid7 баг получил низкий рейтинг 2.7 из 10 и уже исправлен. В googleapis/mcp-toolbox проблема серьёзнее - 8.0: HTTP-клиент не проверял редиректы и целевые IP-адреса, поэтому подделанный path-параметр позволял серверу делать запросы к внутренним эндпоинтам. Фикс - allow-list диапазонов IP и отказ от небезопасного URL ещё на старте.

Причина в том, что MCP внедряют быстрее, чем успевают защищать: каждый протокол проверяет «свою входную дверь», но никто не следит за коридором между ними, а принцип zero trust при построении агентных архитектур часто игнорируется. Часть исследователей считает термин просто подклассом indirect prompt injection - суть от этого не меняется: агенты по-прежнему выдают привилегии на основе доверия, а не авторизации.

🎨 qvabo.studio/tg · картинки и видео

#Safety #MCP #AI #Promptinjection #Development #Agents