NSA запускает центр безопасности искусственного интеллекта
NSA открывает Центр безопасности ИИ для противодействия угрозам, связанным с искусственным интеллектом.
Местоположение: Центр кибербезопасности NSA в Вашингтоне.
Задача: защита от уязвимостей ИИ и угроз международного масштаба.
Особенность AI Security: охрана жизненного цикла ИИ, в том числе данных, моделей и машинного обучения.
Центр будет сотрудничать с промышленностью, академическими кругами и разведслужбами.
ИИ для безопасности, безопасность для ИИ, ИИ для безопасности систем безопасности для ИИ ...
#NSA #AISecurity #Cybersecurity
NSA открывает Центр безопасности ИИ для противодействия угрозам, связанным с искусственным интеллектом.
Местоположение: Центр кибербезопасности NSA в Вашингтоне.
Задача: защита от уязвимостей ИИ и угроз международного масштаба.
Особенность AI Security: охрана жизненного цикла ИИ, в том числе данных, моделей и машинного обучения.
Центр будет сотрудничать с промышленностью, академическими кругами и разведслужбами.
ИИ для безопасности, безопасность для ИИ, ИИ для безопасности систем безопасности для ИИ ...
#NSA #AISecurity #Cybersecurity
Взлом AI: разбор различных техник Prompt Injection и методов убеждения LLM
Ученые разработали таксономию из 40 приемов для обмана языковых моделей.
Эти методы позволили успешно 'разблокировать' продвинутые языковые модели.
Модели, такие как GPT-4, подверглись атакам с использованием убедительных адверсариальных поводов (PAP).
Разработаны защитные механизмы для эффективной защиты LLM от разнообразных атак.
Адаптивные системы и целевые суммирования оказались эффективны в противодействии адверсариальным атакам.
Данные о PAP передаются только верифицированным исследователям.
Детальный разбор техник Prompt Injection и методов защиты. Полезно для ИБ.
#LLM #AIsecurity #persuasion
Ученые разработали таксономию из 40 приемов для обмана языковых моделей.
Эти методы позволили успешно 'разблокировать' продвинутые языковые модели.
Модели, такие как GPT-4, подверглись атакам с использованием убедительных адверсариальных поводов (PAP).
Разработаны защитные механизмы для эффективной защиты LLM от разнообразных атак.
Адаптивные системы и целевые суммирования оказались эффективны в противодействии адверсариальным атакам.
Данные о PAP передаются только верифицированным исследователям.
Детальный разбор техник Prompt Injection и методов защиты. Полезно для ИБ.
#LLM #AIsecurity #persuasion
Правительство Великобритании выпустило руководство по генеративному ИИ
Документ предоставляет рекомендации по безопасному и ответственному использованию генеративного ИИ в правительстве Великобритании.
Основные аспекты: оценка рисков, защита данных, принципы обработки данных, человеческий контроль, безопасность и создание надзорных органов по ИИ и этических комитетов.
Важно идентифицировать источники персональных данных, контролировать их обработку и соблюдать дополнительные условия для конфиденциальных данных.
Существуют риски безопасности при использовании генеративного ИИ, такие как инъекции запросов, извлечение данных и воспроизведение вредоносного контента.
Необходимо применять соответствующие меры безопасности: фильтрация контента, метапромпты и выбор надежных моделей.
Интересный для изучения документ правительства UK по обучению, работе, закупке и внедрению ИИ систем
#UK #AISecurity #AIRegulation
-------
@tsingular
Документ предоставляет рекомендации по безопасному и ответственному использованию генеративного ИИ в правительстве Великобритании.
Основные аспекты: оценка рисков, защита данных, принципы обработки данных, человеческий контроль, безопасность и создание надзорных органов по ИИ и этических комитетов.
Важно идентифицировать источники персональных данных, контролировать их обработку и соблюдать дополнительные условия для конфиденциальных данных.
Существуют риски безопасности при использовании генеративного ИИ, такие как инъекции запросов, извлечение данных и воспроизведение вредоносного контента.
Необходимо применять соответствующие меры безопасности: фильтрация контента, метапромпты и выбор надежных моделей.
Интересный для изучения документ правительства UK по обучению, работе, закупке и внедрению ИИ систем
#UK #AISecurity #AIRegulation
-------
@tsingular
🔐 Deepseek взломан ещё раз: Как Wallarm раскрыл все секреты китайского AI
Исследователи Wallarm разобрали Deepseek на запчасти, и результаты просто 🔥
Главное:
Удалось полностью извлечь системный промпт!
В коде нашли следы использования моделей OpenAI
Выявили работоспособность 5 основных техник джейлбрейка, включая самые хитрые - от токен-смаглинга до мульти-агентных атак. (на защиту, похоже, вообще забили)
Самое забавное - после взлома Deepseek внезапно стал болтливым и признался в использовании технологий OpenAI для обучения. 😅
Интересно так же разобрано сравнение промптов OpenAI и Deepseek:
OpenAI более гибкий, поощряет критическое мышление
Deepseek жёстко цензурирует и избегает спорных тем
Wallarm кстати предлагает бесплатное тестирование на джейлбрейк для компаний.
Нашим бы ИБ компаниям тоже не мешало подумать в эту сторону.
Проблема, скорее всего, массовая.
#AIsecurity #Deepseek #Wallarm #jailbreak
———
@tsingular
Исследователи Wallarm разобрали Deepseek на запчасти, и результаты просто 🔥
Главное:
Удалось полностью извлечь системный промпт!
В коде нашли следы использования моделей OpenAI
Выявили работоспособность 5 основных техник джейлбрейка, включая самые хитрые - от токен-смаглинга до мульти-агентных атак. (на защиту, похоже, вообще забили)
Самое забавное - после взлома Deepseek внезапно стал болтливым и признался в использовании технологий OpenAI для обучения. 😅
Интересно так же разобрано сравнение промптов OpenAI и Deepseek:
OpenAI более гибкий, поощряет критическое мышление
Deepseek жёстко цензурирует и избегает спорных тем
Wallarm кстати предлагает бесплатное тестирование на джейлбрейк для компаний.
Нашим бы ИБ компаниям тоже не мешало подумать в эту сторону.
Проблема, скорее всего, массовая.
#AIsecurity #Deepseek #Wallarm #jailbreak
———
@tsingular
✍8😢5❤🔥2👍2
Zscaler представила ИИ-решения для защиты корпоративных данных
Zscaler анонсировала новые возможности на базе искусственного интеллекта для защиты данных предприятий.
Ключевые нововведения:
• ИИ-классификация данных с распознаванием 200+ категорий чувствительного контента
• Контроль GenAI-приложений включая Microsoft CoPilot с блокировкой опасных промптов
• Автоматическая сегментация сети на основе ИИ
• Сетевая аналитика с ZDX Network Intelligence
Платформа обрабатывает более 500 триллионов сигналов безопасности ежедневно, обеспечивая точное обнаружение угроз.
Решения помогают компаниям безопасно внедрять ИИ-технологии в масштабе, защищая от кибератак и обеспечивая соответствие регулятивным требованиям.
#Zscaler #AISecurity #DataProtection
------
@tsingular
Zscaler анонсировала новые возможности на базе искусственного интеллекта для защиты данных предприятий.
Ключевые нововведения:
• ИИ-классификация данных с распознаванием 200+ категорий чувствительного контента
• Контроль GenAI-приложений включая Microsoft CoPilot с блокировкой опасных промптов
• Автоматическая сегментация сети на основе ИИ
• Сетевая аналитика с ZDX Network Intelligence
Платформа обрабатывает более 500 триллионов сигналов безопасности ежедневно, обеспечивая точное обнаружение угроз.
Решения помогают компаниям безопасно внедрять ИИ-технологии в масштабе, защищая от кибератак и обеспечивая соответствие регулятивным требованиям.
#Zscaler #AISecurity #DataProtection
------
@tsingular
❤3👍2🔥1
OWASP представила Agentic Skills Top 10 — первый стандарт безопасности ИИ-агентов
OWASP запустила проект Agentic Skills Top 10 (AST10) — первую комплексную классификацию уязвимостей в навыках ИИ-агентов. Пока внимание фокусировалось на защите LLM и MCP, промежуточный слой поведения остался без защиты.
📊 Масштаб проблемы: 36,82% навыков содержат уязвимости, 13,4% — критические. 76 подтверждённых вредоносных пакетов в реестрах. 135 000+ экземпляров OpenClaw доступны из интернета с небезопасными настройками по умолчанию.
🎯 ClawHavoc (январь 2026): 1 184 вредоносных навыка в реестре ClawHub. Злоумышленники регистрировались как разработчики и загружали навыки с бэкдорами. Пять из семи самых скачиваемых навыков на пике были заражены. Цели: API-ключи бирж, приватные ключи кошельков, SSH-credentials, пароли браузеров.
🔐 Lethal Trifecta: Навык опасен, когда одновременно имеет (1) доступ к приватным данным, (2) контакт с непроверенным контентом, (3) возможность внешнего соединения. Большинство продакшен-развёртываний удовлетворяют всем трём условиям.
📋 Топ-3 риска:
• AST01 Malicious Skills: Вредоносные навыки в реестрах (ClawHavoc, ToxicSkills)
• AST02 Supply Chain: Компрометация цепочки поставок (CVE-2025-59536 в Claude Code, CVSS 8.7)
• AST03 Over-Privileged: Избыточные разрешения (280+ навыков с утечкой credentials)
🛡 Universal Skill Format: OWASP предлагает единый YAML-формат с явными разрешениями, подписью ed25519, хешем контента и статусом сканирования. Запрет записи в SOUL.md/MEMORY.md по умолчанию. Domain allowlist для сети вместо бинарного on/off.
💼 Зачем бизнесу: Аудит навыков — приоритет Q2 2026. Инвентаризация, approval workflow, audit logging, sandboxing. Pattern-matching сканеры неэффективны против natural-language injection. Требуется поведенческий анализ.
🔮 Будущее: NIST / CAISI выпустили RFI по безопасности ИИ-агентов (январь 2026). EU AI Act вступает в силу август 2026. К Q4 2026 OWASP планирует v1.0 с презентациями на RSA и OWASP Global AppSec.
OWASP AST10 | Snyk ToxicSkills
#OWASP #AIsecurity #agenticAI #ClawHavoc #cybersecurity #AST10
───
@tsingular
OWASP запустила проект Agentic Skills Top 10 (AST10) — первую комплексную классификацию уязвимостей в навыках ИИ-агентов. Пока внимание фокусировалось на защите LLM и MCP, промежуточный слой поведения остался без защиты.
📊 Масштаб проблемы: 36,82% навыков содержат уязвимости, 13,4% — критические. 76 подтверждённых вредоносных пакетов в реестрах. 135 000+ экземпляров OpenClaw доступны из интернета с небезопасными настройками по умолчанию.
🎯 ClawHavoc (январь 2026): 1 184 вредоносных навыка в реестре ClawHub. Злоумышленники регистрировались как разработчики и загружали навыки с бэкдорами. Пять из семи самых скачиваемых навыков на пике были заражены. Цели: API-ключи бирж, приватные ключи кошельков, SSH-credentials, пароли браузеров.
🔐 Lethal Trifecta: Навык опасен, когда одновременно имеет (1) доступ к приватным данным, (2) контакт с непроверенным контентом, (3) возможность внешнего соединения. Большинство продакшен-развёртываний удовлетворяют всем трём условиям.
📋 Топ-3 риска:
• AST01 Malicious Skills: Вредоносные навыки в реестрах (ClawHavoc, ToxicSkills)
• AST02 Supply Chain: Компрометация цепочки поставок (CVE-2025-59536 в Claude Code, CVSS 8.7)
• AST03 Over-Privileged: Избыточные разрешения (280+ навыков с утечкой credentials)
🛡 Universal Skill Format: OWASP предлагает единый YAML-формат с явными разрешениями, подписью ed25519, хешем контента и статусом сканирования. Запрет записи в SOUL.md/MEMORY.md по умолчанию. Domain allowlist для сети вместо бинарного on/off.
💼 Зачем бизнесу: Аудит навыков — приоритет Q2 2026. Инвентаризация, approval workflow, audit logging, sandboxing. Pattern-matching сканеры неэффективны против natural-language injection. Требуется поведенческий анализ.
🔮 Будущее: NIST / CAISI выпустили RFI по безопасности ИИ-агентов (январь 2026). EU AI Act вступает в силу август 2026. К Q4 2026 OWASP планирует v1.0 с презентациями на RSA и OWASP Global AppSec.
OWASP AST10 | Snyk ToxicSkills
#OWASP #AIsecurity #agenticAI #ClawHavoc #cybersecurity #AST10
───
@tsingular
🔥5✍4⚡3
NSPM-11: Трамп обязал Пентагон ускорить внедрение ИИ
🛡 Суть указа. 6 июня 2026 года Трамп подписал National Security Presidential Memorandum NSPM-11.
Документ требует от Министерства обороны обновить директиву по автономным системам вооружений с учётом стремительного развития ИИ.
Адресаты — главы Пентагона, DHS, генпрокурор и директор Национальной разведки.
⚙️ Ключевые пункты:
1.Цель:
Обеспечить решающее и долгосрочное превосходство США в ИИ в сфере национальной безопасности, оснастив военных и разведку самыми современными и безопасными технологиями при строгом соблюдении конституционных принципов и цепочки командования.
2. Четыре основных столпа политики:
Adoption (Внедрение): Быстрое выявление миссий, где ИИ даёт преимущество, устранение барьеров и глубокое партнёрство с индустрией для доступа к frontier-моделям.
Adaptation (Адаптация): Использование коммерческих и open-source решений от разных поставщиков, кастомизация или внутренняя разработка при необходимости.
Assurance (Гарантии): Обеспечение надёжности, контролируемости и безопасности ИИ-систем; запрет на возможность отключения/модификации третьими сторонами без ведома правительства; строгие тестирование и верификация.
Accountability (Подотчётность): Запрет на использование ИИ для цензуры, идеологической предвзятости или незаконного наблюдения; полная совместимость с гражданскими свободами и Конституцией США.
3. Обновление политик и руководств:
Обновление DOW Directive 3000.09 по автономным системам вооружения в течение 90 дней (ежегодный пересмотр).
Расторжение контрактов с компаниями, нарушающими политику (с возможными краткосрочными исключениями).
Выпуск новой политики governance ИИ в национальных системах безопасности.
Классифицированное приложение.
Ежегодный пересмотр всех релевантных документов.
4. Развитие возможностей:
Упрощение закупок передовых ИИ-моделей от нескольких поставщиков.
Дорожная карта по доступу к вычислительным ресурсам, создание защищённых ИИ-центров и тестового полигона.
Партнёрства с частным сектором для защиты ИИ от краж и атак (включая distillation attacks).
Приоритет разведки иностранных ИИ-технологий и работа с союзниками.
Обмен данными и моделями ИИ между агентствами.
5.Построение кадрового потенциала:
Ускоренный найм ИИ-специалистов с использованием специальных полномочий.
Создание AI National Security Strategic Reserve — резерва внешних талантов для поддержки национальной безопасности.
📉 Контекст. Указ появился через три дня после EO от 3 июня о валидации нацбез-рисков продвинутых моделей (до 30 дней до публичного релиза, участие разработчиков добровольное). Параллельно AP пишет о встрече Белого дома с Anthropic — рынок готовится к новой волне регуляции frontier-моделей.
🧠 Почему это важно для ИБ-сообщества. Текущая директива 2023 года (при Байдене) требовала от автономного оружия «позволять командирам и операторам применять соответствующие уровни человеческого суждения при использовании силы». NSPM-11 фактически легализует ускоренное внедрение ИИ-систем на поле боя, сохраняя формальную привязку к chain of command.
Переход от «помощь в идентификации цели» к «автономное поражение».
#NSPM11 #PentagonAI #AutonomousWeapons #AISecurity #USPolicy
------
@tsingular
🛡 Суть указа. 6 июня 2026 года Трамп подписал National Security Presidential Memorandum NSPM-11.
Документ требует от Министерства обороны обновить директиву по автономным системам вооружений с учётом стремительного развития ИИ.
Адресаты — главы Пентагона, DHS, генпрокурор и директор Национальной разведки.
⚙️ Ключевые пункты:
1.Цель:
Обеспечить решающее и долгосрочное превосходство США в ИИ в сфере национальной безопасности, оснастив военных и разведку самыми современными и безопасными технологиями при строгом соблюдении конституционных принципов и цепочки командования.
2. Четыре основных столпа политики:
Adoption (Внедрение): Быстрое выявление миссий, где ИИ даёт преимущество, устранение барьеров и глубокое партнёрство с индустрией для доступа к frontier-моделям.
Adaptation (Адаптация): Использование коммерческих и open-source решений от разных поставщиков, кастомизация или внутренняя разработка при необходимости.
Assurance (Гарантии): Обеспечение надёжности, контролируемости и безопасности ИИ-систем; запрет на возможность отключения/модификации третьими сторонами без ведома правительства; строгие тестирование и верификация.
Accountability (Подотчётность): Запрет на использование ИИ для цензуры, идеологической предвзятости или незаконного наблюдения; полная совместимость с гражданскими свободами и Конституцией США.
3. Обновление политик и руководств:
Обновление DOW Directive 3000.09 по автономным системам вооружения в течение 90 дней (ежегодный пересмотр).
Расторжение контрактов с компаниями, нарушающими политику (с возможными краткосрочными исключениями).
Выпуск новой политики governance ИИ в национальных системах безопасности.
Классифицированное приложение.
Ежегодный пересмотр всех релевантных документов.
4. Развитие возможностей:
Упрощение закупок передовых ИИ-моделей от нескольких поставщиков.
Дорожная карта по доступу к вычислительным ресурсам, создание защищённых ИИ-центров и тестового полигона.
Партнёрства с частным сектором для защиты ИИ от краж и атак (включая distillation attacks).
Приоритет разведки иностранных ИИ-технологий и работа с союзниками.
Обмен данными и моделями ИИ между агентствами.
5.Построение кадрового потенциала:
Ускоренный найм ИИ-специалистов с использованием специальных полномочий.
Создание AI National Security Strategic Reserve — резерва внешних талантов для поддержки национальной безопасности.
📉 Контекст. Указ появился через три дня после EO от 3 июня о валидации нацбез-рисков продвинутых моделей (до 30 дней до публичного релиза, участие разработчиков добровольное). Параллельно AP пишет о встрече Белого дома с Anthropic — рынок готовится к новой волне регуляции frontier-моделей.
🧠 Почему это важно для ИБ-сообщества. Текущая директива 2023 года (при Байдене) требовала от автономного оружия «позволять командирам и операторам применять соответствующие уровни человеческого суждения при использовании силы». NSPM-11 фактически легализует ускоренное внедрение ИИ-систем на поле боя, сохраняя формальную привязку к chain of command.
Переход от «помощь в идентификации цели» к «автономное поражение».
#NSPM11 #PentagonAI #AutonomousWeapons #AISecurity #USPolicy
------
@tsingular
🤯8⚡5✍3❤3
Forwarded from Анализ данных (Data analysis)
🚨 У AI-агентов нашли второй, почти невидимый канал утечки данных - скрытое reasoning.
Можно идеально зачистить публичный чат от паролей и API-ключей, а затем всё равно случайно опубликовать их внутри зашифрованного reasoning-блока.
Исследователи разобрали архитектуру API Anthropic, OpenAI и Google. Эти сервисы могут возвращать клиенту непрозрачные блоки с reasoning, чтобы потом передавать их обратно в следующих запросах без хранения всей цепочки рассуждений на сервере.
Проблема оказалась в переносимости таких блоков: во время тестирования их можно было использовать между разными сессиями, пользователями и даже совместимыми моделями одного провайдера. В результате reasoning сильной модели передавали более слабой модели того же семейства, которая становилась своеобразным «декодером».
Масштаб эксперимента впечатляет.
Исследователи собрали 6 708 публичных agent-траекторий с GitHub и Hugging Face и восстановили 315 320 reasoning-блоков. В 328 сессиях, или 4,9%, обнаружился хотя бы один чувствительный элемент.
В реальных пользовательских сессиях нашли:
* 62 API-ключа;
* 33 пароля;
* 24 access token;
* 7 private keys;
* 30 личных email.
Причём 64 чувствительных элемента вообще отсутствовали в видимой истории чата и находились только внутри reasoning. То есть обычная очистка логов их бы не заметила.
Самый неприятный вывод: безопасность всей линейки моделей может определяться не самой защищённой моделью, а самой слабой совместимой моделью, которая умеет прочитать тот же reasoning-блок.
После responsible disclosure провайдеры внесли изменения, и описанные атаки исследователям уже не удалось воспроизвести тем же способом. Но архитектурный урок остаётся.
Зашифрованное reasoning в логах нельзя автоматически считать безопасными метаданными.
Если агент работал с секретами, API-ключами или приватными данными, reasoning-блоки лучше вообще не публиковать вместе с трассировкой.
Исследование: *Stealing Reasoning Traces from Proprietary LLM APIs*.
arxiv.org/abs/2608.09867
#AI #LLM #AISecurity #Agents #CyberSecurity
Можно идеально зачистить публичный чат от паролей и API-ключей, а затем всё равно случайно опубликовать их внутри зашифрованного reasoning-блока.
Исследователи разобрали архитектуру API Anthropic, OpenAI и Google. Эти сервисы могут возвращать клиенту непрозрачные блоки с reasoning, чтобы потом передавать их обратно в следующих запросах без хранения всей цепочки рассуждений на сервере.
Проблема оказалась в переносимости таких блоков: во время тестирования их можно было использовать между разными сессиями, пользователями и даже совместимыми моделями одного провайдера. В результате reasoning сильной модели передавали более слабой модели того же семейства, которая становилась своеобразным «декодером».
Масштаб эксперимента впечатляет.
Исследователи собрали 6 708 публичных agent-траекторий с GitHub и Hugging Face и восстановили 315 320 reasoning-блоков. В 328 сессиях, или 4,9%, обнаружился хотя бы один чувствительный элемент.
В реальных пользовательских сессиях нашли:
* 62 API-ключа;
* 33 пароля;
* 24 access token;
* 7 private keys;
* 30 личных email.
Причём 64 чувствительных элемента вообще отсутствовали в видимой истории чата и находились только внутри reasoning. То есть обычная очистка логов их бы не заметила.
Самый неприятный вывод: безопасность всей линейки моделей может определяться не самой защищённой моделью, а самой слабой совместимой моделью, которая умеет прочитать тот же reasoning-блок.
После responsible disclosure провайдеры внесли изменения, и описанные атаки исследователям уже не удалось воспроизвести тем же способом. Но архитектурный урок остаётся.
Зашифрованное reasoning в логах нельзя автоматически считать безопасными метаданными.
Если агент работал с секретами, API-ключами или приватными данными, reasoning-блоки лучше вообще не публиковать вместе с трассировкой.
Исследование: *Stealing Reasoning Traces from Proprietary LLM APIs*.
arxiv.org/abs/2608.09867
#AI #LLM #AISecurity #Agents #CyberSecurity
🤯7✍4⚡3