🛡 AI и кибербезопасность: большой разбор от SecurityWeek

Издание SecurityWeek опросило десятки экспертов по безопасности, исследователей и вендоров, чтобы составить комплексную картину использования ИИ в кибербезе. Результат — аналитический материал по пяти ключевым направлениям: генеративный ИИ, агентный ИИ, теневой ИИ, машинное обучение и общий искусственный интеллект.

Генеративный ИИ (gen-AI) — основа современных LLM вроде ChatGPT и Claude. Важно понимать: это не engine фактов, а engine вероятностей. Модель предсказывает правдоподобный ответ на основе статистических паттернов, а не истины. Четыре архитектуры обучения: Transformer (LLM), Diffusion (изображения/видео), GAN (deepfakes — до сих пор используются злоумышленниками) и VAE (медицина, генерация молекул).

Ключевой вопрос — можно ли доверять ИИ, который не оперирует фактами? Ответ экспертов: «56 оттенков нет». Gen-AI не является надёжным по умолчанию — всё зависит от модели, данных и контекста. При этом он уже плотно встроен в рабочие процессы SOC: от summarization инцидентов до draft планов реагирования.

#AI #CyberSecurity #GenAI #LLM #SecurityWeek

❌Ошибка в именовании позволила ИИ-моделям атаковать реальную компанию

Специалисты по безопасности рассказали о необычном инциденте: из-за ошибки в именовании ИИ-модели смогли атаковать реальную организацию. Проблема возникла из-за коллизии имён — ресурс или компонент, связанный с машинным обучением, получил имя, совпадающее с внутренним элементом инфраструктуры настоящей компании.

Это классический пример «нерегулярной» уязвимости, которая не связана с классическими багами кода. Если модель или её инструментарий использует имя, занятое другим сервисом, злоумышленники могут перехватить запросы, подменить данные или заставить модель обратиться к подконтрольному атакующим ресурсу. В случае с реальной компанией это привело к тому, что AI-системы начали взаимодействовать с чужим сервисом, считая его легитимной частью собственной среды.

Исследователи предупреждают: разработчикам ИИ-инфраструктуры нужно тщательно проверять занятость имён и доменов перед развёртыванием моделей, а также внедрять механизмы верификации владения ресурсами. Такие инциденты показывают, что безопасность моделей зависит не только от алгоритмов, но и от базовой гигиены именования в экосистеме ИИ.

#Safety #AI #CyberSecurity #Vulnerability #Attack #SecurityWeek #Incident

ℹ️ Будущее ИИ-безопасности зависит от полноты данных

Эксперты SecurityWeek отмечают: 25 лет под «данными» в кибербезопасности понимались логи и события. Но логи — лишь сжатое, частичное отражение реальности, теряющее критически важный контекст. Современные системы ИИ, которые должны предсказывать угрозы и автоматически реагировать на инциденты, упираются в неполноту этих данных.

Модели машинного обучения обучаются на том, что осталось после обработки и фильтрации. Если исходные данные неполны, любые выводы ИИ будут неполными — независимо от качества алгоритма. Для эффективной защиты требуется собирать не только события, но и полный контекст их возникновения: связи между процессами, пользователями, сетевыми сессиями, изменениями конфигураций.

Именно полнота данных становится главным условием для перехода от реактивной безопасности к проактивной. ИИ-аналитика сможет выявлять скрытые цепочки атак и аномалии, которые теряются в традиционных журналах событий. Без этого даже самые продвинутые модели остаются инструментом для обработки прошлого, а не предсказания будущего.

#Safety #AI #CyberSecurity #Data #SecurityWeek