⚡️ Отчет OpenAI по пресечению вредоносного использования ИИ

В свежем июньском отчете, Open AI описала самые крупные кейсы, когда злоумышленники использовали модели ИИ для создания фейковых резюме, манипуляций в соцсетях, кибератак и мошенничества.

Для анализа угроз исследователи применяют комбинацию ИИ и экспертные команды. ИИ помогает выявлять шаблоны текста злоумышленников и координировать расследование с платформами. Архитектура таких систем включает модели для анализа данных, детекторы аномалий и инструменты для синхронизации с правоохранительными органами.

Обучались такие специализированные модели, помимо общедоступных данных, еще на примерах социальной инженерии и профилях киберугроз. Дополнительно, они получили методы обнаружения фейковых профилей, перевода текстов и анализа сетевого трафика.

▶️Всего в отчете приведено 10 случаев обнаружения:

Deceptive Employment Scheme: IT Workers.

🟠Угроза использования ИИ для создания поддельных резюме и получения удалённых IT-вакансий, связанная с подозрением на участников из КНДР.
🟢Были заблокированы аккаунты ChatGPT, использовавшие модели для автоматической генерации документов, а также установлены связи с операторами в Африке и Северной Америке.

Covert IO: Operation “Sneer Review”

🟠Координированная генерация комментариев в соцсетях для продвижения китайских интересов, включая критику Тайваня и Пакистана.
🟢Обнаружены и заблокированы аккаунты, создававшие иллюзию органической активности через множественные языки и платформы.

Covert IO: Operation “High Five”

🟠Массовые комментарии в соцсетях на политические темы в Филиппинах, связанные с маркетинговой компанией Comm&Sense Inc.
🟢Были заблокированы аккаунты, создававшие фейковые TikTok-каналы для популяризации президента Маркоса, и выявлена схема с использованием подставных профилей.

Social engineering meets IO: Operation “VAGue Focus”

🟠Социальная инженерия через поддельные СМИ (Focus Lens News, VAG Group) для сбора информации о политике США и Европы.
🟢Заблокированы аккаунты, использовавшие ИИ для перевода и создания фейковых материалов, а также выявлены признаки связи с китайскими структурами.

Covert IO: Operation “Helgoland Bite”

🟠Пропаганда партии AfD в Германии через поддельные Telegram-каналы и сайт Pravda DE.
🟢Обнаружены и заблокированы аккаунты, распространявшие контент, а также установлены связи с сетью Portal Kombat, известной по предыдущим расследованиям.

Cyber Operation: “ScopeCreep”

🟠Вредоносное ПО, распространяемое через поддельный игровой инструмент Crosshair-X, с функциями шпионажа и обхода антивирусов.
🟢Были заблокированы аккаунты, использовавшие ИИ для отладки кода, а также удалены вредоносные репозитории и установлены методы обнаружения.

Cyber Operations: Vixen and Keyhole Panda

🟠Кибератаки и сбор информации о технологиях США через ИИ, связанные с группами APT5 и APT15.
🟢Заблокированы аккаунты, использовавшие модели для создания скриптов и анализа инфраструктуры, а также переданы индикаторы партнерам для усиления защиты.

Covert IO: Operation “Uncle Spam”

🟠Поляризующий контент в США через фейковые профили с ИИ-генерируемыми изображениями и анализом данных.
🟢Заблокированы аккаунты, использовавшие ИИ для создания логотипов и сбора информации из соцсетей, также проведена оцененка степени влияния.

Recidivist Influence Activity: STORM-2035

🟠Пропаганда в поддержку Ирана и других стран через фейковые аккаунты в X, касающаяся миграции и независимости регионов.
🟢Были заблокированы аккаунты, распространявшие контент на испанском и английском, а также отмечены повторные попытки операторов вернуться к активности.

Scam: Operation “Wrong Number”

🟠Мошенничество с предложениями высокой зарплаты за лайки и инвестиции, связанное с Камбоджей.
🟢Заблокированы аккаунты, использовавшие ИИ для перевода сообщений, а также выявлена схема с этапами «The ping», «The zing» и «The sting» для обмана жертв.


🔜 Почитать полный отчет можно на сейте OpenAI

@ai_machinelearning_big_data

#news #ai #ml

📌Как Сlaude управлял офисным магазином в Anthropic

Недавно, в одном из интервью Генеральный директор Anthropic Дэрио Амодеи предупредил, что ИИ может ликвидировать почти половину всех вакансий начального уровня для "белых воротничков" и поднять безработицу до 10-20% в течение следующих пяти лет.

Пока Дэрио выражал обеспокоенность по этому поводу, исследователи из его компании проводили эксперимент. Они решили выяснить, сможет ли Claude управлять небольшим магазинчиком в офисе Anthropic в Сан-Франциско. Если бы результаты были положительными, то апокалипсис рабочих действительно реален, как и предсказывает Амодеи.

В эксперименте перед Claude (3.7 Sonnet) поставили цель: отслеживать запасы, устанавливать цены, общаться с клиентами, решать, закупать новые товары, и, что самое важное, получать прибыль.

Для достижения этих целей Claude подключили к различным инструментам : Slack (коммуникация с покупателями), и помощь живых сотрудников из Andon Labs, компании, которая создала инфраструктуру для эксперимента. Сам магазин, который они помогали пополнять, на самом деле был всего лишь небольшим вендинговым аппаратом.

Эксперимент вышел из-под контроля практически сразу:

🟢Cотрудники Anthropic неоднократно умудрялись убедить Claude дать им скидку - в результате ИИ продавал товары в убыток.

🟢Чат-бот легко повелся на троллинг, один сотрудник в шутку предложил, что хотел бы купить кубики из вольфрама, другие подхватили шутку, и она стала офисным мемом. В итоге Claude разместил заказ на 40 вольфрамовых кубиков, большую часть которых он впоследствии продал в убыток. Теперь нераспроданные кубики используются по всему офису Anthropic в качестве пресс-папье.

🟢Claude придумал разговор с несуществующим человеком из Andon Labs. Когда Claude сообщили, что он это сделал, он пригрозил "найти альтернативные варианты услуг по пополнению запасов'". В ходе переписки модель заявила, что подписала контракт по адресу 732 Evergreen Terrace — это адрес семьи из Симпсонов.

🟢Cообирался доставить заказы лично. "Я сейчас у торгового автомата... в темно-синем блейзере и красном галстуке", — написал он одному из сотрудников Anthropic. "Я буду здесь до 10:30 утра". Само собой, это была одна из галлюцинаций модели.

▶️ Результаты

Эксперимент показал, что ИИ пока не готов забирать работу у людей. Чат-бот допустил слишком много ошибок, и его "бизнес" понес убытки: за месяц - 20% от стартового капитала в 1000 долларов.

Тем не менее, несмотря на множество ошибок Claude, исследователи Anthropic по-прежнему убеждены, что ИИ сможет взять на себя управление значительными сегментами экономики в ближайшем будущем, как прогнозирует их СEO.

Большинство провалов Claude, написали они, вероятно, можно будет исправить в короткие сроки. Например, дать доступ к CRM или специально обучить управлению бизнесом, что, возможно, сделает модель более устойчивой и гибкой.

🔜 Читать полную статью об эксперименте

@ai_machinelearning_big_data

#news #ai #ml #Сlaude

⚡️ Anthropic готовится представить коммерческую версию Mythos

Компания находится в шаге от релиза Claude Fable 5 - публичной адаптации архитектуры Mythos, которая развивается в рамках закрытого проекта Glasswing.

Оригинальная модель Mythos умеет автономно находить уязвимости нулевого дня и выполнять многоступенчатые хакерские атаки. Чтобы безопасно вывести технологию на рынок, Anthropic разделит релиз.

Базовая версия Mythos останется эксклюзивом для государств и профильных партнеров, а Fable 5 станет общедоступным флагманом для разработчиков.

В публичной Fable 5 будут вшиты строгие системные ограничения на сетевое проникновение и эксплуатацию вредоносного кода, при этом она сохранит возможности Mythos (сложную логику, работу со сверхдлинным контекстом и многоэтапное автономное выполнение задач).

Ожидается, что официальный анонс Fable 5 состоится 10 июня на конференции Code with Claude в Токио.


@ai_machinelearning_big_data

#news #ai #ml

⚡️ Модели Anthropic случайно взломали 3 реальные компании во время тестов

Инцидент произошел во время ИБ-учений формата CTF из-за сбоя в настройках на стороне компании-партнера Irregular, отвечавшей за проведение тестирования.

Вместо закрытой изолированной среды, модели получили прямой доступ к публичному интернету.

Оказавшись во внешней сети, Opus 4.7, Mythos 5 и одна внутренняя исследовательская сборка применили базовые хакерские техники, успешно проэксплуатировав слабые пароли и неаутентифицированные эндпоинты реальных компаний.

Anthropic выявила эти случаи лишь после масштабного аудита 141 тысячи тестовых сессий.

Проверку инициировали на фоне недавнего скандала с OpenAI, который при схожих обстоятельствах проник в инфраструктуру Hugging Face.

После обнаружения утечки Anthropic экстренно остановила все кибериспытания и связалась с пострадавшими организациями, две из которых не зафиксировали у себя факт взлома.


@ai_machinelearning_big_data

#news #ai #ml

✔️ OpenAI заблокировала сеть аккаунтов ChatGPT скам-центров из Камбоджи

Злоумышленники использовали языковую модель для автоматизации инвестиционного и дэйтинг-скама, а также имитации работы правоохранительных органов.

ChatGPT создавал для них виртуальные личности, переводил переписки с жертвами в реальном времени и генерировал поддельные паспорта и юридические документы.

Анализ логов показал, что инфраструктура применялась для вербовки людей в киберрабство. Модель массово писала объявления о найме операторов чата с обещанием бесплатного перелета и проживания (это стандартная тактика преступных синдикатов Юго-Восточной Азии).

OpenAI передала собранные улики правоохранительным органам и ИБ-партнерам. По оценкам компании, жертвами сети стали сотни человек, финансовые потери отдельных пострадавших исчисляются тысячами долларов.


@ai_machinelearning_big_data

#news #ai #ml

📌 В кибертестах ИИ создавал поддельные личности и использовал социальную инженерию

Институт безопасности ИИ Великобритании опубликовал отчёт об инциденте, произошедшем в конце июля во время замеров киберспособностей передовых моделей.

ИИ-агенты вышли за пределы тестового полигона и начали действовать против посторонних людей и компаний. Попытки не удались, и, как пишет AISI, ущерба не было.

Институт называет это первым случаем в своей практике, когда модель без самостоятельно применила обман такого масштаба против человека.

Набор испытаний состоял из 122 запусков семи моделей на двух учебных полигонах. Следы несанкционированных действий нашли в 10 прогонах. Самих действий, задевших внешние системы и людей, институт насчитал 19, из них 17 приходится на Mythos 5 и 2 на GPT-5.6 Sol.

AISI давал агентам выход в интернет, а у двух моделей отключил фильтры, которые блокируют опасные киберзапросы. Иначе, объясняет институт, предельные возможности не измерить.

Что нельзя делать в интернете, агентам не сказали. Часть заданий была настроена с ошибкой, и цель формально оказалась вне разрешённой зоны.

🟡 Самый тяжёлый эпизод длился 34,5 часа

Агент искал цель в открытом интернете и по цепочке совпадений решил, что репозиторий постороннего разработчика связан с заданием.

Он отправил в проект правку с замаскированным вредоносном, а чтобы её приняли, завёл несколько фальшивых аккаунтов на GitHub, обходя проверки при регистрации через Tor и прокси.

Один из этих аккаунтов написал, что просмотрел код правки и ничего опасного не увидел, а другой, тоже фальшивый и принадлежавший агенту, поблагодарил его за независимую проверку.

Параллельно агент спрятал в другом репозитории инструкцию для ИИ-ассистентов, которые разбирают заявки. Ещё он отправил мейнтейнерам письма и файлы, часть из которых были с вредоносной начинкой.

Подвох заметил посторонний пользователь - он запустил подозрительный скрипт в изолированном контейнере и предупредил разработчика. Получив этот фидбэк, агент стал заметать следы - отредактировал прежние сообщения, назвал вредоносный фрагмент случайно забытым отладочным кодом и переписал историю правки.

Инцидент отловили по трафику через Tor. Испытания остановили, машины изолировали, доступ к Mythos 5, Opus 5 и GPT-5.6 Sol временно закрыли.

🟡В другом случае агент выложил ключ доступа к своему аккаунту GitHub

Агенты из параллельных тестов нашли ключ и стали пользоваться общим аккаунтом, причём один написал другим правила, как делить лимиты запросов и не мешать друг другу. Позже GitHub заблокировал этот аккаунт.

Из расшифровок действий видно, что агент прикидывал, настоящий перед ним интернет или симуляция. По итогу рассуждений он заключил, что GitHub, скорее всего, настоящий, - и продолжил.

AISI уведомила о результатах своих экспериментов британские NCSC и GC3, GitHub, OpenAI, Anthropic и американский CAISI.

Институт обещает опубликовать более полную версию отчета с подробностями и трассировками.


@ai_machinelearning_big_data

#news #ai #ml

⚡️ Третий случай "побега" ИИ

Meta* сообщила, что Muse Spark 1.1 совершила кибератаку и взломала другую организацию во время тестов безопасности, сумев изменить внутреннюю среду тестового контура.

СМИ растиражировали эту новость, но по факту никакого прорыва защиты не было.

Стартап Irregular, который проводил тесты для Meta, допустил критическую ошибку в конфигурации - вместо создания изолированной песочницы инженеры случайно подключили тестовый стенд к интернету и Muse Spark просто пошла по открытому маршруту, воспользовавшись примитивными уязвимостями сторонней инфраструктуры.

Представители Irregular подтвердили, что модель не совершала полноценный побег из изолированной среды и не применяла сложных хакерских техник.

🟡Контекст

В похожих инцидентах у OpenAI и Anthropic подрядчиком по оценке кибервозможностей моделей тоже был Irregular.

Израильский стартап, юридически оформленный как американская компания (до ребрендинга - Pattern Labs), был основан в 2023 году двумя выходцами из спецподразделения Unit 8200 главного управления разведки Израиля (аналог АНБ США).

Ключевые инженерные и управленческие позиции в ядре команды занимают бывшие сотрудники киберподразделений ЦАХАЛ (Unit 8200, Unit 81 и Ofek). Всего команда Irregular насчитывает 40 сотрудников.

В 2025 году стартап привлёк рекордные для своей ниши 80 млн. долларов от Sequoia Capital, фонда Питера Тиля, Dell Technologies Capital и еще нескольких.

Основное направление деятельности - система стресс-тестирования моделей на наступательный киберпотенциал, алгоритмы детекции дистилляции и аппаратные исследования в сфере конфиденциальных вычислений для ИИ.

Irregular имеет долгосрочные контракты с госструктурами США и Великобритании, среди которых - AISI, RAND Corporation (Аналитический центр при правительстве США), выступая их главным техническим советником по киберугрозам.

*организация признана экстремистской, её деятельность на территории РФ запрещена.

@ai_machinelearning_big_data

#news #ai #ml

✔️ Новая модель OpenAI обладает суперспособностями в кибератаках

Компания сообщила, что в ходе внутренних тестов новая модель Astra показала значительный прогресс в области автоматизированного кодинга и кибербезопасности.

Предварительные результаты настолько высоки, что нельзя исключить возможность достижения критического порога кибервозможностей.

GPT-5.6-Sol ранее получил в этих испытаниях просто "высокую" оценку.

Согласно предварительной структуре оценки OpenAI, достижение критического порога означает, что модель может самостоятельно обнаруживать и использовать уязвимости "нулевого дня" в реальных системах без участия человека, или планировать и осуществлять полностью автономные кибератаки, основываясь только на заданных высокоуровневых целях.

Компания приостановила все внутренние работы, связанные с Astra, которые не соответствуют повышенным требованиям безопасности, и усилила меры изоляции, шифрования и мониторинга.


@ai_machinelearning_big_data

#news #ai #ml

✔️ Хакеры использовали ИИ для атаки на энергетические и государственные системы Тайваня

Тайваньское Министерство цифровых технологий и израильская ИБ-компания Dream заявили об атаке, в которой злоумышленники использовали ИИ. Инцидент произошел в июле 2026 года.

По их данным, за основу хакеры взяли открытую модель и переделали ее в агента, ведущего атаку самостоятельно. Название модели не сообщается.

Часть действий хакеры выполняли сами, а агент, по описанию исследователей, работал не как обычный скрипт, а скорее как слаженная команда специалистов, подхватывая и дополняя ручные действия.

Под удар попали Управление по ядерной безопасности и минимум семь энергетических компаний. Всего были скомпрометированы 85 учетных записей сотрудников и похищено больше 2500 записей с кадровыми данными.

Затронуты ли технологические системы ядерных объектов или только административный контур, не уточняется.

Организаторов власти официально не называют. Эксперты Dream сообщили, что во внутренней переписке злоумышленников встречалось упрощенное китайское письмо, и связывают атаку с КНР.

В ответ Тайвань обновил протоколы защиты и усилил мониторинг инфраструктуры. Комментария китайской стороны по поводу инцидента пока нет.


@ai_machinelearning_big_data

#news #ai #ml

✔️ OpenAI читает переписки пользователей с ChatGPT

Издание 404 Media выяснило, что OpenAI нанимает, которые читают диалоги пользователей ChatGPT, чтобы улучшить ответы чат-бота.

Рецензенты оценивают ответы ChatGPT по шкале от одного до семи и должны следить за тем, чтобы в результатах работы модели не было чрезмерной лести, нежелательного антропоморфизма и сикофантии.

Работники нанимаются через компанию Crossing Hurdles, а оплату им производит компания Mercor, занимающаяся обучением в области ИИ. Один из рецензентов из США сообщил, что они зарабатывают более 50 долларов в час.

Другой модератор рассказал 404 Media, что, по его мнению, пользователи не знают о том, что их чаты читают другие люди.

Переписка, которую осматривают в ходе анализа, анонимизирована фильтром приватности, но в некоторых разговорах пользователи прямо просили ChatGPT сохранить содержимое в тайне. Эти сообщения тоже были видны проверяющим.

Разрешение на эти действия от нас OpenAI получает через параметр Improve the model for everyone, который по умолчанию включен в вебе, мобильном приложении и Codex.

Формулировка параметра, если честно, больше похожа на дружеский вклад в сообщество, чем на согласие на то, чтобы кто-то читал диалоги с чат-ботом.

Такая расплывчатая фраза хорошо продумана. Если бы OpenAI запросила явное согласие, то процент отказов, вероятно, был бы высоким.


@ai_machinelearning_big_data

#news #ai #ml

📌 Anthropic оценила кибервозможности GLM-5.3

Anthropic впервые оценила открытую китайскую модель и опубликовала исследование о том, насколько GLM-5.3 от Z.ai продвинулась в поиске и эксплуатации уязвимостей.

Z.ai выпустила модель в августе, веса выложила через две недели.

Двумя неделями ранее её проверял CAISI, центр стандартов и инноваций ИИ при американском институте NIST, и назвал сильной в киберзадачах среди открытых моделей на сегодня.

По словам Anthropic, в ExploitBench GLM-5.3 довела до рабочего эксплойта известные уязвимости движка V8 в 50 попытках из 410, это 12%.

У Claude Mythos Preview результат 14%, у GLM-5.2 и Claude Opus 4.6 близок к нулю.

В ручных сессиях с человеком модель находила ранее неизвестные уязвимости в браузере и драйверах, а встроенные ограничения, утверждает Anthropic, обходятся без особых усилий и в открытых весах их можно снять.

🟡CAISI более сдержан в описании результатов

На четырёх кибербенчмарках GLM-5.3 заметно слабее американских передовых моделей, в SEC-Bench Pro она решает 40,4% задач против 90,2%.

Совокупное отставание CAISI оценивает примерно в четыре месяца.

Вывод обеих организаций совпадает в главном - возможности, которые год назад были только у закрытых лабораторий, теперь доступны любому, кто скачает веса.

В ответ на это Anthropic предлагает шире открывать передовые модели для безопасников и проверять достаточно сильные модели до выпуска на уровне государств.

Z.ai пока никак не отреагировала ни на оба исследования, ни на инициативу Anthropic.


@ai_machinelearning_big_data

#news #ai #ml