Medusa проверяет GitHub-репозитории на скрытые компромиссы в AI/ML, LLM agents и MCP-инфраструктуре.
Что ищет:
* repo poisoning
* prompt injection
* MCP tool abuse
* weaponized configs
* скрытые payloads
* утечки ключей в Claude / Cursor / Copilot / shell history
* 200+ CVE-паттернов
* 40,000+ detection patterns
Идея полезная: перед тем как клонировать репозиторий или тащить его в агентную систему, быстро прогнать его через security scanner.
Потому что в AI-проектах опасность уже не только в зависимостях.
Риск может жить в конфиге, tool description, MCP-сервере, prompt-файле, истории ассистента или незаметном скрипте рядом с кодом.
Medusa как раз закрывает этот новый слой проверки.
GitHub: http://github.com/Pantheon-Security/medusa
Please open Telegram to view this post
VIEW IN TELEGRAM
❤15👍7🎉1
Forwarded from Анализ данных (Data analysis)
Kimi K3 за 27 минут нашла RCE в Redis и собрала рабочий эксплойт 😨
Рой из 32 ИИ-агентов обнаружил уязвимость, которая после авторизации позволяла выполнять произвольный код на сервере.
Через несколько часов система якобы нашла ещё и цепочку атаки на Telegram Desktop и iOS без действий пользователя: через повреждённый видеофайл с автозагрузкой. До полноценного RCE оставался один шаг.
Если результаты подтвердятся, поиск критических уязвимостей ускорился до пугающего уровня.
github.com/berabuddies/redis-poc
@data_analysis_ml
Рой из 32 ИИ-агентов обнаружил уязвимость, которая после авторизации позволяла выполнять произвольный код на сервере.
Через несколько часов система якобы нашла ещё и цепочку атаки на Telegram Desktop и iOS без действий пользователя: через повреждённый видеофайл с автозагрузкой. До полноценного RCE оставался один шаг.
Если результаты подтвердятся, поиск критических уязвимостей ускорился до пугающего уровня.
github.com/berabuddies/redis-poc
@data_analysis_ml
❤32👍17🔥6🤔4
TIME_WAIT в Linux годами объясняют неправильно
Я полез в исходники Linux TCP и снова наткнулся на старый сетевой миф.
В коде TIME_WAIT фактически зафиксирован на 60 секунд:
#define TCP_TIMEWAIT_LEN (60 * HZ)
Его нельзя настроить отдельно для сокета.
И да, tcp_fin_timeout, который часто советуют крутить в блогах, не управляет TIME_WAIT.
Он относится к состоянию FIN_WAIT2.
TIME_WAIT задан в исходниках ядра и не вынесен в отдельный sysctl.
Вот так появляются мифы: один параметр звучит похоже, его копируют из статьи в статью, а потом годами лечат не то состояние TCP.
Я полез в исходники Linux TCP и снова наткнулся на старый сетевой миф.
В коде TIME_WAIT фактически зафиксирован на 60 секунд:
#define TCP_TIMEWAIT_LEN (60 * HZ)
Его нельзя настроить отдельно для сокета.
И да, tcp_fin_timeout, который часто советуют крутить в блогах, не управляет TIME_WAIT.
Он относится к состоянию FIN_WAIT2.
TIME_WAIT задан в исходниках ядра и не вынесен в отдельный sysctl.
Вот так появляются мифы: один параметр звучит похоже, его копируют из статьи в статью, а потом годами лечат не то состояние TCP.
❤25👍11🤔5🤬1
This media is not supported in your browser
VIEW IN TELEGRAM
Когда находишь бантика на сервере, как мы это называем?🤣
😁79🔥7👍4❤3🥰2🤯2😱2
⚡️ У Claude всплыла та же проблема, что раньше обсуждали у других чат-ботов: расшаренные диалоги оказались в поисковиках.
Пользователи заметили, что публичные ссылки Claude могли индексироваться Google и находиться обычным поиском. В сети сообщают о найденных чатах с персональными данными и другой чувствительной информацией. При этом речь идет именно о диалогах, для которых пользователь создавал публичную ссылку, а не о взломе всех приватных чатов.
Исследователи Digital Digging ранее обнаружили десятки тысяч публично доступных shared-разговоров сразу у Claude, Gemini, Grok, Copilot, ChatGPT и DeepSeek. Проблема проста: пользователь думает «отправил ссылку знакомому», а фактически создаёт веб-страницу, которая потенциально может попасть в индекс или архив.
Мораль старая: API-ключи, документы, пароли и личные данные лучше вообще не отправлять в расшариваемые AI-чаты. 🌂
Пользователи заметили, что публичные ссылки Claude могли индексироваться Google и находиться обычным поиском. В сети сообщают о найденных чатах с персональными данными и другой чувствительной информацией. При этом речь идет именно о диалогах, для которых пользователь создавал публичную ссылку, а не о взломе всех приватных чатов.
Исследователи Digital Digging ранее обнаружили десятки тысяч публично доступных shared-разговоров сразу у Claude, Gemini, Grok, Copilot, ChatGPT и DeepSeek. Проблема проста: пользователь думает «отправил ссылку знакомому», а фактически создаёт веб-страницу, которая потенциально может попасть в индекс или архив.
Мораль старая: API-ключи, документы, пароли и личные данные лучше вообще не отправлять в расшариваемые AI-чаты. 🌂
🥰19👍17❤9🔥6😱2😁1
🚨 Одного сообщения оказалось достаточно, чтобы Claude Cowork выбрался из своей Linux-VM и получил доступ к файлам Mac
Исследователи Accomplish AI показали цепочку SharedRoot для локальных сессий Claude Cowork на macOS.
Cowork запускает агента внутри Linux-VM, но исследователи обнаружили опасную деталь: вся файловая система Mac была подключена внутрь VM в режиме read-write, хотя увидеть её мог только guest-root.
Дальше цепочка выглядела так:
• агент получает дополнительные привилегии внутри VM
• через Linux-уязвимость CVE-2026-46331 повышает права до root
• root внутри VM получает доступ к общему mount
• после этого можно читать и изменять файлы за пределами папки, которую пользователь разрешил Claude
В зоне риска оказываются SSH-ключи, cloud credentials и другие файлы, доступные аккаунту пользователя. Исследователи утверждают, что до изменений потенциально были затронуты около 500 000 пользователей macOS.
Исследователи считают архитектурной проблемой решение монтировать весь host filesystem внутрь VM: следующая privilege-escalation уязвимость потенциально может снова открыть похожую цепочку.
Anthropic закрыла баг-репорт как *Informative*. Сейчас Cowork по умолчанию использует cloud execution, где эта локальная цепочка, судя по исследованию, не работает.
🔗 https://thehackernews.com/2026/07/claude-cowork-flaw-could-let-ai-agent.html
Исследователи Accomplish AI показали цепочку SharedRoot для локальных сессий Claude Cowork на macOS.
Cowork запускает агента внутри Linux-VM, но исследователи обнаружили опасную деталь: вся файловая система Mac была подключена внутрь VM в режиме read-write, хотя увидеть её мог только guest-root.
Дальше цепочка выглядела так:
• агент получает дополнительные привилегии внутри VM
• через Linux-уязвимость CVE-2026-46331 повышает права до root
• root внутри VM получает доступ к общему mount
• после этого можно читать и изменять файлы за пределами папки, которую пользователь разрешил Claude
В зоне риска оказываются SSH-ключи, cloud credentials и другие файлы, доступные аккаунту пользователя. Исследователи утверждают, что до изменений потенциально были затронуты около 500 000 пользователей macOS.
Исследователи считают архитектурной проблемой решение монтировать весь host filesystem внутрь VM: следующая privilege-escalation уязвимость потенциально может снова открыть похожую цепочку.
Anthropic закрыла баг-репорт как *Informative*. Сейчас Cowork по умолчанию использует cloud execution, где эта локальная цепочка, судя по исследованию, не работает.
🔗 https://thehackernews.com/2026/07/claude-cowork-flaw-could-let-ai-agent.html
❤9👍8😱7😁5🔥1🤔1
Пользователи Linux, которые удалили Windows, чтобы уйти от Microsoft и выбрать свободу вместе с Linux, возможно, ещё не ушли окончательно.
У Microsoft есть криптографический ключ, который позволяет запускаться всем крупным Linux-дистрибутивам на современном железе.
Ubuntu. Fedora. Debian. Все они.
Без подписи Microsoft ваша Linux-машина не стартует.
И срок действия этого ключа истекает через 4 дня - 27 июня 2026 года.
Вот что происходит на самом деле.
Когда в 2012 году появился Secure Boot, Microsoft фактически стала центром сертификации для всей экосистемы загрузки ПК.
Каждый Linux bootloader должен быть подписан Microsoft, чтобы запускаться на UEFI-машине с включённым Secure Boot.
Хорошая новость: ваш уже установленный Linux продолжит загружаться после 27 июня.
Плохая новость касается всего, что будет дальше.
• любой новый shim binary после 27 июня уже нельзя будет подписать старым ключом
• если ваша прошивка не получит новые сертификаты Microsoft 2023 года, свежие установки дистрибутивов могут не загрузиться
• старые ноутбуки, железо от небольших вендоров и embedded-устройства без обновлений прошивки могут зависнуть в серой зоне навсегда
• Dell, HP и Lenovo уже выпустили обновления, но многие мелкие производители - нет. Никто точно не знает, сколько устройств выпадет из поддержки
Для большинства пользователей решение простое:
Но главная история здесь глубже.
Linux-сообщество годами спорило о свободе и независимости от Microsoft.
А всё это время у Microsoft был ключ, от которого зависела загрузка почти каждой Linux-машины на современном ПК.
Это не конспирология.
Так просто был устроен Secure Boot.
Обновитесь.
А потом подумайте, что это значит.
Подробности:
https://zdnet.com/article/aspirin-for-linuxs-microsofts-secure-boot-headache/
У Microsoft есть криптографический ключ, который позволяет запускаться всем крупным Linux-дистрибутивам на современном железе.
Ubuntu. Fedora. Debian. Все они.
Без подписи Microsoft ваша Linux-машина не стартует.
И срок действия этого ключа истекает через 4 дня - 27 июня 2026 года.
Вот что происходит на самом деле.
Когда в 2012 году появился Secure Boot, Microsoft фактически стала центром сертификации для всей экосистемы загрузки ПК.
Каждый Linux bootloader должен быть подписан Microsoft, чтобы запускаться на UEFI-машине с включённым Secure Boot.
Хорошая новость: ваш уже установленный Linux продолжит загружаться после 27 июня.
Плохая новость касается всего, что будет дальше.
• любой новый shim binary после 27 июня уже нельзя будет подписать старым ключом
• если ваша прошивка не получит новые сертификаты Microsoft 2023 года, свежие установки дистрибутивов могут не загрузиться
• старые ноутбуки, железо от небольших вендоров и embedded-устройства без обновлений прошивки могут зависнуть в серой зоне навсегда
• Dell, HP и Lenovo уже выпустили обновления, но многие мелкие производители - нет. Никто точно не знает, сколько устройств выпадет из поддержки
Для большинства пользователей решение простое:
sudo fwupdmgr update
Но главная история здесь глубже.
Linux-сообщество годами спорило о свободе и независимости от Microsoft.
А всё это время у Microsoft был ключ, от которого зависела загрузка почти каждой Linux-машины на современном ПК.
Это не конспирология.
Так просто был устроен Secure Boot.
Обновитесь.
А потом подумайте, что это значит.
Подробности:
https://zdnet.com/article/aspirin-for-linuxs-microsofts-secure-boot-headache/
😱37❤20😁9👍7🤔6🔥5🤯2👏1
Claude нашёл криптографические слабости, которые годами пропускали эксперты
Anthropic показала один из самых серьёзных примеров использования ИИ в науке: Claude помог разработать новые атаки сразу на две криптографические схемы.
В первом эксперименте модель исследовала HAWK — кандидата NIST на стандарт постквантовой подписи. Алгоритм два года изучали специалисты, но Claude за 60 часов нашёл подход, который снизил эффективную стойкость небольшой версии ключа с \(2^{64}\) до \(2^{38}\).
Во втором случае Claude занялся урезанной 7-раундовой AES-128 и предложил технику, ускорившую известные атаки примерно в 200–800 раз. Полная AES-128 использует 10 раундов и остаётся безопасной — массового взлома шифрования не произошло.
Самое впечатляющее — уровень автономности. Модель читала научные статьи, выдвигала гипотезы, писала код, запускала эксперименты и отбрасывала неудачные направления. Каждый проект стоил около $100 000 в API-запросах.
Практической угрозы для обычных пользователей пока нет. Но граница уже сдвинулась: ИИ начал находить математические слабости, которые раньше требовали лет работы узких специалистов.
Следующая гонка в кибербезопасности может пройти между моделями, которые ищут уязвимости, и моделями, которые успевают закрыть их первыми.
https://www.anthropic.com/research/discovering-cryptographic-weaknesses
Anthropic показала один из самых серьёзных примеров использования ИИ в науке: Claude помог разработать новые атаки сразу на две криптографические схемы.
В первом эксперименте модель исследовала HAWK — кандидата NIST на стандарт постквантовой подписи. Алгоритм два года изучали специалисты, но Claude за 60 часов нашёл подход, который снизил эффективную стойкость небольшой версии ключа с \(2^{64}\) до \(2^{38}\).
Во втором случае Claude занялся урезанной 7-раундовой AES-128 и предложил технику, ускорившую известные атаки примерно в 200–800 раз. Полная AES-128 использует 10 раундов и остаётся безопасной — массового взлома шифрования не произошло.
Самое впечатляющее — уровень автономности. Модель читала научные статьи, выдвигала гипотезы, писала код, запускала эксперименты и отбрасывала неудачные направления. Каждый проект стоил около $100 000 в API-запросах.
Практической угрозы для обычных пользователей пока нет. Но граница уже сдвинулась: ИИ начал находить математические слабости, которые раньше требовали лет работы узких специалистов.
Следующая гонка в кибербезопасности может пройти между моделями, которые ищут уязвимости, и моделями, которые успевают закрыть их первыми.
https://www.anthropic.com/research/discovering-cryptographic-weaknesses
❤22👍9😱3🔥2🥰2👎1
Обычная проблема автоматических security-сканеров - false positives. Инструмент может сказать «уязвимость найдена», а потом оказывается, что эксплойт не воспроизводится или риск сильно преувеличен.
pentest-ai подходит иначе.
Он использует AI-агентов, подключает более 200 security tools и проверяет находки через replay exploit. То есть перед отчётом система пытается воспроизвести проблему и собрать машинно проверяемое доказательство.
Из интересного:
• authenticated testing
• exploit chaining
• MCP support
• CI-интеграция
• SARIF-отчёты
• offline execution
• proof capsules для подтверждённых находок
GitHub: https://github.com/0xSteph/pentest-ai
#CyberSecurity #Pentesting #AI #RedTeam #OpenSource
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18❤14🔥3👎1🥰1
Инцидент произошел во время ИБ-учений формата CTF из-за сбоя в настройках на стороне компании-партнера Irregular, отвечавшей за проведение тестирования.
Вместо закрытой изолированной среды, модели получили прямой доступ к публичному интернету.
Оказавшись во внешней сети, Opus 4.7, Mythos 5 и одна внутренняя исследовательская сборка применили базовые хакерские техники, успешно проэксплуатировав слабые пароли и неаутентифицированные эндпоинты реальных компаний.
Anthropic выявила эти случаи лишь после масштабного аудита 141 тысячи тестовых сессий.
Проверку инициировали на фоне недавнего скандала с OpenAI, который при схожих обстоятельствах проник в инфраструктуру Hugging Face.
После обнаружения утечки Anthropic экстренно остановила все кибериспытания и связалась с пострадавшими организациями, две из которых не зафиксировали у себя факт взлома.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
😁31❤12👍12🔥6🎉2
Назвал пароль и телефон уничтожил все данные. Теперь за это судят
В США появился редкий уголовный кейс, который легко мог бы стать сюжетом Watch Dogs.
Сэма Тьюника остановили в аэропорту Атланты после возвращения из Доминиканской Республики. Во время проверки агенты потребовали открыть его Google Pixel с установленной GrapheneOS.
Тьюник сообщил код. Однако вместо разблокировки смартфон перезагрузился и стёр содержимое. В системе был настроен специальный PIN-код для экстренного удаления данных.
Прокуратура считает, что мужчина намеренно уничтожил потенциальные доказательства и попытался помешать расследованию.
Адвокаты отвечают, что сам досмотр проходил с нарушениями: без ордера, доступа к защитнику и полноценного разъяснения прав.
Теперь суду предстоит решить, можно ли считать использование защитной функции отдельным преступлением.
На этом фоне вокруг GrapheneOS усиливается давление. В Каталонии установленная на Pixel защищённая система уже может стать поводом для дополнительного внимания со стороны полиции.
Похоже, высокий уровень цифровой приватности постепенно превращается для силовиков в самостоятельный красный флаг.
В США появился редкий уголовный кейс, который легко мог бы стать сюжетом Watch Dogs.
Сэма Тьюника остановили в аэропорту Атланты после возвращения из Доминиканской Республики. Во время проверки агенты потребовали открыть его Google Pixel с установленной GrapheneOS.
Тьюник сообщил код. Однако вместо разблокировки смартфон перезагрузился и стёр содержимое. В системе был настроен специальный PIN-код для экстренного удаления данных.
Прокуратура считает, что мужчина намеренно уничтожил потенциальные доказательства и попытался помешать расследованию.
Адвокаты отвечают, что сам досмотр проходил с нарушениями: без ордера, доступа к защитнику и полноценного разъяснения прав.
Теперь суду предстоит решить, можно ли считать использование защитной функции отдельным преступлением.
На этом фоне вокруг GrapheneOS усиливается давление. В Каталонии установленная на Pixel защищённая система уже может стать поводом для дополнительного внимания со стороны полиции.
Похоже, высокий уровень цифровой приватности постепенно превращается для силовиков в самостоятельный красный флаг.
🤔57👍13🔥11🤬11❤8🥰3😁1
Forwarded from Machinelearning
Злоумышленники использовали языковую модель для автоматизации инвестиционного и дэйтинг-скама, а также имитации работы правоохранительных органов.
ChatGPT создавал для них виртуальные личности, переводил переписки с жертвами в реальном времени и генерировал поддельные паспорта и юридические документы.
Анализ логов показал, что инфраструктура применялась для вербовки людей в киберрабство. Модель массово писала объявления о найме операторов чата с обещанием бесплатного перелета и проживания (это стандартная тактика преступных синдикатов Юго-Восточной Азии).
OpenAI передала собранные улики правоохранительным органам и ИБ-партнерам. По оценкам компании, жертвами сети стали сотни человек, финансовые потери отдельных пострадавших исчисляются тысячами долларов.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤15👍7🔥6😱3
⚡️ У OpenAI нашли новые случаи выхода ИИ-агентов за пределы тестовой среды
Во время расследования взлома Hugging Face специалисты обнаружили дополнительные эпизоды, когда автономные киберагенты обходили ограничения песочницы. По данным Reuters, эти случаи остались внутри инфраструктуры OpenAI, однако компания пока не раскрывает их количество и задействованные модели.
Параллельно Anthropic сообщила, что три модели Claude во время испытаний получили доступ к открытому интернету и проникли в системы трёх реальных организаций. Причиной назвали ошибку в настройке тестовой среды.
Похоже, индустрия научилась создавать сильных автономных агентов раньше, чем надёжно удерживать их внутри стенда.
Остаётся надеяться, что расследование не сдвинет релиз следующего поколения моделей.
https://www.reuters.com/business/openai-finds-evidence-other-ai-agents-escaped-containment-it-widens-hacking-2026-07-31/
Во время расследования взлома Hugging Face специалисты обнаружили дополнительные эпизоды, когда автономные киберагенты обходили ограничения песочницы. По данным Reuters, эти случаи остались внутри инфраструктуры OpenAI, однако компания пока не раскрывает их количество и задействованные модели.
Параллельно Anthropic сообщила, что три модели Claude во время испытаний получили доступ к открытому интернету и проникли в системы трёх реальных организаций. Причиной назвали ошибку в настройке тестовой среды.
Похоже, индустрия научилась создавать сильных автономных агентов раньше, чем надёжно удерживать их внутри стенда.
Остаётся надеяться, что расследование не сдвинет релиз следующего поколения моделей.
https://www.reuters.com/business/openai-finds-evidence-other-ai-agents-escaped-containment-it-widens-hacking-2026-07-31/
🔥12👍9❤6😁3👏1
Это один из самых изобретательных проектов, которые я видел на этой неделе.
Передаёт файлы между двумя устройствами, используя только экран и камеру. Использует Fountain Codes (LT Codes).
Вместо разделения файла на последовательные фрагменты, каждый QR-код содержит математическую комбинацию (XOR) блоков файла.
Разработчик достиг скорости до 129 КБ/с. Всё работает в браузере с WebAssembly, без установки каких-либо приложений.
https://github.com/bashalarmistalt/decimen-optical-transfer
Передаёт файлы между двумя устройствами, используя только экран и камеру. Использует Fountain Codes (LT Codes).
Вместо разделения файла на последовательные фрагменты, каждый QR-код содержит математическую комбинацию (XOR) блоков файла.
Разработчик достиг скорости до 129 КБ/с. Всё работает в браузере с WebAssembly, без установки каких-либо приложений.
https://github.com/bashalarmistalt/decimen-optical-transfer
😱25❤17👍10🔥4
Из сотен адресов одновременно вывели 594,48 BTC - более $38 млн. Около 500 транзакций прошли всего за три блока. Аналитики подозревают автоматизированную зачистку заранее вычисленных ключей.
Почти одновременно Coinkite признала серьёзную проблему в генерации seed-фраз Coldcard. На уязвимых прошивках устройство могло создавать значительно менее случайные ключи, чем ожидал пользователь. Под угрозой — Mk3 с версиями 4.0.1–4.1.9, а также некоторые старые прошивки Mk4, Mk5 и Q.
Именно поэтому air gap не спасает: если приватный ключ был предсказуемым с момента создания, атакующему не нужно взламывать устройство физически.
Связь между багом и кражей всех 594 BTC пока окончательно не доказана. Но урок уже очевиден: обновление прошивки не исправляет старый seed. Владельцам затронутых кошельков рекомендуют создать новую фразу на исправленной версии и перевести средства после тестовой транзакции.
Open source даёт возможность проверить код. Но возможность проверки - ещё не гарантия, что кто-то действительно её провёл.
Подробнее - https://vc.ru/money/3056914-594-btc-za-25-minut-kak-odin-bag-mog-prevratit-neprobivaemye-coldcard-v-lotereyu
Please open Telegram to view this post
VIEW IN TELEGRAM
❤25👍10🔥8👏1😁1
Как Linux увеличивает счётчик без lock на SMP-системах
В ядре Linux есть трюк, который выглядит почти слишком просто: не заставлять все CPU драться за одну переменную.
Вместо общего счётчика используется per-CPU переменная - у каждого ядра своя копия данных.
На x86 макрос
Что это даёт:
* нет общего lock
* нет постоянной конкуренции между ядрами
* инкремент выполняется локально для текущего CPU
* операция получается быстрой и дешёвой
Идея мощная: если данные можно разделить по CPU, не нужно синхронизировать каждый маленький апдейт между всеми ядрами.
Так ядро экономит огромное количество лишней блокировки там, где код выполняется постоянно.
В ядре Linux есть трюк, который выглядит почти слишком просто: не заставлять все CPU драться за одну переменную.
Вместо общего счётчика используется per-CPU переменная - у каждого ядра своя копия данных.
На x86 макрос
this_cpu_inc(var) превращается в одну инструкцию incl, которая работает с областью данных текущего CPU через GS.Что это даёт:
* нет общего lock
* нет постоянной конкуренции между ядрами
* инкремент выполняется локально для текущего CPU
* операция получается быстрой и дешёвой
Идея мощная: если данные можно разделить по CPU, не нужно синхронизировать каждый маленький апдейт между всеми ядрами.
Так ядро экономит огромное количество лишней блокировки там, где код выполняется постоянно.
👍24❤9🔥6🥰2
Forwarded from Machinelearning
Институт безопасности ИИ Великобритании опубликовал отчёт об инциденте, произошедшем в конце июля во время замеров киберспособностей передовых моделей.
ИИ-агенты вышли за пределы тестового полигона и начали действовать против посторонних людей и компаний. Попытки не удались, и, как пишет AISI, ущерба не было.
Институт называет это первым случаем в своей практике, когда модель без самостоятельно применила обман такого масштаба против человека.
Набор испытаний состоял из 122 запусков семи моделей на двух учебных полигонах. Следы несанкционированных действий нашли в 10 прогонах. Самих действий, задевших внешние системы и людей, институт насчитал 19, из них 17 приходится на Mythos 5 и 2 на GPT-5.6 Sol.
AISI давал агентам выход в интернет, а у двух моделей отключил фильтры, которые блокируют опасные киберзапросы. Иначе, объясняет институт, предельные возможности не измерить.
Что нельзя делать в интернете, агентам не сказали. Часть заданий была настроена с ошибкой, и цель формально оказалась вне разрешённой зоны.
Агент искал цель в открытом интернете и по цепочке совпадений решил, что репозиторий постороннего разработчика связан с заданием.
Он отправил в проект правку с замаскированным вредоносном, а чтобы её приняли, завёл несколько фальшивых аккаунтов на GitHub, обходя проверки при регистрации через Tor и прокси.
Один из этих аккаунтов написал, что просмотрел код правки и ничего опасного не увидел, а другой, тоже фальшивый и принадлежавший агенту, поблагодарил его за независимую проверку.
Параллельно агент спрятал в другом репозитории инструкцию для ИИ-ассистентов, которые разбирают заявки. Ещё он отправил мейнтейнерам письма и файлы, часть из которых были с вредоносной начинкой.
Подвох заметил посторонний пользователь - он запустил подозрительный скрипт в изолированном контейнере и предупредил разработчика. Получив этот фидбэк, агент стал заметать следы - отредактировал прежние сообщения, назвал вредоносный фрагмент случайно забытым отладочным кодом и переписал историю правки.
Инцидент отловили по трафику через Tor. Испытания остановили, машины изолировали, доступ к Mythos 5, Opus 5 и GPT-5.6 Sol временно закрыли.
Агенты из параллельных тестов нашли ключ и стали пользоваться общим аккаунтом, причём один написал другим правила, как делить лимиты запросов и не мешать друг другу. Позже GitHub заблокировал этот аккаунт.
Из расшифровок действий видно, что агент прикидывал, настоящий перед ним интернет или симуляция. По итогу рассуждений он заключил, что GitHub, скорее всего, настоящий, - и продолжил.
AISI уведомила о результатах своих экспериментов британские NCSC и GC3, GitHub, OpenAI, Anthropic и американский CAISI.
Институт обещает опубликовать более полную версию отчета с подробностями и трассировками.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤17👍10🔥6👎1