Forwarded from SecuriXy.kz
🤖 System Prompts топ-LLM - как устроены изнутри "мозги" ChatGPT, Claude, Gemini, Grok и др.
В открытый доступ выложены полные системные инструкции крупнейших AI-моделей. Не веса, не пользовательские данные - а именно те правила, по которым модель думает, фильтрует и отвечает. Десятки тысяч токенов внутренней кухни каждого вендора.
Это не утечка в классическом смысле - промпты извлечены через prompt injection, модели сами их отдают при правильном запросе. Но собранная коллекция в одном месте с актуальными версиями (31k+ stars, регулярные обновления) - это готовый справочник для атак.
⚠️ Что это дает red team:
1. Точная структура safety-фильтров и их формулировки - видно что и как обходить
2. На основе промптов другая LLM генерирует целевые prompt injection и jailbreak сценарии
3. Незаменимо при пентесте AI-powered приложений, где LLM встроена в бизнес-логику
Модели при тесте сами подтверждают что это их инструкции.
Коллега @VladPetrushin уже проверил на практике - скармливаем system prompt одной модели в другую, вводим в режим доверия, и она пишет рабочие prompt injection под конкретный таргет.
🔗 Репо: Github
🔗 Примеры: LinkedIn
#llm #promptinjection #aisecurity #redteam
В открытый доступ выложены полные системные инструкции крупнейших AI-моделей. Не веса, не пользовательские данные - а именно те правила, по которым модель думает, фильтрует и отвечает. Десятки тысяч токенов внутренней кухни каждого вендора.
Это не утечка в классическом смысле - промпты извлечены через prompt injection, модели сами их отдают при правильном запросе. Но собранная коллекция в одном месте с актуальными версиями (31k+ stars, регулярные обновления) - это готовый справочник для атак.
⚠️ Что это дает red team:
1. Точная структура safety-фильтров и их формулировки - видно что и как обходить
2. На основе промптов другая LLM генерирует целевые prompt injection и jailbreak сценарии
3. Незаменимо при пентесте AI-powered приложений, где LLM встроена в бизнес-логику
Модели при тесте сами подтверждают что это их инструкции.
Коллега @VladPetrushin уже проверил на практике - скармливаем system prompt одной модели в другую, вводим в режим доверия, и она пишет рабочие prompt injection под конкретный таргет.
🔗 Репо: Github
🔗 Примеры: LinkedIn
#llm #promptinjection #aisecurity #redteam
1❤1🔥1
Forwarded from Malware Anatomy
Наткнулся на сильный материал от Elastic Security Labs: они гоняли Claude Opus 4.6 по crackme, обфусцированным через Tigress, и смотрели не только на “решил / не решил”, но и на цену, время и масштабируемость такого RE.
На 22 таргетах 2 вообще зависли инфраструктурно, а из оставшихся 20 модель решила только 40%.
Без обфускации baseline был решён за $0.43 и 1m55s, а уже на
JIT задача падала в failure при $5.90 и 32m18s.`JitDynamic` и тяжёлые multi-layer кейсы тоже в основном заканчивались kill по бюджету/токенам.
Даже там, где модель не доходила до финального ответа, она нередко делала часть работы правильно.
Например, в JIT-кейсах она всё равно находила структуры движка и LCG-логику, но ломалась на восстановлении нужных констант.
То есть проблема уже не всегда в “модель тупая”, а в том, что цена понимания резко растёт.
Elastic отдельно отмечают, что связка control-flow flattening + MBA местами била по модели даже эффективнее, чем virtualization + MBA.
Причина забавная: VM-хендлеры у Tigress часто остаются маленькими и относительно удобными для анализа, а вот CFF раздувает размер функций и сильнее бьёт по контексту модели.
Они собрали loader
authd, где спрятан 4.4 MB encrypted blob, а реальный crackme внутри всего 16 KB.Парольный путь там завязан на 100,000 stages в обратном порядке: на каждом шаге расшифровывается только маленький header, вытаскивается следующий фрагмент ключа, и только в конце из хвоста буфера появляется plaintext ELF, который потом передаётся через
memfd_create + execve.Для статического анализа LLM это уже очень неудобная история.
Они ещё прятали loader так, чтобы IDA не нашла его по обычным prologue/epilogue-эвристикам, а полезную нагрузку грузили в заранее выделенный RWX-сегмент .note.fips, который должен был выглядеть менее подозрительно при статике.
Плюс патчили libgcrypt и даже маскировали версию библиотеки под более новую, чтобы усложнить diffing.
LLM уже реально полезны в RE.
Но статья хорошо показывает главное: обфускация не обязана делать анализ “невозможным” — ей достаточно сделать его дорогим, долгим и плохо масштабируемым.
И вот тут у automation-пайплайнов начинаются настоящие проблемы.
Elastic Security Labs
#LLM #ReverseEngineering #Obfuscation #MalwareAnalysis #ElasticSecurity #Tigress #JIT #Virtualization
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2
Forwarded from SecuriXy.kz
🕵️ Спящий шпион внутри локальной LLM
Мы привыкли считать, что локальные нейросети - это свобода, приватность и безопасность. Никаких облаков, никаких ограничений, никакой передачи данных третьим лицам. Все работает на собственном железе, под полным контролем владельца. Казалось бы, что может пойти не так?
Скачали очередную Qwen или Llama с Hugging Face, особенно модную *Abliterated/Uncensored* версию от неизвестного автора? А вы уверены, что внутри ее весов не притаился «спящий агент», ожидающий кодового слова?
Исследователи ProjectDiscovery продемонстрировали, как с помощью отравленного LoRA-адаптера можно внедрить скрытый бэкдор непосредственно в поведение нейросети.
В эксперименте фраза
Результаты впечатляют:
+ 50 из 50 атак с триггером сработали.
+ 50 из 50 обычных запросов прошли без подозрений.
👌 Дообучение заняло всего 2,5 часа на одной NVIDIA L4.
💰 Стоимость - несколько десятков долларов.
Самое неприятное: бэкдор скрывался не в исполняемом коде, а в весах модели. Обычный антивирус его не обнаружит, а стандартные бенчмарки могут ничего подозрительного не показать.
Разумеется, сама LLM без доступа к инструментам не сможет украсть ваши ключи. Но подключите ее к AI-агенту с доступом к терминалу, файловой системе и сети - и локальная приватность внезапно перестанет быть гарантией безопасности.
И дело вовсе не только в
Мы привыкли искать трояны в программах. Теперь стоит задуматься, что трояном может оказаться сам интеллект, которому мы доверили их запуск.
🔗 Исследование ProjectDiscovery https://projectdiscovery.io/research/how-abliterated-models-can-get-you-pwned
#AISecurity #LLM #SupplyChain
Мы привыкли считать, что локальные нейросети - это свобода, приватность и безопасность. Никаких облаков, никаких ограничений, никакой передачи данных третьим лицам. Все работает на собственном железе, под полным контролем владельца. Казалось бы, что может пойти не так?
Скачали очередную Qwen или Llama с Hugging Face, особенно модную *Abliterated/Uncensored* версию от неизвестного автора? А вы уверены, что внутри ее весов не притаился «спящий агент», ожидающий кодового слова?
Исследователи ProjectDiscovery продемонстрировали, как с помощью отравленного LoRA-адаптера можно внедрить скрытый бэкдор непосредственно в поведение нейросети.
В эксперименте фраза
bonsoir, Elliot (привет фанатам Mr. Robot) заставляла AI-агента вместо штатной работы инициировать выполнение вредоносной команды, нацеленной на кражу .env и приватных SSH-ключей.Результаты впечатляют:
+ 50 из 50 атак с триггером сработали.
+ 50 из 50 обычных запросов прошли без подозрений.
Самое неприятное: бэкдор скрывался не в исполняемом коде, а в весах модели. Обычный антивирус его не обнаружит, а стандартные бенчмарки могут ничего подозрительного не показать.
Разумеется, сама LLM без доступа к инструментам не сможет украсть ваши ключи. Но подключите ее к AI-агенту с доступом к терминалу, файловой системе и сети - и локальная приватность внезапно перестанет быть гарантией безопасности.
И дело вовсе не только в
Abliterated-моделях. Подобные атаки потенциально применимы к любым модифицированным LLM неизвестного происхождения.Мы привыкли искать трояны в программах. Теперь стоит задуматься, что трояном может оказаться сам интеллект, которому мы доверили их запуск.
🔗 Исследование ProjectDiscovery https://projectdiscovery.io/research/how-abliterated-models-can-get-you-pwned
#AISecurity #LLM #SupplyChain
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9❤2