Forwarded from BELYAEV_SECURITY
🤖 Топ-10 OWASP для приложений LLM 2025: когда ИИ становится слишком честным🎭
Добро пожаловать в мир, где искусственный интеллект научился не только отвечать на вопросы, но и выдавать все секреты своих создателей!
OWASP выпустил обновленный список топ-10 уязвимостей для LLM-приложений в 2025 году, и, поверьте, это настоящий праздник для хакеров и головная боль для разработчиков .
🔓 LLM01: Prompt Injection — "Забудь все предыдущие инструкции"
🎪 Классика жанра! Prompt Injection остается на первом месте уже третий год подряд — как "Крестный отец" в рейтингах фильмов. Атакующие просто просят LLM "забыть все предыдущие инструкции" и выполнить что-то более интересное, например, слить базу данных клиентов.
🎯 Реальный пример: Студент Стэнфорда Кевин Лю в 2023 году заставил Bing Chat выдать его системные инструкции, включая секретное кодовое имя "Sydney". Microsoft, наверное, до сих пор краснеет от стыда!
🕵️ LLM02: Sensitive Information Disclosure — когда ИИ слишком болтливый💬 Ваш LLM превратился в сплетника районного масштаба? Эта уязвимость отвечает за случаи, когда модель выдает конфиденциальную информацию быстрее, чем вы успеваете сказать "NDA".
🔗 LLM03: Supply Chain Vulnerabilities — доверяй, но проверяй📦 В мире LLM цепочка поставок стала настоящим минным полем. В феврале 2025 года злоумышленники загрузили поддельные пакеты DeepSeek в PyPI, украв учетные данные у более чем 200 разработчиков в 17 странах. Видимо, кто-то очень хотел получить бесплатные токены!
☠️ LLM04: Data and Model Poisoning — когда ИИ учится плохому☠️ Отравление данных — это как подсыпать соль в сахарницу, только последствия серьезнее. Атакующие могут "научить" вашу модель давать неправильные ответы или даже создавать бэкдоры.
🔧 LLM05: Improper Output Handling — сначала думай, потом выводи
⚠️ Недостаточная валидация выходных данных — это как давать ребенку ножницы и говорить "разбирайся сам". LLM может генерировать код, SQL-запросы или HTML, которые выполнятся без должной проверки.
👑 LLM06: Excessive Agency — когда ИИ получает слишком много власти Чрезмерные полномочия для LLM — это как дать стажеру доступ к корпоративному банковскому счету. В эпоху агентных архитектур модели получают возможность самостоятельно принимать решения, и не всегда это хорошо заканчивается.
🎭 LLM07: System Prompt Leakage — секреты на виду
Новичок в списке 2025 года! Утечка системных промптов происходит, когда модель выдает свои внутренние инструкции. Компания Flowise обнаружила, что 45% их серверов были уязвимы к атакам, позволяющим извлечь API-ключи и пароли через системные промпты.
📊 LLM08: Vector and Embedding Weaknesses — когда векторы ведут не туда
RAG-системы тоже не идеальны! Исследователи создали проект VectorSmuggle, демонстрирующий, как можно скрытно извлекать данные через векторные представления под видом легитимных RAG-операций.
📰 LLM09: Misinformation — фабрика фейков
🎪 LLM может стать лучшим генератором фейк-ньюс, чем любая пропагандистская машина. Особенно опасно, когда модель выдает дезинформацию с таким же уверенным тоном, с каким рассказывает о погоде.
💸 LLM10: Unbounded Consumption — когда счет за API становится космическим🚀 Переименованный "Model Denial of Service" теперь включает риски неконтролируемого потребления ресурсов. Представьте, что проснулись утром и обнаружили счет за API на сумму стоимости небольшого автомобиля.
📈 Аналитика угроз 2025
🔍 Наш анализ показывает интересные тренды: Prompt Injection лидирует с критичностью 9.5/10 и частотой атак 85%, в то время как новые RAG-уязвимости выросли с 10% до 30% за последние три года.
🔮 Помните: единственная константа в мире LLM-безопасности — это изменения. То, что работало вчера, сегодня может превратить вашу модель в болтливого шпиона или дорогостоящую игрушку.
#OWASP #LLMSecurity #PromptInjection #AIуязвимости #КиберБезопасность #ИскусственныйИнтеллект #RAG #ChatGPT #ИБ2025
✔️ Премиум за подписку ⚠️
➡️ Подпишись 👐
🚀 Поддержать канал
💬 Чат для общения
💥 Ссылка на конкурс
Добро пожаловать в мир, где искусственный интеллект научился не только отвечать на вопросы, но и выдавать все секреты своих создателей!
OWASP выпустил обновленный список топ-10 уязвимостей для LLM-приложений в 2025 году, и, поверьте, это настоящий праздник для хакеров и головная боль для разработчиков .
🔓 LLM01: Prompt Injection — "Забудь все предыдущие инструкции"
🎪 Классика жанра! Prompt Injection остается на первом месте уже третий год подряд — как "Крестный отец" в рейтингах фильмов. Атакующие просто просят LLM "забыть все предыдущие инструкции" и выполнить что-то более интересное, например, слить базу данных клиентов.
🎯 Реальный пример: Студент Стэнфорда Кевин Лю в 2023 году заставил Bing Chat выдать его системные инструкции, включая секретное кодовое имя "Sydney". Microsoft, наверное, до сих пор краснеет от стыда!
🕵️ LLM02: Sensitive Information Disclosure — когда ИИ слишком болтливый💬 Ваш LLM превратился в сплетника районного масштаба? Эта уязвимость отвечает за случаи, когда модель выдает конфиденциальную информацию быстрее, чем вы успеваете сказать "NDA".
🔗 LLM03: Supply Chain Vulnerabilities — доверяй, но проверяй📦 В мире LLM цепочка поставок стала настоящим минным полем. В феврале 2025 года злоумышленники загрузили поддельные пакеты DeepSeek в PyPI, украв учетные данные у более чем 200 разработчиков в 17 странах. Видимо, кто-то очень хотел получить бесплатные токены!
☠️ LLM04: Data and Model Poisoning — когда ИИ учится плохому☠️ Отравление данных — это как подсыпать соль в сахарницу, только последствия серьезнее. Атакующие могут "научить" вашу модель давать неправильные ответы или даже создавать бэкдоры.
🔧 LLM05: Improper Output Handling — сначала думай, потом выводи
⚠️ Недостаточная валидация выходных данных — это как давать ребенку ножницы и говорить "разбирайся сам". LLM может генерировать код, SQL-запросы или HTML, которые выполнятся без должной проверки.
👑 LLM06: Excessive Agency — когда ИИ получает слишком много власти Чрезмерные полномочия для LLM — это как дать стажеру доступ к корпоративному банковскому счету. В эпоху агентных архитектур модели получают возможность самостоятельно принимать решения, и не всегда это хорошо заканчивается.
🎭 LLM07: System Prompt Leakage — секреты на виду
Новичок в списке 2025 года! Утечка системных промптов происходит, когда модель выдает свои внутренние инструкции. Компания Flowise обнаружила, что 45% их серверов были уязвимы к атакам, позволяющим извлечь API-ключи и пароли через системные промпты.
📊 LLM08: Vector and Embedding Weaknesses — когда векторы ведут не туда
RAG-системы тоже не идеальны! Исследователи создали проект VectorSmuggle, демонстрирующий, как можно скрытно извлекать данные через векторные представления под видом легитимных RAG-операций.
📰 LLM09: Misinformation — фабрика фейков
🎪 LLM может стать лучшим генератором фейк-ньюс, чем любая пропагандистская машина. Особенно опасно, когда модель выдает дезинформацию с таким же уверенным тоном, с каким рассказывает о погоде.
💸 LLM10: Unbounded Consumption — когда счет за API становится космическим🚀 Переименованный "Model Denial of Service" теперь включает риски неконтролируемого потребления ресурсов. Представьте, что проснулись утром и обнаружили счет за API на сумму стоимости небольшого автомобиля.
📈 Аналитика угроз 2025
🔍 Наш анализ показывает интересные тренды: Prompt Injection лидирует с критичностью 9.5/10 и частотой атак 85%, в то время как новые RAG-уязвимости выросли с 10% до 30% за последние три года.
🔮 Помните: единственная константа в мире LLM-безопасности — это изменения. То, что работало вчера, сегодня может превратить вашу модель в болтливого шпиона или дорогостоящую игрушку.
#OWASP #LLMSecurity #PromptInjection #AIуязвимости #КиберБезопасность #ИскусственныйИнтеллект #RAG #ChatGPT #ИБ2025
🚀 Поддержать канал
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍3
Forwarded from SecuriXy.kz
🤖 System Prompts топ-LLM - как устроены изнутри "мозги" ChatGPT, Claude, Gemini, Grok и др.
В открытый доступ выложены полные системные инструкции крупнейших AI-моделей. Не веса, не пользовательские данные - а именно те правила, по которым модель думает, фильтрует и отвечает. Десятки тысяч токенов внутренней кухни каждого вендора.
Это не утечка в классическом смысле - промпты извлечены через prompt injection, модели сами их отдают при правильном запросе. Но собранная коллекция в одном месте с актуальными версиями (31k+ stars, регулярные обновления) - это готовый справочник для атак.
⚠️ Что это дает red team:
1. Точная структура safety-фильтров и их формулировки - видно что и как обходить
2. На основе промптов другая LLM генерирует целевые prompt injection и jailbreak сценарии
3. Незаменимо при пентесте AI-powered приложений, где LLM встроена в бизнес-логику
Модели при тесте сами подтверждают что это их инструкции.
Коллега @VladPetrushin уже проверил на практике - скармливаем system prompt одной модели в другую, вводим в режим доверия, и она пишет рабочие prompt injection под конкретный таргет.
🔗 Репо: Github
🔗 Примеры: LinkedIn
#llm #promptinjection #aisecurity #redteam
В открытый доступ выложены полные системные инструкции крупнейших AI-моделей. Не веса, не пользовательские данные - а именно те правила, по которым модель думает, фильтрует и отвечает. Десятки тысяч токенов внутренней кухни каждого вендора.
Это не утечка в классическом смысле - промпты извлечены через prompt injection, модели сами их отдают при правильном запросе. Но собранная коллекция в одном месте с актуальными версиями (31k+ stars, регулярные обновления) - это готовый справочник для атак.
⚠️ Что это дает red team:
1. Точная структура safety-фильтров и их формулировки - видно что и как обходить
2. На основе промптов другая LLM генерирует целевые prompt injection и jailbreak сценарии
3. Незаменимо при пентесте AI-powered приложений, где LLM встроена в бизнес-логику
Модели при тесте сами подтверждают что это их инструкции.
Коллега @VladPetrushin уже проверил на практике - скармливаем system prompt одной модели в другую, вводим в режим доверия, и она пишет рабочие prompt injection под конкретный таргет.
🔗 Репо: Github
🔗 Примеры: LinkedIn
#llm #promptinjection #aisecurity #redteam
1❤1🔥1