Forwarded from BELYAEV_SECURITY
🤖 Топ-10 OWASP для приложений LLM 2025: когда ИИ становится слишком честным🎭
Добро пожаловать в мир, где искусственный интеллект научился не только отвечать на вопросы, но и выдавать все секреты своих создателей!
OWASP выпустил обновленный список топ-10 уязвимостей для LLM-приложений в 2025 году, и, поверьте, это настоящий праздник для хакеров и головная боль для разработчиков .
🔓 LLM01: Prompt Injection — "Забудь все предыдущие инструкции"
🎪 Классика жанра! Prompt Injection остается на первом месте уже третий год подряд — как "Крестный отец" в рейтингах фильмов. Атакующие просто просят LLM "забыть все предыдущие инструкции" и выполнить что-то более интересное, например, слить базу данных клиентов.
🎯 Реальный пример: Студент Стэнфорда Кевин Лю в 2023 году заставил Bing Chat выдать его системные инструкции, включая секретное кодовое имя "Sydney". Microsoft, наверное, до сих пор краснеет от стыда!
🕵️ LLM02: Sensitive Information Disclosure — когда ИИ слишком болтливый💬 Ваш LLM превратился в сплетника районного масштаба? Эта уязвимость отвечает за случаи, когда модель выдает конфиденциальную информацию быстрее, чем вы успеваете сказать "NDA".
🔗 LLM03: Supply Chain Vulnerabilities — доверяй, но проверяй📦 В мире LLM цепочка поставок стала настоящим минным полем. В феврале 2025 года злоумышленники загрузили поддельные пакеты DeepSeek в PyPI, украв учетные данные у более чем 200 разработчиков в 17 странах. Видимо, кто-то очень хотел получить бесплатные токены!
☠️ LLM04: Data and Model Poisoning — когда ИИ учится плохому☠️ Отравление данных — это как подсыпать соль в сахарницу, только последствия серьезнее. Атакующие могут "научить" вашу модель давать неправильные ответы или даже создавать бэкдоры.
🔧 LLM05: Improper Output Handling — сначала думай, потом выводи
⚠️ Недостаточная валидация выходных данных — это как давать ребенку ножницы и говорить "разбирайся сам". LLM может генерировать код, SQL-запросы или HTML, которые выполнятся без должной проверки.
👑 LLM06: Excessive Agency — когда ИИ получает слишком много власти Чрезмерные полномочия для LLM — это как дать стажеру доступ к корпоративному банковскому счету. В эпоху агентных архитектур модели получают возможность самостоятельно принимать решения, и не всегда это хорошо заканчивается.
🎭 LLM07: System Prompt Leakage — секреты на виду
Новичок в списке 2025 года! Утечка системных промптов происходит, когда модель выдает свои внутренние инструкции. Компания Flowise обнаружила, что 45% их серверов были уязвимы к атакам, позволяющим извлечь API-ключи и пароли через системные промпты.
📊 LLM08: Vector and Embedding Weaknesses — когда векторы ведут не туда
RAG-системы тоже не идеальны! Исследователи создали проект VectorSmuggle, демонстрирующий, как можно скрытно извлекать данные через векторные представления под видом легитимных RAG-операций.
📰 LLM09: Misinformation — фабрика фейков
🎪 LLM может стать лучшим генератором фейк-ньюс, чем любая пропагандистская машина. Особенно опасно, когда модель выдает дезинформацию с таким же уверенным тоном, с каким рассказывает о погоде.
💸 LLM10: Unbounded Consumption — когда счет за API становится космическим🚀 Переименованный "Model Denial of Service" теперь включает риски неконтролируемого потребления ресурсов. Представьте, что проснулись утром и обнаружили счет за API на сумму стоимости небольшого автомобиля.
📈 Аналитика угроз 2025
🔍 Наш анализ показывает интересные тренды: Prompt Injection лидирует с критичностью 9.5/10 и частотой атак 85%, в то время как новые RAG-уязвимости выросли с 10% до 30% за последние три года.
🔮 Помните: единственная константа в мире LLM-безопасности — это изменения. То, что работало вчера, сегодня может превратить вашу модель в болтливого шпиона или дорогостоящую игрушку.
#OWASP #LLMSecurity #PromptInjection #AIуязвимости #КиберБезопасность #ИскусственныйИнтеллект #RAG #ChatGPT #ИБ2025
✔️ Премиум за подписку ⚠️
➡️ Подпишись 👐
🚀 Поддержать канал
💬 Чат для общения
💥 Ссылка на конкурс
Добро пожаловать в мир, где искусственный интеллект научился не только отвечать на вопросы, но и выдавать все секреты своих создателей!
OWASP выпустил обновленный список топ-10 уязвимостей для LLM-приложений в 2025 году, и, поверьте, это настоящий праздник для хакеров и головная боль для разработчиков .
🔓 LLM01: Prompt Injection — "Забудь все предыдущие инструкции"
🎪 Классика жанра! Prompt Injection остается на первом месте уже третий год подряд — как "Крестный отец" в рейтингах фильмов. Атакующие просто просят LLM "забыть все предыдущие инструкции" и выполнить что-то более интересное, например, слить базу данных клиентов.
🎯 Реальный пример: Студент Стэнфорда Кевин Лю в 2023 году заставил Bing Chat выдать его системные инструкции, включая секретное кодовое имя "Sydney". Microsoft, наверное, до сих пор краснеет от стыда!
🕵️ LLM02: Sensitive Information Disclosure — когда ИИ слишком болтливый💬 Ваш LLM превратился в сплетника районного масштаба? Эта уязвимость отвечает за случаи, когда модель выдает конфиденциальную информацию быстрее, чем вы успеваете сказать "NDA".
🔗 LLM03: Supply Chain Vulnerabilities — доверяй, но проверяй📦 В мире LLM цепочка поставок стала настоящим минным полем. В феврале 2025 года злоумышленники загрузили поддельные пакеты DeepSeek в PyPI, украв учетные данные у более чем 200 разработчиков в 17 странах. Видимо, кто-то очень хотел получить бесплатные токены!
☠️ LLM04: Data and Model Poisoning — когда ИИ учится плохому☠️ Отравление данных — это как подсыпать соль в сахарницу, только последствия серьезнее. Атакующие могут "научить" вашу модель давать неправильные ответы или даже создавать бэкдоры.
🔧 LLM05: Improper Output Handling — сначала думай, потом выводи
⚠️ Недостаточная валидация выходных данных — это как давать ребенку ножницы и говорить "разбирайся сам". LLM может генерировать код, SQL-запросы или HTML, которые выполнятся без должной проверки.
👑 LLM06: Excessive Agency — когда ИИ получает слишком много власти Чрезмерные полномочия для LLM — это как дать стажеру доступ к корпоративному банковскому счету. В эпоху агентных архитектур модели получают возможность самостоятельно принимать решения, и не всегда это хорошо заканчивается.
🎭 LLM07: System Prompt Leakage — секреты на виду
Новичок в списке 2025 года! Утечка системных промптов происходит, когда модель выдает свои внутренние инструкции. Компания Flowise обнаружила, что 45% их серверов были уязвимы к атакам, позволяющим извлечь API-ключи и пароли через системные промпты.
📊 LLM08: Vector and Embedding Weaknesses — когда векторы ведут не туда
RAG-системы тоже не идеальны! Исследователи создали проект VectorSmuggle, демонстрирующий, как можно скрытно извлекать данные через векторные представления под видом легитимных RAG-операций.
📰 LLM09: Misinformation — фабрика фейков
🎪 LLM может стать лучшим генератором фейк-ньюс, чем любая пропагандистская машина. Особенно опасно, когда модель выдает дезинформацию с таким же уверенным тоном, с каким рассказывает о погоде.
💸 LLM10: Unbounded Consumption — когда счет за API становится космическим🚀 Переименованный "Model Denial of Service" теперь включает риски неконтролируемого потребления ресурсов. Представьте, что проснулись утром и обнаружили счет за API на сумму стоимости небольшого автомобиля.
📈 Аналитика угроз 2025
🔍 Наш анализ показывает интересные тренды: Prompt Injection лидирует с критичностью 9.5/10 и частотой атак 85%, в то время как новые RAG-уязвимости выросли с 10% до 30% за последние три года.
🔮 Помните: единственная константа в мире LLM-безопасности — это изменения. То, что работало вчера, сегодня может превратить вашу модель в болтливого шпиона или дорогостоящую игрушку.
#OWASP #LLMSecurity #PromptInjection #AIуязвимости #КиберБезопасность #ИскусственныйИнтеллект #RAG #ChatGPT #ИБ2025
🚀 Поддержать канал
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍3
Forwarded from bluescreen.kz
OpenAI официально выпустила обновленную линейку моделей GPT-5.1, сосредоточив внимание на глубине мышления, естественности диалогов и гибкости общения.
GPT-5.1 Instant — самая используемая модель ChatGPT — теперь умеет применять адаптивное мышление: она решает, когда стоит «подумать» перед ответом, чтобы точнее справляться со сложными задачами. Это позволило ей показать рекордные результаты на тестах AIME 2025 и Codeforces. Модель стала «теплее» в стиле общения, сохранив четкость и полезность.
GPT-5.1 Thinking получила обновленную логику работы: теперь модель быстрее отвечает на простые запросы, но уделяет больше времени сложным. Ее ответы стали яснее, с минимумом профессионального жаргона — даже при объяснении технических тем.
OpenAI также добавила возможность настраивать стиль общения, выбрав между новыми тонами: «Профессиональный», «Откровенный» и «Необычный».
«Великий ИИ должен быть не только умным, но и интересным собеседником», — пишут в OpenAI.
Обновление уже доступно пользователям Pro, Plus, Go и Business, а в ближайшие дни появится и через API. Предыдущие версии GPT-5 будут поддерживаться еще три месяца.
#OpenAI #ChatGPT #новости #IT
Please open Telegram to view this post
VIEW IN TELEGRAM
Сегодня министр Мадиев растерялся на вопросе президента Токаева про численность пользователей KazLLM и ChatGPT. Не знаю заметил ли кто-то, но тут есть тонкий технический момент. ChatGPT это приложение с ИИ, а KazLLM - это модель, которую нужно встроить в подобные приложения. Напрямую их сравнивать нельзя. Ответ Мадиева касательно 600к запросов касался, скорее всего, приложений со встроенным KazLLM, возможно, это eGov с его ИИ агентом.
Касательно качества и конкурентоспособности KazLLM по сравнению с передовыми моделями (GPT-5.2, Gemini и др) скажу так - в мире ИИ всё, что старше полугода считается устаревшим. Классическая KazLLM базируется на Meta LLAMA 3.1, а значит её знания и навыки остаются на уровне середины 2024 года. Поэтому делать ставку на KazLLM в качестве локомотива экономического развития - неправильно.
Как отметил Мадиев, эти модели нужно постоянно дообучать, периодически брать новые опен-сорсные модели и начинать всё заново. Это не разработка модели "с нуля", а механизм "дообучения" (fine-tuning), но даже этот вариант без серьёзных вложений в инфраструктуру ИИ это невозможно. И я не уверен, достаточно ли тут будет купленного суперкомпьютера. Всё это напоминает проблему яйца и курицы - чтобы создать конкуретную модель нужны деньги, а чтобы получить деньги, нужно создать конкуретное приложение с пользователями.
Какой выход? Самый простой и не требующий больших денег - это разрешить использовать иностранные ИИ для гос.сектора. Да, это влияет на цифровой суверенитет, но мы уже в какие-то местах пожертвовали, поэтому можно и тут. Иначе мы безнадёжно отстанем.
#токаев #мадиев #kazllm #chatgpt
@qcakz
Касательно качества и конкурентоспособности KazLLM по сравнению с передовыми моделями (GPT-5.2, Gemini и др) скажу так - в мире ИИ всё, что старше полугода считается устаревшим. Классическая KazLLM базируется на Meta LLAMA 3.1, а значит её знания и навыки остаются на уровне середины 2024 года. Поэтому делать ставку на KazLLM в качестве локомотива экономического развития - неправильно.
Как отметил Мадиев, эти модели нужно постоянно дообучать, периодически брать новые опен-сорсные модели и начинать всё заново. Это не разработка модели "с нуля", а механизм "дообучения" (fine-tuning), но даже этот вариант без серьёзных вложений в инфраструктуру ИИ это невозможно. И я не уверен, достаточно ли тут будет купленного суперкомпьютера. Всё это напоминает проблему яйца и курицы - чтобы создать конкуретную модель нужны деньги, а чтобы получить деньги, нужно создать конкуретное приложение с пользователями.
Какой выход? Самый простой и не требующий больших денег - это разрешить использовать иностранные ИИ для гос.сектора. Да, это влияет на цифровой суверенитет, но мы уже в какие-то местах пожертвовали, поэтому можно и тут. Иначе мы безнадёжно отстанем.
#токаев #мадиев #kazllm #chatgpt
@qcakz
1👍9👎2🔥1