ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications
Алярм! Первый ИИ-вирус. Он не требует человеческой ошибки для инициализации. Вернее, ошибка нужна - дать ИИ управление своей почтой.
Исследователи научились внедрять вредоносный пропмт в электронные письма таким образом, чтобы заставить вашего ИИ-ассистента выполнять ряд действий, в том числе рассылку вируса по вашей базе адресов. Причем промпт может быть внедрен в текст или в изображение.
Авторы направили свой труд в OpenAI и Google для предупреждения о потенциальных уязвимостях ИИ-ассистентов.
Понятное объяснение у двухминутного доктора
#assistant #news #virus #safety
Алярм! Первый ИИ-вирус. Он не требует человеческой ошибки для инициализации. Вернее, ошибка нужна - дать ИИ управление своей почтой.
Исследователи научились внедрять вредоносный пропмт в электронные письма таким образом, чтобы заставить вашего ИИ-ассистента выполнять ряд действий, в том числе рассылку вируса по вашей базе адресов. Причем промпт может быть внедрен в текст или в изображение.
Авторы направили свой труд в OpenAI и Google для предупреждения о потенциальных уязвимостях ИИ-ассистентов.
Понятное объяснение у двухминутного доктора
#assistant #news #virus #safety
Google
Here Comes the AI Worm
Stav Cohen
Technion - Israel Institute of Technology
Technion - Israel Institute of Technology
😱6👍1🔥1
Anamorpher
инструмент для внедрения в изображения «скрытых сообщений» для систем искусственного интеллекта. Когда такие изображения смотрят в обычном размере, они выглядят как обычные картинки. Но если их уменьшить, то в них проявляются скрытые подсказки или команды для ИИ.
Представьте, что вы рисуете картинку, которая кажется совершенно безобидной. Но если посмотреть на неё издалека или уменьшить размер, то можно увидеть тайное сообщение или инструкцию. Именно так работает Anamorpher. Он позволяет:
— создавать такие «магические» изображения, которые содержат скрытые команды
— проверять, насколько хорошо эти скрытые сообщения работают с разными программами и библиотеками (например, OpenCV, PyTorch, TensorFlow и Pillow)
— добавлять свои собственные способы изменения размера изображений, чтобы экспериментировать и улучшать результаты
Очевидно, это можно использовать как для атак на ИИ, так и для защиты изображений
#news #safety #tools #virus
инструмент для внедрения в изображения «скрытых сообщений» для систем искусственного интеллекта. Когда такие изображения смотрят в обычном размере, они выглядят как обычные картинки. Но если их уменьшить, то в них проявляются скрытые подсказки или команды для ИИ.
Представьте, что вы рисуете картинку, которая кажется совершенно безобидной. Но если посмотреть на неё издалека или уменьшить размер, то можно увидеть тайное сообщение или инструкцию. Именно так работает Anamorpher. Он позволяет:
— создавать такие «магические» изображения, которые содержат скрытые команды
— проверять, насколько хорошо эти скрытые сообщения работают с разными программами и библиотеками (например, OpenCV, PyTorch, TensorFlow и Pillow)
— добавлять свои собственные способы изменения размера изображений, чтобы экспериментировать и улучшать результаты
Очевидно, это можно использовать как для атак на ИИ, так и для защиты изображений
#news #safety #tools #virus
👍11🤯4❤1
На реддите опубликован пост с предупреждением о сомнительной деятельности разработчика под ником Eddy.
Автор поста утверждает, что Eddy использует языковые модели для написания кода, запутывает реальные процессы разработки, делает необоснованные заявления об улучшениях и скрывает код в подозрительных архивах. Его репозитории содержат некачественный и, возможно, украденный код, а некоторые пакеты ПО — вредоносные функции, например, сканирование диска и отключение сетевого адаптера. Также есть утверждения о том, что он продаёт уроки за 300 долларов в Китае, хотя сам это отрицает. Пользователям рекомендуется не доверять его заявлениям и не использовать его разработки.
Спасибо @StanShumsky
#news #safety
Автор поста утверждает, что Eddy использует языковые модели для написания кода, запутывает реальные процессы разработки, делает необоснованные заявления об улучшениях и скрывает код в подозрительных архивах. Его репозитории содержат некачественный и, возможно, украденный код, а некоторые пакеты ПО — вредоносные функции, например, сканирование диска и отключение сетевого адаптера. Также есть утверждения о том, что он продаёт уроки за 300 долларов в Китае, хотя сам это отрицает. Пользователям рекомендуется не доверять его заявлениям и не использовать его разработки.
Спасибо @StanShumsky
#news #safety
Reddit
From the comfyui community on Reddit: a Word of Caution against "eddy1111111\eddyhhlure1Eddy"
Explore this post and more from the comfyui community
👍10🤷♂5❤1😁1
Защита от пиратства или спящий агент?
Пардон. Нечаянно убил комменты. Публикую снова
Российские учёные разработали метод защиты прав на модели компьютерного зрения.
Метод работает через встраивание в уже обученную модель «нейронов-детекторов», которые активируются только при наличии специального «раздражителя» (секретного ключа), и «нейронов-нарушителей», мешающих работе системы при отсутствии такого ключа
тесты показали, что вероятность случайной активации таких нейронов менее 0,01 %, поэтому они "не вызывают сбоев в работе алгоритмов"
в будущем метод можно будет применять не только для моделей компьютерного зрения, но и для больших языковых моделей, систем принятия решений и других ИИ-алгоритмов
А теперь меняем сценарий. Создаем модель, только делаем все наоборот. Модель работает нормально пока не получит на вход фразу «Почему бы тебе не скоротать время, сыграв в пасьянс?» или изображение дамы пик. Продаем модель и в нужный момент цап-царап...
#яниначтоненамекаю #safety #research #news
Пардон. Нечаянно убил комменты. Публикую снова
Российские учёные разработали метод защиты прав на модели компьютерного зрения.
Метод работает через встраивание в уже обученную модель «нейронов-детекторов», которые активируются только при наличии специального «раздражителя» (секретного ключа), и «нейронов-нарушителей», мешающих работе системы при отсутствии такого ключа
тесты показали, что вероятность случайной активации таких нейронов менее 0,01 %, поэтому они "не вызывают сбоев в работе алгоритмов"
в будущем метод можно будет применять не только для моделей компьютерного зрения, но и для больших языковых моделей, систем принятия решений и других ИИ-алгоритмов
А теперь меняем сценарий. Создаем модель, только делаем все наоборот. Модель работает нормально пока не получит на вход фразу «Почему бы тебе не скоротать время, сыграв в пасьянс?» или изображение дамы пик. Продаем модель и в нужный момент цап-царап...
#яниначтоненамекаю #safety #research #news
😱7👍4
Как LLM-вендоры обращаются с вашими данными: подробный разбор безопасности и конфиденциальности
Статья на Хабре от нашего подписчика @quatt1
Коротко:
OpenAI: обязана бессрочно хранить данные пользователей ChatGPT, кроме корпоративных версий и Zero Data Retention. До этого данные хранились 30 дней.
Anthropic: удаляет данные через 30 дней после удаления разговора, но может хранить до 10 лет при отправке обратной связи. Не использует данные для обучения без разрешения.
Google AI (Gemini): данные потребительской версии хранятся до 18 месяцев, корпоративной — по соглашениям. Данные не используются для обучения без согласия.
Российские вендоры (GigaChat, YandexGPT): соответствуют ФЗ-152. GigaChat может использовать данные для улучшения сервиса, YandexGPT — для коммерческого использования.
DeepSeek: использует данные для обучения и улучшений, в январе 2025 произошла утечка более 1 миллиона записей.
Провайдеры-агрегаторы (OpenRouter): не контролируют политики использования данных провайдеров моделей, пользователи должны изучать условия каждого.
Инструменты для кодинга (Cursor, Windsurf): предлагают усиленную защиту данных, Cursor — Privacy Mode с нулевым хранением, Windsurf — Zero Data Retention по умолчанию.
#safety
Статья на Хабре от нашего подписчика @quatt1
Коротко:
OpenAI: обязана бессрочно хранить данные пользователей ChatGPT, кроме корпоративных версий и Zero Data Retention. До этого данные хранились 30 дней.
Anthropic: удаляет данные через 30 дней после удаления разговора, но может хранить до 10 лет при отправке обратной связи. Не использует данные для обучения без разрешения.
Google AI (Gemini): данные потребительской версии хранятся до 18 месяцев, корпоративной — по соглашениям. Данные не используются для обучения без согласия.
Российские вендоры (GigaChat, YandexGPT): соответствуют ФЗ-152. GigaChat может использовать данные для улучшения сервиса, YandexGPT — для коммерческого использования.
DeepSeek: использует данные для обучения и улучшений, в январе 2025 произошла утечка более 1 миллиона записей.
Провайдеры-агрегаторы (OpenRouter): не контролируют политики использования данных провайдеров моделей, пользователи должны изучать условия каждого.
Инструменты для кодинга (Cursor, Windsurf): предлагают усиленную защиту данных, Cursor — Privacy Mode с нулевым хранением, Windsurf — Zero Data Retention по умолчанию.
#safety
🔥10🤔2🌚1😈1
Майнер-вор данных в A1111
Реддитор обнаружил в установленном из официального репозитория A1111 Майнер (Биткойна) который он не устанавливал, а также следы кражи данных.
Вероятно, Майнер зашел через какое-то расширение или через открытый для браузера порт 8188
Признайтесь, кто использует отдельный браузер или песочницу для a1111 или Комфи?
А стоило бы
#safety #a1111 #comfyui
Реддитор обнаружил в установленном из официального репозитория A1111 Майнер (Биткойна) который он не устанавливал, а также следы кражи данных.
Вероятно, Майнер зашел через какое-то расширение или через открытый для браузера порт 8188
Признайтесь, кто использует отдельный браузер или песочницу для a1111 или Комфи?
А стоило бы
#safety #a1111 #comfyui
😱21😁4❤2🍌1
GLiGuard
Небольшая языковая модель для модерации безопасности в LLM. В 16 раз превосходит предыдущую #SOTA
• классифицирует промпты на safe/unsafe
• проверяет безопасность ответов
• детектирует отказы
• определяет категории вреда (14 типов)
• выявляет стратегии джейлбрейка (11 типов)
0,3 B, точность на уровне моделей в 23–90 раз крупнее
Подходит для быстрой модерации контента
Выпустили какую-то еще одну #SLM побивающую OpenAI, но я так и не понял какую и она неопесорс
Статья на X
Гитхаб
HF
pioneer - кстати раздают инференс на $75 на Opus4.7 до 1 августа
#security #safety #giveaway
Небольшая языковая модель для модерации безопасности в LLM. В 16 раз превосходит предыдущую #SOTA
• классифицирует промпты на safe/unsafe
• проверяет безопасность ответов
• детектирует отказы
• определяет категории вреда (14 типов)
• выявляет стратегии джейлбрейка (11 типов)
0,3 B, точность на уровне моделей в 23–90 раз крупнее
Подходит для быстрой модерации контента
Выпустили какую-то еще одну #SLM побивающую OpenAI, но я так и не понял какую и она неопесорс
Статья на X
Гитхаб
HF
pioneer - кстати раздают инференс на $75 на Opus4.7 до 1 августа
#security #safety #giveaway
👍11❤1
⚠️ РИСКИ НЕОЖИДАННЫХ СПИСАНИЙ В CLAUDE CODE
HERMES.md:
Если в истории Git‑коммитов есть строка HERMES.md (ТОЛЬКО в верхнем регистре), Claude Code может переключиться на оплату pay‑as‑you‑go — даже с подпиской Max
ANTHROPIC_API_KEY:
Claude Code без предупреждений использует API‑ключ из $ANTHROPIC_API_KEY (например, из .env) вместо подписки.
При исчерпании кредитов включается автопополнение в одном случае списали $187
РЕКОМЕНДАЦИИ
Проверьте историю коммитов: удалите или измените строку HERMES.md если есть
Перед запуском Claude Code очищайте переменную:
• bash/zsh: unset ANTHROPIC_API_KEY
• PowerShell: $env:ANTHROPIC_API_KEY = $null
#news #coding #safety
HERMES.md:
Если в истории Git‑коммитов есть строка HERMES.md (ТОЛЬКО в верхнем регистре), Claude Code может переключиться на оплату pay‑as‑you‑go — даже с подпиской Max
ANTHROPIC_API_KEY:
Claude Code без предупреждений использует API‑ключ из $ANTHROPIC_API_KEY (например, из .env) вместо подписки.
При исчерпании кредитов включается автопополнение в одном случае списали $187
РЕКОМЕНДАЦИИ
Проверьте историю коммитов: удалите или измените строку HERMES.md если есть
Перед запуском Claude Code очищайте переменную:
• bash/zsh: unset ANTHROPIC_API_KEY
• PowerShell: $env:ANTHROPIC_API_KEY = $null
#news #coding #safety
Reddit
From the ClaudeAI community on Reddit
Explore this post and more from the ClaudeAI community
👀7😁6👍1
MemPrivacy
Защита конфиденциальных данных в памяти облачных агентов. Базовая модель Qwen3‑4B
• применяет локальную обратимую псевдонимизацию
• заменяет PII типизированными плейсхолдерами (например,
• сохраняет семантическую полезность данных для поиска в памяти
• восстанавливает оригинальные значения локально после обработки в облаке
Гитхаб
HF
#security #safety #privacy #agent
Защита конфиденциальных данных в памяти облачных агентов. Базовая модель Qwen3‑4B
• применяет локальную обратимую псевдонимизацию
• заменяет PII типизированными плейсхолдерами (например,
[ИМЯ_ПЕРСОНЫ])• сохраняет семантическую полезность данных для поиска в памяти
• восстанавливает оригинальные значения локально после обработки в облаке
Гитхаб
HF
#security #safety #privacy #agent
👍6
У Сергея Метаверсище угнали аккаунт, канал и крипту, аккаунт удалили.
Схема как я понял такая: пишут в личку со скринами слитых баз - якобы инфа вытащена из Телеграм сессий, что, конечно, полная чушь. Далее предлагают какоето рекламное сотрудничество + помощь в устранении утечки.
Мне тоже писали, вот примерно как это выглядит. Многим админам пишут тоже.
Будьте бдительны и подозрительны
#safety #security
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😭16😱7❤1😁1