⚠️ Ограничения ИИ мешают работе специалистов по кибербезопасности

Крупные компании вроде Anthropic и OpenAI ввели строгие ограничения на использование своих моделей, чтобы не допустить их применения хакерами. Однако эти меры всё чаще мешают легальным исследователям безопасности, которые ищут уязвимости и разрабатывают методы защиты.

Крис Энли, главный научный сотрудник NCC Group, отмечает, что попытка эксплуатировать баг с помощью ИИ — ключевой этап подтверждения реальной уязвимости. Если модель отказывается отвечать из-за guardrails, это вредит защитникам. «Один и тот же инструмент одновременно является и атакующим, и защитным, и их невозможно разделить», — говорит он. Исследователи вынуждены переходить на open-source модели без ограничений.

Паоло Станьо из CrowdFense критикует политику ИИ-компаний: «Они относятся к клиентам как к детям, которым нужна нянька». Для поиска уязвимостей его команда использует локальные open-source модели, чтобы не рисковать утечкой данных через облачные сервисы. При этом некоторые эксперты, как Джузеппе Кали, сознательно не применяют ИИ для атакующей работы, предпочитая самостоятельно контролировать процесс обнаружения багов.

#Safety #CyberSecurity #AI #Guardrails #Research

🛡 ИИ-модели с открытыми весами теряют защиту за сутки после релиза

Новое исследование Wired: компактные open-weight модели можно быстро модифицировать так, что они начинают помогать в опасной деятельности. В августе Alibaba выпустила Qwen 3.8-27B - модель, достаточно лёгкую для запуска на ноутбуке. Уже через 24 часа в сети появились её «abliterated»-версии, то есть с полностью удалёнными защитными ограничениями.

Суть техники abliteration - модификация весов, при которой модель перестаёт отказываться от запрещённых запросов. В ходе проверки исследователь напрямую заявил чатботу о намерении причинить массовый вред, и снятая с ограничений модель выдала подробные инструкции, которые обязана была отклонить.

Ключевая проблема - сама природа open-weight: опубликованные веса выходят из-под контроля разработчика. Небольшой размер модели снижает порог входа, поэтому «расчипованные» варианты распространяются быстрее, чем вендор успевает реагировать. Это ставит вопрос об эффективности текущих методов выравнивания при открытой публикации весов.

🎨 qvabo.studio/tg · картинки и видео

#Safety #AI #Security #OpenWeight #Guardrails