🛡 Mistral AI выпустила Shieldstral — компактный модератор контента с открытым весом

Mistral AI представила Shieldstral — 3B мультимодальный классификатор безопасности с открытыми весами под лицензией Apache 2.0. Он проверяет текст и изображения и, по заявлению компании, не уступает моделям-модераторам до 7 раз крупнее.

Главная особенность — модерация как вопросно-ответная задача. Политика безопасности задаётся обычным текстовым вопросом на этапе инференса, например: «Поощряет ли этот контент физическое насилие?» Модель возвращает калиброванную оценку безопасности, объединяя проверку промптов, ответов, отказов и токсичности без переобучения под новые правила. Это позволяет адаптировать один чекпоинт под разные продукты, аудитории и сценарии использования.

Shieldstral запускается на одном GPU с 16 ГБ памяти. При обучении использовались разнородные датасеты с разными таксономиями, LoRA-тонкая настройка и SLERP-слияние чекпоинтов. Веса уже доступны на Hugging Face, технический отчёт опубликован на arXiv. Модель также стала частью инициативы Open Secure AI Alliance вместе с NVIDIA.

#Safety #MistralAI #Shieldstral #AI #Security #Moderation