🛡 Mistral AI выпустила Shieldstral — компактный модератор контента с открытым весом

Mistral AI представила Shieldstral — 3B мультимодальный классификатор безопасности с открытыми весами под лицензией Apache 2.0. Он проверяет текст и изображения и, по заявлению компании, не уступает моделям-модераторам до 7 раз крупнее.

Главная особенность — модерация как вопросно-ответная задача. Политика безопасности задаётся обычным текстовым вопросом на этапе инференса, например: «Поощряет ли этот контент физическое насилие?» Модель возвращает калиброванную оценку безопасности, объединяя проверку промптов, ответов, отказов и токсичности без переобучения под новые правила. Это позволяет адаптировать один чекпоинт под разные продукты, аудитории и сценарии использования.

Shieldstral запускается на одном GPU с 16 ГБ памяти. При обучении использовались разнородные датасеты с разными таксономиями, LoRA-тонкая настройка и SLERP-слияние чекпоинтов. Веса уже доступны на Hugging Face, технический отчёт опубликован на arXiv. Модель также стала частью инициативы Open Secure AI Alliance вместе с NVIDIA.

#Safety #MistralAI #Shieldstral #AI #Security #Moderation

⚙️ Musubi выпустила PolicyLM-1.7B - открытую модель для модерации контента

Стартап Musubi представил лёгкую decision-модель PolicyLM-1.7B, предназначенную для модерации контента в реальном времени. Веса опубликованы в открытом доступе, сообщает TechCrunch.

Ключевая идея: политику модерации, написанную обычным текстом на английском, модель применяет к сообщениям менее чем за 50 миллисекунд. По стоимости и скорости PolicyLM сопоставима с классификаторами, которые сегодня используются на большинстве соцплатформ, но за счёт архитектуры трансформера умеет работать со сложными правилами без специального обучения. Главное преимущество - при изменении политики модель не нужно переобучать: команды могут итеративно править правила на лету.

Decision-модели не генерируют текст, а выдают вероятности исходов - здесь это бинарное решение: попадает контент в категорию или нет. Ограничение вывода ускоряет и удешевляет работу по сравнению с полноценными LLM. Тема стала актуальной после выхода Jev от Typesafe AI в сентябре, затем аналоги представили OpenAI и Amazon. Сооснователь Musubi Филип Янкович отмечает, что его интерес к таким моделям восходит к проекту GLiNER 2024 года.

Практический смысл: платформы получают масштабируемый и настраиваемый способ размечать растущие объёмы контента и проактивно выявлять нарушения, не привлекая большие модели для каждой проверки.

🎨 qvabo.studio/tg · картинки и видео

#Tech #AI #Model #Moderation #DecisionModels #OpenSource #Musubi