Как нейросети проходят тесты на логику и здравый смысл? 🤔

Мы привыкли, что нейросети отлично генерируют тексты и пишут код. Но со смекалкой и бытовой логикой у них были проблемы. А что сейчас?

С одной стороны, топовые модели уже обходят человека в тестах на здравый смысл. С другой — многое зависит от условий: стоит включить сохранение контекста, и результат взлетает с 62% до 99,9%.

📎 Мы разобрали 4 бенчмарка, которые проверяют AI на способность рассуждать. В карточках — краткий разбор тестов и результаты моделей. Листайте!

Как обучить детектор джейлбрейков для AI-агентов 🛡️

Чтобы украсть данные через AI-ассистента, хакеру больше не нужен код. Достаточно вредоносной инструкции, спрятанной в письме или публичном канале: AI-ассистент прочитает ее и отдаст данные.

Решение — ставить между приложением и моделью защитный слой. Но взять готовый открытый детектор не выйдет: на русском языке они блокируют чуть ли не половину безопасных запросов.

В статье на Хабре команда R&D Just AI рассказывает, как обучают текстовые детекторы для Jay Guard — AI Security-слоя для корпоративных AI-приложений, и почему небольшая, но дообученная на правильных данных модель справляется в разы точнее 🔥

📎 В карточках — про данные для обучения, какие четыре проблемы нашли в открытых датасетах и что в итоге получилось.

А на Хабре — подробный разбор:
➡️ Почему нельзя просто перевести английский датасет на русский
➡️ Как проверить свои обучающие данные на актуальность: 5 главных вопросов к вашему датасету
➡️ Разница между «попыткой» и «успешной атакой» — и почему это меняет оценку качества защиты

▶️ Читать статью

А еще мы собираем русскоязычный датасет джейлбрейков и для этого запустили игру в духе Gandalf от Lakera — попробовать можно тут! 🖱

В ней можно стать AI-хакером и попытаться обойти защиту бота на всех уровнях. Все успешные обходы попадут в открытый датасет на Hugging Face.

Как запустить AI-трансформацию, которая не останется очередным пилотом? 🚀

Внедрить инструмент недостаточно. Пилоты делают многие, а системного эффекта нет: идей нет, пользователей мало, инициативы снизу не рождаются.

Ольга Конарева, руководитель направления по консалтингу и обучению Just AI, делится, как выстроить трансформацию так, чтобы она сдвинула компанию с места:

➡️ Кейс-чемпионат для старта и хакатон для масштабирования — в чем разница
➡️ Что учесть при организации
➡️ Как считать эффект и почему с ROI все не так просто
➡️ Какие ошибки гасят мотивацию команды

Кратко о важном — в карточках 📎