🤖 Способна ли нейросеть решить математическую задачу на русском?

Не так хорошо, как кажется: например задачи олимпиадного уровня на русском языке для них проблема. Причина проста — моделям не на чем учиться и нечем нормально проверить результат.

🧠 Важно: именно такие математические задачи используют как бенчмарк — они показывают, насколько хорошо модель умеет рассуждать (reasoning), а не просто воспроизводить заученные паттерны из обучающих данных.

Мы в Doubletapp собрали собственный датасет — набор задач для обучения и тестирования моделей. Взяли задачи AIME — это один из самых известных американских математических экзаменов с олимпиадным уровнем сложности — и перевели их на русский.

✍️ Как мы работали:
— собрали задачи за все годы из открытого архива;
— выделили условия, решения и ответы;
— аккуратно обработали формулы;
— адаптировали в формат, который понимают модели.

📚 Получился датасет, который можно использовать и для обучения, и для тестирования нейросетей.

В статье читайте:
— почему просто дословный перевод задач — не вариант;
— как модели справляются с такими задачами;
— куда можно применить наш датасет.

😇 Читать статью → habr.com/ru/companies/doubletapp/articles

💋 Больше кейсов → doubletapp.ai/datallm
────────
Instagram | LinkedIn | Facebook | ВК | YouTube

#dt_DataLLM

Где ваш ИИ-агент вас подведет?

ИИ-агенты в проде уже получают доступ к почте, базам данных, рабочим инструментам команды.
Один неудачный вызов инструмента, и агент:
💥отправляет письмо не тому адресату,
💥 разглашает внутреннюю информацию,
💥 меняет права доступа,
💥делает то, чего от него вообще никто не ожидал.

Чтобы избежать таких инцидентов, мало взять хорошую модель. Нужно провести проверки по нескольким жестким сценариям и разобраться, где агент уязвим и как закрыть дыру в обороне.

В новой статье на Хабре мы не только раскрыли методологию Red Teaming для AI-агентов, но и показали по шагам, как это работает — на примере HR-ассистента для кандидатов.

Ищите в статье ссылку на готовый стенд и репозиторий с документацией.

Если вы выкатываете AI-агентов в корпоративную среду — этот материал для вас.

😇 Читать тут: habr.com/ru/companies/doubletapp/articles

🫀 И да — в Doubletapp мы помогаем командам тестировать AI-агентов, находить уязвимости и выстраивать безопасную архитектуру.

Если такая задача лежит у вас в бэклоге — напишите нам.
__________
Instagram | LinkedIn | Facebook| ВК | YouTube

#dt_DataLLM

Как понять, что AI-агент готов к реальной работе

🛠 AI-агенты сейчас глубоко погружены в проекты: читают документацию, ходят в API, правят файлы, запускают тесты и закрывают задачи почти как теплокровные инженеры. 🦾
Но при этом агент не инженер: что-то починил, одновременно что-то поломал, что-то забыл, сделал демо-задачу — и развалился на реальном воркфлоу. 🤖

Что делать?
⚙️ Проверять в условиях, близких к реальной разработке, на релевантных бенчмарках, например SWE-bench, Terminal-Bench, OSWorld, GAIA и др.
Но можем ли мы после такой проверки уверенно сказать, что AI-агент справится с кодом, стеком и процессами конкретной компании? 🤔
Давайте разбираться.

🧠 Мы исследовали вопрос, провели испытания и рассказываем в новой статье на Хабре:
✅ как сегодня тестируют передовых кодовых агентов,
✅ почему публичные лидерборды показывают только часть картины,
✅ как устроены кастомные бенчмарки,
✅ как собирать evals на приватных данных компании.

👉 Читать: habr.com/ru/companies/doubletapp/articles/1040698

💋 Если вы планируете внедрять кодовых ассистентов в ваши процессы разработки — напишите нам.
Поможем собрать и запустить кастомные бенчмарки заточенные под ваш воркфлоу, чтобы максимально эффективно проверить кодового агента.
______
Instagram | LinkedIn | Facebook| ВК | YouTube

#dt_DataLLM

AI-агентов внедряют в разработку, чтобы ускорить команды и снизить стоимость рутинных задач. Но на большой кодовой базе агенту сначала нужно разобраться, где искать нужный код и какие части проекта связаны между собой. 🔍

В результате и бизнес несет дополнительные расходы, и разработчик тратит лишнее время на ожидание и проверку результата. 💰⌛️

Можно ли сделать так, чтобы агент быстрее находил то, что ему нужно?

🎯 Мы опубликовали статью про опенсорсный инструмент CodeGraph, который заранее строит граф программного проекта: символов, вызовов, зависимостей и связей между файлами. Агент может получить нужный участок кода и связанные компоненты одним запросом вместо последовательности «поиск → чтение файла → новый поиск → ещё один файл».

🪧 В статье описано несколько экспериментов: агенту дали задачи по архитектуре, изменению публичного метода, добавлению функции и поиску источника ошибки и сравнили работу с CodeGraph и без него по числу вызовов инструментов, прочитанных файлов, токенам и времени выполнения.

💰 Получилось ли сэкономить?
Читайте в статье на сайте Doubletapp.

💋 Хотите проверить, как AI может ускорить разработку именно в вашей команде? Doubletapp проведёт пилот на вашем проекте и покажет результат на реальных задачах. 

#dt_DataLLM #dt_ML