📱Taste-Bench.

Taste-Bench - это бенчмарк для языковых моделей и ИИ-агентов, оценивающий их инженерную интуицию и «вкус» (taste) — способность выбирать верное направление на ключевых развилках при решении сложных долгосрочных задач (long-horizon tasks).

В длительных циклах автономной разработки или ML-исследований неверное решение на раннем этапе часто кажется вполне логичным в моменте, но в итоге заводит агента в тупик и сжигает весь бюджет контекста. Taste-Bench проверяет, способна ли модель почувствовать правильный вектор развития еще до того, как последствия станут очевидными.

🧩Как устроен датасет:

Модели на вход подается описание задачи, накопленный контекст работы агента до развилки (до 64k токенов) и два альтернативных варианта следующего действия (A и B). Задача — выбрать шаг, который в скрытом продолжении реальной траектории привел к успеху.

Все 502 вопроса бенчмарка добыты напрямую из логов реальных запусков без ручной разметки экспертами:
✔️
• 🔀 Параллельные развилки (Parallel forks): Независимые попытки решить одну задачу, разошедшиеся в определенной точке с противоположным итоговым результатом (одна прошла тесты, вторая упала).

🔘Развилки с откатом (Detour forks): Ситуации, где агент выбрал ложный путь, столкнулся с ошибкой, откатился и нашел рабочее решение. Сравнивается тупиковое действие и правильный корректирующий шаг.

🔘Строгая фильтрация: Исключены тривиальные развилки (где очевиден выбор без контекста) и спорные случаи (где судьи-модели не сошлись в оценке). 390 вопросов взяты из SWE-bench и SWE-bench Pro (software engineering), а 112 — из METR MALT / RE-Bench / HCAST (ML-исследования).

⚖️Бескомпромиссный протокол тестирования:

Оценка проводится по протоколу paired_order_v1: каждый вопрос задается дважды с перестановкой вариантов (A/B и B/A). Балл засчитывается только при верном выборе в обоих случаях.
• Случайное угадывание дает всего 25%.
• Стратегия «всегда выбирать A» дает 0%.

🏆Результаты лидерборда (Frontier Models):
Даже ведущие модели с трудом преодолевают планку в 50–60% точности:

✔️GPT-5.6 Sol — 59.7%

✔️GPT-5.5 — 59.5%

✔️Claude Opus 5 — 55.5%

✔️Grok 4.5 — 54.6%

✔️GLM-5.2 — 53.9%

✔️Claude Sonnet 5 — 51.6%

✔️DeepSeek V4 Flash — 43.3%

💻Быстрый старт:

git clone https://github.com/wbopan/tastebench && cd tastebench
uv sync

# Загрузка датасета (требуется доступ на Hugging Face)
uv run tb download

# Запуск оценки модели через OpenAI-совместимый эндпоинт
export TASTEBENCH_API_KEY="your-key"
uv run tb run --model gpt-5.5 --api https://api.openai.com/v1/chat/completions

# Подсчет итогового скора
uv run tb score runs/gpt-5.5/<date>

Датасет доступен в библиотеке datasets:

from datasets import load_dataset
rows = load_dataset("wenbopan/taste-bench", "engineering", split="test", revision="v1.0")

✅Код бенчмарка распространяется под лицензией MIT, данные — под CC BY 4.0.

#TasteBench #Benchmark #AIAgents #LLM #MachineLearning #SWEbench #SoftwareEngineering #DataScience #OpenSource #DevTools #Eval

📱Ссылка на репозиторий:
https://github.com/wbopan/tastebench