🥂 A/B-тестирование моделей в проде — теперь на уровне эндпоинта Together AI

Together AI добавила на платформу нативные A/B-эксперименты для LLM-эндпоинтов. Живой трафик можно разделять между контрольной моделью и до 20 вариантами с заданным процентным соотношением. Это позволяет проверять качество кандидата на реальных пользователях, а не на бенчмарках: retention, thumbs-up, выполнение задач и другие продуктовые метрики.

В отличие от shadow-трафика, где ответы кандидата никому не показываются, здесь часть запросов реально обслуживается новой моделью. При этом клиентский код не меняется: тот же эндпоинт, API и ключи. Эксперимент вложен в долю контрольной модели: роутер сначала разрешает базовый сплит, а затем перераспределяет запросы внутри эксперимента. Важное требование — варианты должны иметь нулевой вес в основном traffic split, иначе замеры будут некорректными. Проценты в A/B — это фиксированные доли трафика, независимые от числа реплик и автоскейлинга.

Рампинг делается заменой всего списка участников одним вызовом API: например, 95/5 → 80/20 → 50/50. Обновления защищены etag — параллельное изменение коллеги не перезапишется молча. Победителя можно продвинуть через blue-green rollout, а удаление эксперимента мгновенно возвращает 100% трафика контрольной модели без правок на стороне клиента.

#AI #LLM #ABtesting #TogetherAI #MLOps