MLflow 3.10.0: Мульти-воркспейсы и трекинг LLM-костов

MLflow продолжает укреплять позиции главного хаба для тех, кто строит LLM-системы в проде. В версии 3.10.0 акцент сделан на полноценный контроль бюджетов и мульти-агентских сессий.

⚡ Организации и мульти-воркспейсы:
Теперь трекинг-сервер поддерживает логическую изоляцию. Эксперименты, модели и промпты можно группировать по воркспейсам. Для кровавого энтерпрайза это киллер-фича: один сервер на всю компанию, но у каждой команды свой закрытый контур.

💰 LLM Trace Cost Tracking:
Скрытые расходы на токены теперь как на ладони. MLflow автоматически извлекает данные о модели из spans и считает стоимость вызовов прямо в UI трейсов.

🎯 Multi-turn Evaluation:
Оценка диалогов перешла на уровень сессий. Появилась симуляция разговоров — можно прогнать новую версию агента через «допрос» виртуальным пользователем, не тратя время на ручное тестирование (LLM-as-judge встроен).

📈 Бизнес-эффект:
Прозрачность и масштаб. Инструмент превращается из «блокнота дата-сайентиста» в финансовый и управленческий дашборд для CISO и CIO. Зная точную стоимость каждого запроса, проще обосновывать ROI и выбирать правильные модели.

Если кто еще не в курсе,- MLflow это такой автотюнер для ИИ экосистемы.
Раньше только для моделей было, а теперь там и промпты и агенты (т.е. можно навыки тюнить через него по метрикам) и ИИ как оценщик и даже свой роутер моделей встроенный с биллингом, т.е. LiteLLM, например , уже не нужен.

#MLflow #GenAI #FinOps #MLOps #LLM
------
@tsingular