⚙️ Оптимизация компромиссов между задержкой, надежностью и стоимостью в агентных воркфлоу на LLM

Исследователи из Нью-Йоркского университета представили математическую основу для проектирования надежных агентных систем, использующих большие языковые модели. Работа анализирует фундаментальные компромиссы между тремя ключевыми метриками: latency (задержка), reliability (надежность) и cost (стоимость) в воркфлоу, где взаимодействуют как LLM-агенты, так и традиционные вычислительные модули.

Авторы предлагают модели производительности для обоих типов агентов, которые описывают связь между вычислительными усилиями и качеством вывода. Для LLM-агентов используется параметрическая экспоненциальная функция надежности, учитывающая влияние токенов рассуждения и вывода. Основной результат — политика распределения токенов по принципу «water-filling» и характеристика оптимальной надежности воркфлоу через «теневые цены» (shadow prices).

Практическая значимость: работа позволяет инженерам формально выбирать конфигурацию агентных пайплайнов (количество шагов, размер контекста, уровень резервирования) под заданные бюджет и требования к скорости. Например, для систем реального времени (чат-боты, мониторинг) можно минимизировать задержку при фиксированной надежности, а для пакетной обработки — оптимизировать стоимость.

#AI #AgenticWorkflows #Optimization #LLM