❗️BOHM: Zero-Cost Hierarchical Attribution для составных AI-систем

Исследователи представили BOHM — метод иерархической атрибуции для составных AI-систем, который не требует дополнительных вычислительных затрат. В отличие от доминирующих методов на основе Shapley (SHAP), BOHM извлекает дерево атрибуции напрямую из весов маршрутизации, которые такие системы уже поддерживают. Это позволяет получать многомасштабную атрибуцию на каждом уровне иерархии одновременно.

Метод решает ключевую проблему SHAP: для оценки вклада компонентов требуется запуск системы на произвольных подмножествах, что невозможно для сторонних API, непрозрачных эндпоинтов и агентных оркестраторов, концентрирующих маршрутизацию на нескольких инструментах. BOHM работает с нулевыми предельными издержками, не требует доступа к внутренностям компонентов и даёт атрибуцию на нескольких уровнях разрешения одновременно.

В экспериментах на 18 LLM в 3-уровневой иерархии по 880 задачам LiveCodeBench BOHM показал Kendall tau=0.928, тогда как SHAP достиг tau=0.980 при 9000-кратном увеличении числа оценок коалиций. На 5 драйверах и 7 бенчмарках в агентном исследовании (35 ячеек) BOHM коррелирует с SHAP, причём расхождение само по себе диагностично. На иерархии US Census (475 листьев, 4 уровня) BOHM восстановил эталонные ранжирования с tau до 0.722.

BOHM удовлетворяет свойствам эффективности, монотонности, симметрии и слабого подавления, но не аддитивности Shapley. Метод следует рассматривать как комплементарный примитив: многомасштабное разложение, вычислимое везде, где существует состояние маршрутизации.

#Tech #Ai #Experiment #LLM #SHAP