AWS: Как SLM может победить LLM в управлении инструментами

Исследователи AWS натренировали OPT-350M (всего 350 миллионов параметров) на датасете ToolBench и получили 77.55% успешных вызовов API.

Для сравнения - ChatGPT-CoT показал только 26%, а ToolLLaMA-DFS - 30%. При этом у базовых моделей от 7 до 175 миллиардов параметров.

Обучали в 1 эпоху на Amazon SageMaker через SFTTrainer (Hugging Face TRL). Модель научилась генерировать структурированные цепочки Thought-Action-Action Input для вызова API.

Образец примера:

Instruction: "Найди фильмы с Бэтменом и покажи рейтинги"
↓
Solution Path:
  1. <thought>: нужен API поиска фильмов
  2. <api_call>: GET /search/title?title=batman
  3. <response>: {type:"movie", title:"Batman"...}
  4. <thought>: теперь нужны рейтинги
  5. <api_call>: GET /ratings?id=tt0096895
  6. <response>: {rating: 7.5...}

Типы сценариев
- I1 (single-tool): один инструмент, один API
- I2 (intra-category): несколько инструментов одной категории
- I3 (intra-collection): инструменты из разных категорий

Хороший пример, чего можно добиться, сфокусировав модель на одной задаче, - вся ёмкость модели работает только на управление инструментами.

Это, кстати, может быть очень полезно для роя агентов.
Дособрать еще пайплайн, где SLM сами спавнятся и дообучаются под задачу роя.
Или, допустим, SLM под каждый MCP, если у него много методов.

paper

#ToolBench #SLM #FineTuning
———
@tsingular