Интересные инсайты по skills

Тут недавно на Hacker News появился тред с вопросом "Как вы менеджите ваши skills".

Почитал весь тред и решил выписать интересные на мой взгляд инсайты и добавить немного от себя.

Skill – это кэш рабочего процесса: "как уже делали эту задачу". Должен отвечать на вопрос "как сделать X".

1. Когда skill действительно нужен

- нужно хранить то, чего нет в обучающих данных модели:
- внутренние сервисы;
- нестандартные конфигурации;
- инфраструктуру и связи между репозиториями;
- правила доступа к окружениям.
- принятые в команде гайдлайны
- один и тот же процесс повторяется несколько раз в день или в неделю;
- процесс должен выполняться одним и тем же способом;

например:
- нужно не забывать тесты, документацию, ревью или другие обязательные шаги;
- нужно выполнять compliance-проверку;
- часто требуется один и тот же способ работы с Jira, Git, CI, инфраструктурой или браузером;

При этом, если действие можно выразить обычным кодом, лучше выразить его кодом. Модели оставить принятие решений и задачи, которые трудно формализовать.

2. Как создавать skills

- не начинать с поиска готовых skills.
- сначала попросить агента выполнить задачу.
- попросить агента упаковать процесс выполнения задачи в skill. Тут рекомендую использовать skill-creator от Anthropic – там есть evals для проверки skill.
- попробовать skill в новом чате

3. Улучшение skill

- после каждой сессии со скиллом анализировать, что можно вынести в skill;
- собирать статистику повторяющихся рабочих процессов для создания новых скиллов;
- просить другой frontier-моделью уменьшить и упростить текст skill.
- проводить ежемесячный аудит неиспользуемых skills;

4. Безопасность

- Рассматривать каждый skill как код, которому агент доверяет.
- Проверять происхождение и содержимое.
- Не устанавливать случайные skills из интернета без ревью.

В комментах добавьте ваши инсайты по скиллам! inb4: скиллы не нужны

Лайк, репост,
✔️ Тимур Хахалев про AI Coding, подписывайтесь!