Marat @ Predictable.Team
412 subscribers
134 photos
8 videos
4 files
112 links
Привет! Я Марат, Agile Coach в финтехе на 50 команд в ядре банка.
В этом канале пишу про процессную культуру и метрики в айти и не только, фасилитацию, бизнес, изменения и системный подход.
Если вы в Уфе, приходите ко мне в ufaitcoworking.ru :)
Download Telegram
Как измерять AI-Adoption и связать с бизнес-целями (2/5)

В прошлом посте я рассказывал, что надо задумываться - зачем внедрять AI (повторю что у нас только гипотеза что с AI станет лучше). Сегодня - как мы пытаемся измерять эффект.

Главный вопрос: как понять, что внедрение реально работает?

🌲Ответ: строим трёхуровневое дерево метрик (дерево тут с натяжкой, а еще напрашивается разложить это по карте гипотез).

⚙️ Результата финального еще нет. Что мы делаем чтоб влиять на метрики - будет в следующем посте (там про ADKAR).

Уровень 1: AI-Adoption (внедрение)

Мы трекаем:
- MAU (количество активных пользователей в месяц) / DAU (в день) / Stickiness (=DAU/MAU, не просто количество активных пользователей, а еще и насколько они часто пользуются)
- Retention (удержание пользователей) / Churn (отток пользователей)
- Количество запросов на пользователя
- % задач с #ai (пока ручная пометка в тикетах в jira)

Уровень 2: Изменение процессов (промежуточный слой)

Это ключ! Adoption/Внедрение выражается в том, что процессы меняются:

- 📉 Cycle Time (от In Progress → Closed)
Сравниваем задачи с меткой #ai vs без ai
Гипотеза: AI ускоряет доставку → Cycle Time↓ → T2M↓.

- 🐛 Defect Rate (баги на задачу)
Проверяем: AI не роняет качество.
Если Defect Rate ≤ baseline → ОК → масштабируем.

- 📦 Количество задач на команду
Команды с высоким adoption (например, >60% задач с меткой #ai) vs низким (<20%).
Гипотеза: больше adoption → больше задач → Объём↑.

Уровень 3: Бизнес-результаты
• Cycle Time от In Progress до Closed ↓ → T2M↓
• Defect Rate (кол-во дефектов) ≤ baseline → Качество OK
• Кол-во Задач↑ → Объём↑

🎮 Все эти стрелки вверх-вниз-влево-вправо выглядят как комбо в файтинге

Пример может выглядеть так:
1. В прошлом месяце 50pp Cycle Time для задач с #ai = 3 дня vs 5 дней без AI.
2. Команды с adoption >60% закрыли 110 задач vs 78 задач у команд с <20%.

🔥 Мой эксперимент за 3 месяц: я еще не понял стало ли лучше. Изменения требуют куче образовательных мероприятий, гайдов, постоянной работы с аудиторией подразделения.

А еще надо сильно смотреть на ROI - железки-то дорогие (а в нашей геополитической ситуации еще дороже).

🙏 Я призываю вас комментировать и помочь мне пересмотреть дерево, если хотите поумничать - хочется взгляда со стороны и вашего опыта!

❓ Вопрос к вам: как вы трекаете или пытаетесь трекать эффект от AI?

#AIметрики #T2M #Adoption
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥3❤1😎1
В конце мая мы с @listl и @aigizk провели в Уфе первый митап 🇷🇺 Bash Agentic Engineering.
Вадим — Team Lead, основатель Ufa .NET. Айгиз — MLOps и автор башкирской умной колонки Homai.

Идея проросла весьма органично: в нашем коворкинге давно собирается сильная ИТ-тусовка, а с приходом AI мы все чаще обсуждали кодинг-агентов, LLM и мультиагентную разработку. В какой-то момент стало понятно — пора выносить это в открытый формат.

На митапе дали минимум теории, а потом сразу ушли в практику. Разбирали реальные кейсы обработки жалоб ЖКХ: сначала ручной режим, потом - работа через чат с LLM и затем агентный сценарий с Playwright CLI. Параллельно показали benchmark-driven подход, harness вокруг LLM и автономных агентов для проверки качества ответов.

Самое классное — после митапа люди не разошлись: остались обсуждать, спорить и делиться своими кейсами. Пришли разработчики, аналитики, тестировщики, исследователи, предприниматели и инвесторы.

Будем делать еще. Уфе точно нужно больше AI-движухи, больше практики и больше людей, которые не просто читают про агентов, а реально пробуют это руками.

И да: несмотря на просьбу заранее настроить Codex, все равно пришлось делиться подпиской на z.ai 🙂

#AI #AgenticEngineering #LLM #Ufa #BashAgenticEngineering
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤6🔥4