Как измерять AI-Adoption и связать с бизнес-целями (2/5)
В прошлом посте я рассказывал, что надо задумываться - зачем внедрять AI (повторю что у нас только гипотеза что с AI станет лучше). Сегодня - как мы пытаемся измерять эффект.
Главный вопрос: как понять, что внедрение реально работает?
🌲Ответ: строим трёхуровневое дерево метрик (дерево тут с натяжкой, а еще напрашивается разложить это по карте гипотез).
⚙️ Результата финального еще нет. Что мы делаем чтоб влиять на метрики - будет в следующем посте (там про ADKAR).
Уровень 1: AI-Adoption (внедрение)
Мы трекаем:
- MAU (количество активных пользователей в месяц) / DAU (в день) / Stickiness (=DAU/MAU, не просто количество активных пользователей, а еще и насколько они часто пользуются)
- Retention (удержание пользователей) / Churn (отток пользователей)
- Количество запросов на пользователя
- % задач с #ai (пока ручная пометка в тикетах в jira)
Уровень 2: Изменение процессов (промежуточный слой)
Это ключ! Adoption/Внедрение выражается в том, что процессы меняются:
- 📉 Cycle Time (от In Progress → Closed)
Сравниваем задачи с меткой #ai vs без ai
Гипотеза: AI ускоряет доставку → Cycle Time↓ → T2M↓.
- 🐛 Defect Rate (баги на задачу)
Проверяем: AI не роняет качество.
Если Defect Rate ≤ baseline → ОК → масштабируем.
- 📦 Количество задач на команду
Команды с высоким adoption (например, >60% задач с меткой #ai) vs низким (<20%).
Гипотеза: больше adoption → больше задач → Объём↑.
Уровень 3: Бизнес-результаты
• Cycle Time от In Progress до Closed ↓ → T2M↓
• Defect Rate (кол-во дефектов) ≤ baseline → Качество OK
• Кол-во Задач↑ → Объём↑
🎮Все эти стрелки вверх-вниз-влево-вправо выглядят как комбо в файтинге
Пример может выглядеть так:
1. В прошлом месяце 50pp Cycle Time для задач с #ai = 3 дня vs 5 дней без AI.
2. Команды с adoption >60% закрыли 110 задач vs 78 задач у команд с <20%.
🔥 Мой эксперимент за 3 месяц: я еще не понял стало ли лучше. Изменения требуют куче образовательных мероприятий, гайдов, постоянной работы с аудиторией подразделения.
А еще надо сильно смотреть на ROI - железки-то дорогие (а в нашей геополитической ситуации еще дороже).
🙏 Я призываю вас комментировать и помочь мне пересмотреть дерево, если хотите поумничать - хочется взгляда со стороны и вашего опыта!
❓ Вопрос к вам: как вы трекаете или пытаетесь трекать эффект от AI?
#AIметрики #T2M #Adoption
В прошлом посте я рассказывал, что надо задумываться - зачем внедрять AI (повторю что у нас только гипотеза что с AI станет лучше). Сегодня - как мы пытаемся измерять эффект.
Главный вопрос: как понять, что внедрение реально работает?
🌲Ответ: строим трёхуровневое дерево метрик (дерево тут с натяжкой, а еще напрашивается разложить это по карте гипотез).
⚙️ Результата финального еще нет. Что мы делаем чтоб влиять на метрики - будет в следующем посте (там про ADKAR).
Уровень 1: AI-Adoption (внедрение)
Мы трекаем:
- MAU (количество активных пользователей в месяц) / DAU (в день) / Stickiness (=DAU/MAU, не просто количество активных пользователей, а еще и насколько они часто пользуются)
- Retention (удержание пользователей) / Churn (отток пользователей)
- Количество запросов на пользователя
- % задач с #ai (пока ручная пометка в тикетах в jira)
Уровень 2: Изменение процессов (промежуточный слой)
Это ключ! Adoption/Внедрение выражается в том, что процессы меняются:
- 📉 Cycle Time (от In Progress → Closed)
Сравниваем задачи с меткой #ai vs без ai
Гипотеза: AI ускоряет доставку → Cycle Time↓ → T2M↓.
- 🐛 Defect Rate (баги на задачу)
Проверяем: AI не роняет качество.
Если Defect Rate ≤ baseline → ОК → масштабируем.
- 📦 Количество задач на команду
Команды с высоким adoption (например, >60% задач с меткой #ai) vs низким (<20%).
Гипотеза: больше adoption → больше задач → Объём↑.
Уровень 3: Бизнес-результаты
• Cycle Time от In Progress до Closed ↓ → T2M↓
• Defect Rate (кол-во дефектов) ≤ baseline → Качество OK
• Кол-во Задач↑ → Объём↑
🎮
Пример может выглядеть так:
1. В прошлом месяце 50pp Cycle Time для задач с #ai = 3 дня vs 5 дней без AI.
2. Команды с adoption >60% закрыли 110 задач vs 78 задач у команд с <20%.
А еще надо сильно смотреть на ROI - железки-то дорогие (а в нашей геополитической ситуации еще дороже).
🙏 Я призываю вас комментировать и помочь мне пересмотреть дерево, если хотите поумничать - хочется взгляда со стороны и вашего опыта!
❓ Вопрос к вам: как вы трекаете или пытаетесь трекать эффект от AI?
#AIметрики #T2M #Adoption
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥3❤1😎1
В конце мая мы с @listl и @aigizk провели в Уфе первый митап 🇷🇺 Bash Agentic Engineering.
Вадим — Team Lead, основатель Ufa .NET. Айгиз — MLOps и автор башкирской умной колонки Homai.
Идея проросла весьма органично: в нашем коворкинге давно собирается сильная ИТ-тусовка, а с приходом AI мы все чаще обсуждали кодинг-агентов, LLM и мультиагентную разработку. В какой-то момент стало понятно — пора выносить это в открытый формат.
На митапе дали минимум теории, а потом сразу ушли в практику. Разбирали реальные кейсы обработки жалоб ЖКХ: сначала ручной режим, потом - работа через чат с LLM и затем агентный сценарий с Playwright CLI. Параллельно показали benchmark-driven подход, harness вокруг LLM и автономных агентов для проверки качества ответов.
Самое классное — после митапа люди не разошлись: остались обсуждать, спорить и делиться своими кейсами. Пришли разработчики, аналитики, тестировщики, исследователи, предприниматели и инвесторы.
Будем делать еще. Уфе точно нужно больше AI-движухи, больше практики и больше людей, которые не просто читают про агентов, а реально пробуют это руками.
И да: несмотря на просьбу заранее настроить Codex, все равно пришлось делиться подпиской на z.ai 🙂
#AI #AgenticEngineering #LLM #Ufa #BashAgenticEngineering
Вадим — Team Lead, основатель Ufa .NET. Айгиз — MLOps и автор башкирской умной колонки Homai.
Идея проросла весьма органично: в нашем коворкинге давно собирается сильная ИТ-тусовка, а с приходом AI мы все чаще обсуждали кодинг-агентов, LLM и мультиагентную разработку. В какой-то момент стало понятно — пора выносить это в открытый формат.
На митапе дали минимум теории, а потом сразу ушли в практику. Разбирали реальные кейсы обработки жалоб ЖКХ: сначала ручной режим, потом - работа через чат с LLM и затем агентный сценарий с Playwright CLI. Параллельно показали benchmark-driven подход, harness вокруг LLM и автономных агентов для проверки качества ответов.
Самое классное — после митапа люди не разошлись: остались обсуждать, спорить и делиться своими кейсами. Пришли разработчики, аналитики, тестировщики, исследователи, предприниматели и инвесторы.
Будем делать еще. Уфе точно нужно больше AI-движухи, больше практики и больше людей, которые не просто читают про агентов, а реально пробуют это руками.
И да: несмотря на просьбу заранее настроить Codex, все равно пришлось делиться подпиской на z.ai 🙂
#AI #AgenticEngineering #LLM #Ufa #BashAgenticEngineering
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤6🔥4