Компании внедряют ГенИИ в разработку, но часто не могут измерить реальный эффект. «Вроде быстрее работает», «команде удобнее» — это субъективные ощущения, а не аргументы для инвестиций и масштабирования.

Мы разработали 3 подхода к измерению эффективности ГенИИ в командах разработки:

➊ Качественный — сравнение времени выполнения типовых задач «до» и «после». Подходит для старта, но имеет низкую точность.

➋ Количественный — строгий замер сэкономленных часов в денежном эквиваленте. Консервативный метод, который задаёт «нижнюю планку» эффекта.

➌ Генеративный — прямое измерение вклада ИИ в код. Фиксируется весь код, созданный моделью, и сравнивается с тем, что попало в репозиторий. Рассчитываются две метрики: проницаемость (доля ИИ-кода в проекте) и полезность (процент использованного кода без существенных изменений).

Результаты пилотов AXENIX для крупных российских заказчиков показывают 15-31% прироста производительности, что сопоставимо с оценками международного консалтинга (PwC — 15-20%, Gartner — до 40%, McKinsey — 20-30%).

Мы уверены, через год-полтора ИИ станет стандартным инструментом, и метрики должны будут перейти от «ускорения» к оценке качества результата и его бизнес-ценности.

Подробнее читайте в статье Григория Бездольного, менеджера направления ГенИИ AXENIX, на портале It.World >

#AXai