Кейс Go Mobile х Utair: как охватить на 180% больше аудитории

В рамках осеннего флайта медийной рекламной кампании в 2024 году мы тестировали новый подход в стратегии и смогли значительно перевыполнить план:
🟠 привели на 31% больше post-view конверсий,
🟠 охватили на 180% больше аудитории,
🟠 превысили плановые значения по post-click конверсиям на 52%.

Главное о совместной работе с Utair — в карточках, а подробностями кейса поделились с Sostav 📌

Как правильно проводить и оценивать A/B-тесты в ASO. Часть 3: Форматы A/B-тестов и анализ результатов
#экспертMobile360

A/B-тестирования бывают нескольких форматов. Сейчас рассмотрим, для чего нужен каждый из них.

🟠 A/B-тесты (фото №1) — сравниваются две витрины. Одна из витрин — основная, вторая — новая гипотеза. Проверяем, какая из витрин приносит лучшие показатели.

🟠 AA/BB-тесты (фото №2) — подходят для проверки стабильности данных, чтобы убедиться в отсутствии системных ошибок и понять какое количество данных необходимо, чтобы получать статистически значимые результаты. Тестируем две разные витрины с идентичными им витринами, но на разные аудитории. Так сможем оценить, одинаковые ли показатели они приносят. Если результаты AA или BB тестов отличаются, это может указывать на проблемы, например, некачественную аудиторию.

🟠 Если у вас много качественных гипотез можно прибегнуть к A/B/n-тесту, где n — множество вариантов (фото №3). Из плюсов — экономит время, гибкий подход — можем тестить элементы в разных сочетаниях. Из минусов — нужно больше трафика. Например, если у вас в среднем 10 000 установок в неделю, для A/B/n-теста потребуется минимум 40 000 установок, чтобы получить статистически значимые результаты.

❗️ Как долго тестировать?
Тестируем, пока не станем уверены в том, что результат статистически значимый: не ложноположительный или ложноотрицательный. Показатель того, что тест можно останавливать — стабильная динамика внутри теста.

Завершая тест, приходим к выбору — оставляем старую витрину или ставим новую. Полученные данные служат базой для формулирования новых гипотез и будущих тестов.

После теста нужно актуализировать список гипотез и сделать вывод по поведению пользователей. Например, мы добавили промокод на первый скриншот, но аудитории он не интересен — делаем вывод о том, что пользы в этом нет. Далее смотрим на список, если необходимо — дополняем новыми гипотезами и меняем приоритизацию. Все сформулированные выводы фиксируем, чтобы не повторяться в будущих тестах.

Регулярное и правильное тестирование гипотез позволит лучше понять, что привлекает пользователя.

Следующая часть будет заключительной в этой серии постов — рассмотрим распространенные ошибки, которые могут помешать тестированию, и нюансы тестирования в альтернативных сторах.

Женя Кузнецов, ASO Director Go Mobile

⚡️ «Этот рейтинг — наша попытка увидеть бизнес-реальность: кто и как масштабируется, кто теряет позиции, как перераспределяются бюджеты и как меняется структура агентского ландшафта», — поделилась с Sostav Лена Никитина, CEO Go Mobile.

В ежегодном исследовании рынка мобильных агентств мы взяли комментарии от ключевых игроков — брендов, площадок, агентств. Читайте мнение экспертов о развитии сегмента в карточках ⬆️

📌 Другие комментарии и подробный обзор рынка читайте в отчете