Как правильно проводить и оценивать A/B-тесты в ASO. Часть 3: Форматы A/B-тестов и анализ результатов
#экспертMobile360
A/B-тестирования бывают нескольких форматов. Сейчас рассмотрим, для чего нужен каждый из них.
🟠 A/B-тесты (фото №1) — сравниваются две витрины. Одна из витрин — основная, вторая — новая гипотеза. Проверяем, какая из витрин приносит лучшие показатели.
🟠 AA/BB-тесты (фото №2) — подходят для проверки стабильности данных, чтобы убедиться в отсутствии системных ошибок и понять какое количество данных необходимо, чтобы получать статистически значимые результаты. Тестируем две разные витрины с идентичными им витринами, но на разные аудитории. Так сможем оценить, одинаковые ли показатели они приносят. Если результаты AA или BB тестов отличаются, это может указывать на проблемы, например, некачественную аудиторию.
🟠 Если у вас много качественных гипотез можно прибегнуть к A/B/n-тесту, где n — множество вариантов (фото №3). Из плюсов — экономит время, гибкий подход — можем тестить элементы в разных сочетаниях. Из минусов — нужно больше трафика. Например, если у вас в среднем 10 000 установок в неделю, для A/B/n-теста потребуется минимум 40 000 установок, чтобы получить статистически значимые результаты.
❗️ Как долго тестировать?
Тестируем, пока не станем уверены в том, что результат статистически значимый: не ложноположительный или ложноотрицательный. Показатель того, что тест можно останавливать — стабильная динамика внутри теста.
Завершая тест, приходим к выбору — оставляем старую витрину или ставим новую. Полученные данные служат базой для формулирования новых гипотез и будущих тестов.
После теста нужно актуализировать список гипотез и сделать вывод по поведению пользователей. Например, мы добавили промокод на первый скриншот, но аудитории он не интересен — делаем вывод о том, что пользы в этом нет. Далее смотрим на список, если необходимо — дополняем новыми гипотезами и меняем приоритизацию. Все сформулированные выводы фиксируем, чтобы не повторяться в будущих тестах.
Регулярное и правильное тестирование гипотез позволит лучше понять, что привлекает пользователя.
Следующая часть будет заключительной в этой серии постов — рассмотрим распространенные ошибки, которые могут помешать тестированию, и нюансы тестирования в альтернативных сторах.
Женя Кузнецов, ASO Director Go Mobile
#экспертMobile360
A/B-тестирования бывают нескольких форматов. Сейчас рассмотрим, для чего нужен каждый из них.
Тестируем, пока не станем уверены в том, что результат статистически значимый: не ложноположительный или ложноотрицательный. Показатель того, что тест можно останавливать — стабильная динамика внутри теста.
Завершая тест, приходим к выбору — оставляем старую витрину или ставим новую. Полученные данные служат базой для формулирования новых гипотез и будущих тестов.
После теста нужно актуализировать список гипотез и сделать вывод по поведению пользователей. Например, мы добавили промокод на первый скриншот, но аудитории он не интересен — делаем вывод о том, что пользы в этом нет. Далее смотрим на список, если необходимо — дополняем новыми гипотезами и меняем приоритизацию. Все сформулированные выводы фиксируем, чтобы не повторяться в будущих тестах.
Регулярное и правильное тестирование гипотез позволит лучше понять, что привлекает пользователя.
Следующая часть будет заключительной в этой серии постов — рассмотрим распространенные ошибки, которые могут помешать тестированию, и нюансы тестирования в альтернативных сторах.
Женя Кузнецов, ASO Director Go Mobile
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Мы провели исследование рынка и составили рейтинг мобильных агентств с самой высокой выручкой за прошлый год.
По итогам 2024 года выручка лидеров в мобайле выросла на 21%. Несмотря на дефицит рекламного инвентаря, рынок уверенно растет. Доля трех крупнейших агентств увеличилась с 42% до 49% — бюджеты сосредотачиваются у ключевых игроков.
Please open Telegram to view this post
VIEW IN TELEGRAM
В ежегодном исследовании рынка мобильных агентств мы взяли комментарии от ключевых игроков — брендов, площадок, агентств. Читайте мнение экспертов о развитии сегмента в карточках
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Как правильно проводить и оценивать A/B-тесты в ASO. Часть 4: Потенциальные ошибки и тесты в альтернативных сторах
#экспертMobile360
💔 Потенциальные ошибки
Какие действия могут помешать успешному тестированию — рассказываю про распространенные ошибки:
🟠 Построить гипотезу не точно
Неопределенные или слишком общие гипотезы могут привести к результатам из которых мы не сможем сделать цельных выводов. Например, вместо «Улучшить пользовательский интерфейс» следует сформулировать гипотезу более конкретно: «Изменение цвета иконки на зеленый увеличит процент установок на 10%».
🟠 Не проверить гипотезу
Перед тестированием убедитесь, что визуальные материалы соответствуют и полностью проверяют гипотезу.
🟠 Сформулировать гипотезу только на интуиции
Важно опираться на данные предыдущих тестов, опыт конкурентов или другую аналитику — это повысит вероятность успешного результата.
🟠 Отобразить на витрине все фичи
Лучше протестить УТП отдельно и понять, что лучше откликается у людей и в отражении чего есть необходимость.
Понимание потенциальных ошибок, которые связаны с формулированием гипотезы в A/B-тестах и составлением креатива — ключевой шаг для успешного тестирования и применения полученных результатов в ASO.
🚀 Тесты в альтернативных сторах
В альтернативных сторах, например, региональном RuStore и вендорном AppGallery — нет возможности проводить A/B-тесты. Такие сторы практически не делятся подробными данными о трафике, что мешает анализу и оптимизации приложения.
Если ваше приложение есть в Google Play и альтернативных сторах — перенесите результаты из Google Play, если приложение осталось только в альтернативном сторе — можно воспользоваться следующими сервисами: Storemaven, Geeklab, SplitMetrics или другими аналогами.
Например, SplitMetrics проводит тесты на собственных лендингах, которые в точности повторяют витрину в приложении.
В результате вы получите данные по метрикам, которые нельзя получить нативно из админки стора:
🟠 CTR кнопки Install для каждой витрины;
🟠 сколько и как взаимодействовали со скриншотами (скроллинг, просмотр);
🟠 открытие описания;
🟠 конверсию после просмотра видео;
🟠 сколько времени пользователь провел на странице;
🟠 взаимосвязь между взаимодействием и установками.
Кроме A/B-тестирования на этих платформах возможно более глубоко проанализировать поведение пользователей, экспериментировать с рекламными кампаниями и автоматизировать их. Сервисы предлагают и другие инструменты: исследование стратегий конкурентов, онлайн-мониторинг поведения пользователей и работу с отзывами — все это поможет улучшить видимость приложения и масштабировать результаты.
К процессу A/B-тестирования нужно подходить комплексно и учитывать многие нюансы. Отдельного обсуждения заслуживают такие темы, как выборка пользователей, проверка статистической значимости и то, как различается поведение пользователей из разных гео и источников трафика.
На этом я завершаю серию постов на тему A/B-тестов в ASO. Если у вас остались вопросы по теме, пишите их в комментариях, и я с радостью лично на них отвечу.
📌 В качестве бонуса прикрепляю файлом чек-лист по A/B-тестированию в ASO.
Женя Кузнецов, ASO Director Go Mobile
#экспертMobile360
Какие действия могут помешать успешному тестированию — рассказываю про распространенные ошибки:
Неопределенные или слишком общие гипотезы могут привести к результатам из которых мы не сможем сделать цельных выводов. Например, вместо «Улучшить пользовательский интерфейс» следует сформулировать гипотезу более конкретно: «Изменение цвета иконки на зеленый увеличит процент установок на 10%».
Перед тестированием убедитесь, что визуальные материалы соответствуют и полностью проверяют гипотезу.
Важно опираться на данные предыдущих тестов, опыт конкурентов или другую аналитику — это повысит вероятность успешного результата.
Лучше протестить УТП отдельно и понять, что лучше откликается у людей и в отражении чего есть необходимость.
Понимание потенциальных ошибок, которые связаны с формулированием гипотезы в A/B-тестах и составлением креатива — ключевой шаг для успешного тестирования и применения полученных результатов в ASO.
В альтернативных сторах, например, региональном RuStore и вендорном AppGallery — нет возможности проводить A/B-тесты. Такие сторы практически не делятся подробными данными о трафике, что мешает анализу и оптимизации приложения.
Если ваше приложение есть в Google Play и альтернативных сторах — перенесите результаты из Google Play, если приложение осталось только в альтернативном сторе — можно воспользоваться следующими сервисами: Storemaven, Geeklab, SplitMetrics или другими аналогами.
Например, SplitMetrics проводит тесты на собственных лендингах, которые в точности повторяют витрину в приложении.
В результате вы получите данные по метрикам, которые нельзя получить нативно из админки стора:
Кроме A/B-тестирования на этих платформах возможно более глубоко проанализировать поведение пользователей, экспериментировать с рекламными кампаниями и автоматизировать их. Сервисы предлагают и другие инструменты: исследование стратегий конкурентов, онлайн-мониторинг поведения пользователей и работу с отзывами — все это поможет улучшить видимость приложения и масштабировать результаты.
К процессу A/B-тестирования нужно подходить комплексно и учитывать многие нюансы. Отдельного обсуждения заслуживают такие темы, как выборка пользователей, проверка статистической значимости и то, как различается поведение пользователей из разных гео и источников трафика.
На этом я завершаю серию постов на тему A/B-тестов в ASO. Если у вас остались вопросы по теме, пишите их в комментариях, и я с радостью лично на них отвечу.
Женя Кузнецов, ASO Director Go Mobile
Please open Telegram to view this post
VIEW IN TELEGRAM
В недавнем исследовании мы составили рейтинг мобильных агентств с самой высокой выручкой за 2024 год и сделали обзор рынка.
Делимся ключевыми цифрами и выводами в карточках.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Топ-3 фундаментальных проблемы при создании коммуникационной стратегии
#экспертMobile360
В мобильной перформанс-рекламе коммуникационная стратегия — это как фон на презентации: вроде есть, но его никто не замечает, пока все не начнет разваливаться. Вот три фундаментальных провала, на которых горят бюджеты, креативы и вера в ROI.
1. Говорим сами с собой (и удивляемся, почему никто не кликает)
Типичная ошибка: делаем креативы, в которых бренд разговаривает с KPI. Пишем «Успей купить со скидкой», «Промо до конца недели», «Вы этого ждали» — и в этот момент пользователь думает: «Вообще-то нет».
Мобильный креатив должен цеплять за ситуацию, а не за желание рекламщика отчитаться. Проблема в том, что большинство стратегий пишутся изнутри — а не снаружи. Не от инсайта пользователя, а от ожиданий медиаплана.
2. «Давайте всё и сразу»: микс из баннеров, call-to-action и святых надежд
Вторая проблема — отсутствие смысловой пирамиды. Стратегии строят на ходу, под давлением CPI и жадного алгоритма. Баннеры крутятся, ставки растут, а кто в итоге герой коммуникации — непонятно.
Креативная стратегия без архитектуры — это как бургер без булки: ингредиенты есть, но в руках каша. Кто наш пользователь? На каком этапе воронки он видит этот креатив? Что он должен почувствовать? Почему клик?
3. Тестируем не гипотезы, а терпение
Модная ошибка последних лет — фетишизация А/Б-тестов. Мол, чем больше тестов, тем ближе к истине. Но истина в другом: если ты не знаешь, что проверяешь — ты просто платишь за клики, которые ничего не решают.
У большинства перформанс-команд нет сценарного плана. Они не знают, в каком порядке показываются креативы, как они взаимосвязаны, и почему в третий баннер внезапно попал мем с котиком и надписью «еще 5% скидки».
❗️ Итог: коммуникационная стратегия — не PowerPoint, а экосистема решений
В мобильной перформанс-рекламе стратегия — это не один мудборд и три текста в Asana. Это понимание: как пользователь думает, как он скроллит, почему он устал от call-to-action, и где на самом деле находится точка реакции.
Если стратегии нет — вы просто засовываете баннер в пекло аукциона, надеясь, что TikTok сделает за вас всю работу.
Артем Харин, Content Director Go Mobile
#экспертMobile360
В мобильной перформанс-рекламе коммуникационная стратегия — это как фон на презентации: вроде есть, но его никто не замечает, пока все не начнет разваливаться. Вот три фундаментальных провала, на которых горят бюджеты, креативы и вера в ROI.
1. Говорим сами с собой (и удивляемся, почему никто не кликает)
Типичная ошибка: делаем креативы, в которых бренд разговаривает с KPI. Пишем «Успей купить со скидкой», «Промо до конца недели», «Вы этого ждали» — и в этот момент пользователь думает: «Вообще-то нет».
Мобильный креатив должен цеплять за ситуацию, а не за желание рекламщика отчитаться. Проблема в том, что большинство стратегий пишутся изнутри — а не снаружи. Не от инсайта пользователя, а от ожиданий медиаплана.
Это как если бы Netflix предлагал смотреть свои шоу, используя заголовки «Быстрый видеоконтент на вечер для роста вовлеченности».
2. «Давайте всё и сразу»: микс из баннеров, call-to-action и святых надежд
Вторая проблема — отсутствие смысловой пирамиды. Стратегии строят на ходу, под давлением CPI и жадного алгоритма. Баннеры крутятся, ставки растут, а кто в итоге герой коммуникации — непонятно.
Креативная стратегия без архитектуры — это как бургер без булки: ингредиенты есть, но в руках каша. Кто наш пользователь? На каком этапе воронки он видит этот креатив? Что он должен почувствовать? Почему клик?
В отчетах TikTok Creative Center (2024) указано: креатив с четким посылом в первые 3 секунды имеет +47% к конверсии. А у нас в эти 3 секунды логотип ездит на лошади и орет: «Подарок!»
3. Тестируем не гипотезы, а терпение
Модная ошибка последних лет — фетишизация А/Б-тестов. Мол, чем больше тестов, тем ближе к истине. Но истина в другом: если ты не знаешь, что проверяешь — ты просто платишь за клики, которые ничего не решают.
У большинства перформанс-команд нет сценарного плана. Они не знают, в каком порядке показываются креативы, как они взаимосвязаны, и почему в третий баннер внезапно попал мем с котиком и надписью «еще 5% скидки».
В руководстве по A/B-тестированию на 2025 год от Unbounce уделяется внимание планированию, запуску, анализу результатов и распространённых ошибок. Отдельно отмечается стратегический подход к тестированию и его роли в повышении ROI маркетинговых кампаний.
В мобильной перформанс-рекламе стратегия — это не один мудборд и три текста в Asana. Это понимание: как пользователь думает, как он скроллит, почему он устал от call-to-action, и где на самом деле находится точка реакции.
Если стратегии нет — вы просто засовываете баннер в пекло аукциона, надеясь, что TikTok сделает за вас всю работу.
Артем Харин, Content Director Go Mobile
Please open Telegram to view this post
VIEW IN TELEGRAM
Go Mobile — победители в Рейтинге Рунета
В опубликованном сегодня Рейтинге Рунета Go Mobile стали вторыми в «Мобильном маркетинге». А также оказались на лидирующих позициях в отдельных категориях:
🏆 1 место — «Мобильная стратегия»
🏆 1 место — «Реклама в мобильной среде»
🏆 2 место — «ASO»
🏆 2 место — «Мобильный маркетинг: Москва»
Спасибо за высокую оценку нашей работы! Дальше — еще больше🚀
В опубликованном сегодня Рейтинге Рунета Go Mobile стали вторыми в «Мобильном маркетинге». А также оказались на лидирующих позициях в отдельных категориях:
Спасибо за высокую оценку нашей работы! Дальше — еще больше
Please open Telegram to view this post
VIEW IN TELEGRAM