Собеседование с продактом... какое оно? Скажу так: разное.

***

Ни одно собеседование с продактом или СРО не прошло «по шаблону». Зато всегда было интересно, и ничуть не страшно. Однажды мы 2 часа обсуждали мое видение продуктовой команды, способы проверки гипотез и приоритизации бэклога, даже мои хобби и ценности успели затронуть. В другой раз — решали кейсы.

Как я готовилась к «непредсказуемости»? На самом деле, нужно сделать всего две вещи:
1. Разложить по полочкам все свои знания и опыт;
2. Изучить продукт компании.

С первым пунктом все понятно. Что касается второго, кейсы и обсуждения зачастую касались продукта компании. Чтобы чувствовать себя уверенно, я заранее с ним знакомилась. Да и в целом, было бы странно приходить в компанию, в которую хочешь устроиться, ничего о них не зная 😅

***

Чтобы сложилось примерное понимание того, что могут спросить на собеседовании, покажу несколько интересных кейсов:

☝️ Ты открываешь ларек с хот-догами на таганской, какую цену за хот-дог поставишь?
✌️ Допустим, у компании есть 4 сегмента: аренда, продажа, коттеджи и ипотека. Выручка компании в 2018 году — k млрд. Доля рынка, которую захватила компания, выросла в 2019 году, что можно сказать о выручке?
🤟 Представь, что ты директор по продукту в Яндекс.такси. Какие метрики ты бы выбрала для ежедневного дашборда?
🤘🤘 Есть мобильное приложение для заказа маникюра и педикюра. С сентября по декабрь маржа упала с 20% до 17%. Почему?

***

Если есть желание, кидайте свои варианты ответов @annapodobrazhnykh. Задам уточняющие вопросы, поделюсь своими мыслями... в общем, сделаю то, через что сама прошла на собесах.

P.S. Если вы решили основательно подготовиться, @klimenkoyuri (человек, который учил меня рассказывать истории) вместе с Сашей Кожевниковым каждую субботу проводят тестовые собеседования и дают обратную связь: https://t.me/razvorotkm/38

Последний пост

***

Сегодня расскажу и покажу, как я делала тестовые задания. Сначала они мне нравились. Во-первых, погрузиться на несколько часов (или даже дней) в другой продукт — это интересно. Во-вторых, тестовые — это не про стресс и волнение, в отличие от собеседований. Можно устроиться поудобнее, изучить новый продукт и показать свои способности. Я всегда относилась к тестовым достаточно серьезно: хотела доказать (себе в первую очередь), что я классная, что, даже если чего-то не знаю, смогу это изучить и применить.

Со временем мое отношение к тестовым немного изменилось. Я все еще убеждена, что переключиться ненадолго на другой продукт — это круто. Но, выполняя параллельно тестовые для нескольких компаний, становится сложно качественно делать каждое из них. По этой причине я стала тщательнее фильтровать компании, иногда просила выполнить тестовое после встречи с потенциальным руководителем.

Хочу показать 3 моих первых тестовых:
ЦИАН
Учи.ру
Нетология

Если вы начинающий продакт и только планируете трудоустроиться, можете использовать их как кейсы и попробовать решить самостоятельно, потом посмотреть на мои решения.

Если вы уже опытный продакт и найдете время дать мне обратную связь — я буду рада 🙂

***

Это мой последний пост про поиск работы. Уже 1,5 месяца я развиваю один из продуктов в Mobile Dimension. Сейчас в моей жизни много пользователей, цифр, аналитики, ASO и еще много всего интересного, о чем я начну писать со следующей недели. Будет интересно ✌️

— Мы добавили в приложение португальский язык, нужно поработать с ASO в Бразилии и Португалии.
— Ну, окей, — подумала я и пошла изучать гугл.

***

Коротко: ASO — это оптимизация приложения в сторе (чтобы оно было повыше в рейтинге, чтобы его лучше скачивали). Подробнее можно почитать в блоге Appfollow. Говоря «ASO» я имею ввиду в том числе и оптимизацию в Google Play (просто так короче). Из многочисленных статей я сделала для себя 2 основных вывода:
1. Чтобы занять место повыше в сторе, нужно перенести основные ключевые слова в заголовок (на рейтинг приложения влияет много разных параметров… но ничто не перебьёт ключевые слова в заголовке);
2. Нужна яркая иконка и скрины, чтобы людям хотелось нажать на мое приложение.

Сначала я занялась оптимизацией в Google Play, так как можно быстро менять описание приложения в админке (в App Store, нужно ждать релиза). Собрала всевозможные ключевые слова, подучив параллельно португальский, проверила их популярность в Appfollow и Asodesk, оставила 10 самых-самых и добавила их в заголовок, краткое и полное описание.

Угадайте, где я нашла самые популярные ключевики? Конечно, в заголовках конкурентов :)

На старте количество установок в день в Бразилии и Португалии болталось в районе 0-10. Спустя несколько дней Бразилия начала стремительно расти. А вот Португалия отставала. Я была уверена: нужно ещё подождать, и пошла готовить ключевые слова для App Store.

Прошла неделя: Бразилия продолжала расти в бешеном темпе, Португалия — увы. «Ладно, — подумала я — выкатим релиз на iOS с ключевиками, и все будет хорошо».

Релиз выкатили. Ситуация не менялась: Бразилия растёт, Португалия — нет. На iOS не росло ничего. «Что ещё можно сделать?.. Точно! Иконки и скрины». В Google Play Console провела А/В тест на России (там больше всего установок). Я слабо верила, что это может что-то изменить, но, к моему удивлению, результаты оказались стат. значимы. «Работает!» — обрадовалась я и побежала обновлять иконку и скрины на португальском языке.

Прошла очередная неделя. Бразилия на андроиде начала расти ещё стремительнее, всё остальное осталось на своих местах.

***

Я была бы рада поделиться счастливой развязкой, но... Впрочем, судите сами.

За 2 месяца:
⁃ Бразилия на андроиде обогнала Россию и вышла на первое место по количеству установок в день (>1000);
⁃ Бразилия на айос начала медленно раскачиваться только на прошлой неделе (спустя 1,5 месяца!);
⁃ Португалия чуть подтянулась на андроиде, но цифры все ещё смешные;
⁃ Португалия на айос — 🤦‍♀️

Эксперименты продолжаются. Если здесь есть мастера ASO, поделитесь секретом: @annapodobrazhnykh

Проснуться. Позавтракать. Почистить зубы. Прийти на работу. Проверить отзывы и оценки в Appfollow. Проверить новых пользователей в Appmetrica. Что там с Retention после релиза онбординга?

День сурка.

Сколько можно тратить кучу времени в начале каждого рабочего дня на просмотр метрик в разных местах? Делюсь маленьким достижением: я сделала дашборд!

***

Первая версия дашборда была готова еще месяц назад. Я определила нужные метрики, разбила их на 2 группы: метрики роста и метрики продукта, нарисовала дашборд на бумажке. Дело оставалось за малым: перенести в PowerBI... Это оказалось не самой простой задачей. Больше всего меня позабавили две вещи:

1. Запрос к апи Appmetrica сначала возвращает строку «Your query is added to the queue», затем — «Wait for result. Progress is 0%», а после нескольких минут ожидания — скачивает файл. Я очень долго ломала голову, что с этим делать. Помог терпеливый коллега: сначала запрос в PBI возвращает ошибку, так как видит лишние символы в json, но при обновлении через несколько минут все-таки возвращает то, что нужно
2. And и Or в Power BI — это ФУНКЦИИ, которые принимают только 2 аргумента. То есть, чтобы написать выражение:
a && b && (c || d || e)
придется делать так:
AND(a; AND(b; OR( c; OR(d; e))))

Спустя некоторое время я привыкла к особенностям PowerBi (он мне даже немного понравился) и смогла закончить первую версию дашборда. Уверена, что переделаю его еще не раз, но лучшее — враг хорошого, нужно с чего-то начинать.

P.S. кто делал дашборды, поделитесь инсайтами: с чем были проблемы? Хочу учиться не только на своих ошибках 🙂

Жить на органике приятно, но рискованно: что-то пошло не так и трафика уже нет. Мы решили провести эксперимент по платному привлечению пользователей.

***

Ещё до начала эксперимента я понимала, что СРА получится больше LTV. Что делать? Я вижу 3 варианта:
1. Снижать СРА
2. Увеличивать LTV
3. Увеличивать Retention

Первый вариант отпадает сразу: цель эксперимента — понять, на какой СРА рассчитывать и какие каналы можно масштабировать. О снижении СРА пока говорить рано.

Второй вариант возможен. Основная модель монетизации приложения — рекламная, поэтому, чем больше времени пользователи проводят в приложении, тем больше мы зарабатываем. Можно растить количество сессий и среднюю длительность сессии.

Третий вариант тоже возможен. Сейчас Retention выходит на плато в районе 20% (значения разные в зависимости от платформы, страны и т.д., но сейчас не об этом). Потенциал для роста есть.

С чего начать?
Недавно я наткнулась на статью в одном продуктовом канале про улучшение Retention. Меня зацепили 2 инсайта из этой статьи:
- Удержание текущего пользователя в 5 раз дешевле привлечения нового;
- Увеличение Retention на 1% может дать рост прибыли на 5-10%.
Конечно, все зависит от специфики конкретного приложения, но! Мы тратим кучи сил, времени и денег на привлечение пользователей, а потом 80% из них отпускаем, хотя каждый приносит нам деньги. Я решила взяться за эту метрику.

Нужно было ответить на вопрос: что в приложении делают постоянные пользователи, и чем они отличаются от тех, что уходят? Платной амплитуды у нас пока нет, поэтому пришлось «танцевать с бубном», чтобы это выяснить:
1. Я сравнила метрики обычных пользователей и тех, кто заплатил за отключение рекламы (Retention и другие метрики у вторых были выше, поэтому такие пользователи ценные).
2. Выдела список событий, которые активно совершают ценные пользователи.
3. Простым перебором объединила события из списка в разные группы, чтобы найти наибольшую корреляцию с Retention (вспомнить бы курс эконометрики на R, но сделала в экселе).
4. Получила 3 события, максимально коррелирующие с Retention: осталось доказать причинно-следственную связь. Для этого провела эксперимент: в первый, второй и третий день после установки отправляла новым пользователям пуш с call to action на нужное событие. Когда набралось достаточно данных, сравнила метрики по когортам.

Результаты спорные: Retention изменился значимо, но совсем на чуть-чуть. Изучила глубже: выросла доля пользователей, совершивших целевое действие, и их Retention 1, 7 и 14 дня. Проблема в том, что не всем пользователям понравились пуши в первые дни жизни в приложении: увеличился и отток.

Чтобы добить эту гипотезу, решила добавить одно самое «жирное» событие в онбординг: при первом входе пользователи сразу будут выполнять целевое действие, которое должно их возвращать в приложение. Результатами поделюсь позже. Как думаете, получится улучшить Retention?

P.S. Полную версию статьи, на которую ссылалась, можно почитать в канале «Свалка продакта»: https://t.me/pm_dump/118

Мы завершили эксперимент по User Acquisition, а я делюсь результатами!

***

Как это было
В эксперименте участвовали 2 страны (Россия и США) и 3 канала дистрибуции (Google, Facebook и MyTarget). Эффективность каналов мерили по двум параметрам:
1. СРА (Cost Per Acquisition). Я заранее установила целевое значение СРА, чтобы сошлась экономика.
2. Retention 7 дня (примерно в этот день Retention выходит на плато). Я была уверена, что Retention привлеченных пользователей будет хуже, чем Retention органики, так как органические пользователи совершают усилие, чтобы найти приложение, а не просто кликают на рекламу.

Что получилось
• В России нашлись приемлемые каналы дистрибуции и для iOS (MyTarget), и для Android (Google): СРА на уровне целевого значения или даже ниже, Retention не отличается от органики.
• Идеальным каналом дистрибуции для iOS в США оказался Facebook: СРА ниже целевого, Retention значительно лучше, чем у органики!
• С Android в США возникли сложности: CPA получился очень вкусным, а вот Retention хуже органики. Из-за второго параметра такие каналы дистрибуции теряют смысл.

Что дальше
Будем искать подходящий канал дистрибуции для Android в США, потестим другие страны.

P.S. Чуть больше теории про поиск эффективных каналов дистрибуции: https://t.me/honestmarketing/425

***

После предыдущего поста было так много идей и предложений в личке, что у меня собрался целый бэклог постов для канала! Продолжайте делиться мыслями: @annapodobrazhnykh

У меня новости: теперь я работаю продактом в Авито.

Понадобится некоторое время, прежде чем начну делиться новыми кейсами, но! У меня для вас есть ещё несколько интересных историй из прошлого опыта — скоро опубликую. А сегодня расскажу об одной конференции.

Проблема многих митапов и конференций для меня в том, что спикеры делятся только историями успеха. Однако успешных кейсов — один на десятки опровергнутых гипотез. Гарантий, что аналогичное решение сработает в другом продукте, попросту нет.

Мой коллега из Авито, Егор Толстой, организовывает конференцию, на которой спикеры будут делиться не только успехами, но и провалами, а ещё — тем, как их «разгребать».

На сайте уже есть темы первых докладов, посмотрите: http://productfest.ru

Увидимся на конфе ✌️

«Планирование длится 2 часа, но мы все равно не успеваем обсудить и оценить все задачи. Макеты и требования уточняются, меняются во время спринта…»

Знакомо? Мне да. Таковы были реалии, с которыми я смирилась, подумав, что так происходит у всех. Однако сейчас этой проблемы нет, она решилась одной простой штукой — грумингом.

Груминг — это встреча, на которой продакт, разработчики и QA обсуждают 1-3 фичи из бэклога. Не просто обсуждают, а разжевывают вдоль и поперек, чтобы не осталось ни одной неопределенности. При необходимости можно позвать дизайнера или аналитика. На таких встречах сразу всплывают все неточности в макетах, забытые экраны и состояния кнопок, отсутствие логирования, блокирующие баги и так далее. После обсуждения и ответов на все вопросы задачка сразу оценивается. На выходе имеем либо прогрумленную и оцененную фичу, либо задачку на доработку (уточнение требований или макетов, дополнительное исследование, RnD…). В спринт могут попасть только прогрумленные и оцененные фичи из бэклога.

Если проводить груминги регулярно, планирование проходит быстро и безболезненно а в спринте практически не возникает неопределенностей ✨

P.S. Да-да, пост спустя месяц затишья. Кажется, пора возвращать правило про 1000₽ первому заметившему, что я не писала больше 7 дней

Ко мне в личку приходят с вопросами про собеседования на позицию продакта. Многие хотят оценить свой уровень: сравнить свои задачи с задачами других продактов. Я решила, что это отличный повод собрать в одном месте разные продуктовые кейсы: одним поможет подготовиться к собеседованиям, другим — найти точки роста.

Сложила всё, что помню со своих собеседований, на страничку в notion (там даже есть разборы): https://www.notion.so/annapodobrazhnykh/8b296f5d60dc41059a01783904d545c5

Кейсов пока немного, поэтому мне нужна ваша помощь. Если у вас есть классный продуктовый кейс, поделитесь им со мной в личке или в опросике. Я добавлю его в notion, а вы поможете кусочку продуктового сообщества стать лучше 💛

«Нужно подготовить презентацию к Discovery Sync, скоро выступать на Байконуре…»

Discovery, Байконур, что?.. Это про продуктовые процессы в Авито, расскажу в следующих постах)

***

Умение сделать простую и понятную презентацию — необходимый навык не только для продакта, но и в принципе для любого человека. Я давно использую один единственный шаблон. Он живет со мной уже больше 5 лет. И продолжала бы использовать дальше, но:
- цвета не всегда подходят, а менять их непросто — много мелких деталей;
- в шаблоне больше 300 слайдов — поиск подходящих занимает кучу времени.

Когда у меня времени нет, я могу сделать презентацию без шаблона, но она всегда получается страшненькой) Выровнять элементы относительно друг друга — без проблем, но использовать больше одного шрифта, несколько цветов и «вот эти ваши дизайнерские штучки» — нет, спасибо.

На прошлой неделе я спонтанно поучаствовала в челлендже: каждый день из одного плохого слайда пыталась сделать хороший, а потом Ким Воронин (Head of visual communication в ВТБ ☝️) разбирал ошибки.

Мне открылся дивный новый мир! Шрифты, цвета, картинки, да и в целом, дизайн — это не про «украшательство», а про правильную расстановку акцентов, про правильную коммуникацию. Кто-то может посмеяться, потому что это базовые вещи, но так приятно закрывать свои слабые места!

В общем, если дизайн — не ваша сильная сторона (как у меня), и вам нужен навык создания презентаций, супер рекомендую обратиться к Киму. Он периодически проводит такие челленджи и более интенсивные тренинги. Ближайший, кстати, уже на этих выходных: http://kimvoronin.com/

P.S. Следующим сообщением скину одну из своих первых работ в челлендже и две моих любимых

Разработка продукта — это два больших процесса: Product Discovery и Product Delivery. Первый про проработку потребностей пользователей и бизнеса, второй — про их разработку и «доставку». Про Delivery я уже немного писала, сегодня про Discovery 🙃

Для запуска дискавери нужны сформулированные потребности пользователей или возможности для бизнеса. Откуда? Идеи собираются из всех возможных источников: из отзывов в сторах и интервью с пользователями, от саппорта и отдела продаж, из конкурентного анализа и аналитики, из личного опыта использования продукта и от коллег…

Чтобы дискавери был эффективным, в команду обязательно входят продакт, аналитик и дизайнер. Хорошая практика — включать в команду представителя разработки. Это помогает на раннем этапе понимать реализуемость предлагаемых решений и их примерную стоимость.

Дискавери состоит из 2 больших этапов:

1. Исследование потребности
На этом этапе исследуем проблемы пользователей и возможности бизнеса.
Шпаргалка вопросов для изучения проблемы пользователей: в чем причина проблемы? Кто с ней сталкивается, сколько их? Как сейчас решают проблему? Насколько сильно болит?
Шпаргалка вопросов для изучения возможностей бизнеса: какой value proposition? Какие есть альтернативные решения, и зачем еще одно? В какие сроки нужно реализовать и почему?
В результате исследования найденная проблема или возможность должна быть подтверждена и защищена. В моем юните защита потребности — это Байконур (о нем расскажу отдельно) или обсуждение результатов исследования со стейкхолдерами.

2. Поиск решения
Здесь формулируем и тестируем гипотезы для решения проблемы или реализации возможности. Успешное решение нужно также защитить, затем превратить в задачи для разработки.

Польза заметна уже через несколько итераций после запуска дискавери: работа над продуктом структурирована; стейкхолдеры синхронизированы; команда погружена в продуктовые процессы, а не просто закрывает прилетающие задачки; разработчики и стейкхолдеры видят, как и откуда наполняется бэклог.

У вас в компании есть что-то похожее?

​​На днях в нам в офис приходил Женя Гурьянов (CPO DocDoc) — прогонял свой доклад перед Product Fest. Я очень люблю такой подход к подготовке, поэтому жду на конфе сильные выступления 💪

Женя рассказывал про свой долгий путь от мидла до СРО, и мне стало интересно: а кто есть кто в этом канале?

Последний пост уходящего года

2019 был замечательный, хотя бы потому что я, наконец, решилась создать канал. Я не представляла, со сколькими классными людьми познакомлюсь, и насколько прокачаюсь, благодаря вашей обратной связи!

Хочу пожелать каждому в 2020 году не бояться мечтать и решиться на то, о чем давно мечтали. С наступающим, друзья!

Когда я начинала работать продактом, была влюблена в стартапы: считала, что только там можно в полной мере ощутить, что такое продукт. Крупные компании вызывали недоверие: «Ну вот что, я приду и буду продактом одной кнопки?», — примерно так я о них думала. Тем не менее, летом у меня возникла острая необходимость посмотреть на развитую продуктовую культуру и выстроенные процессы. Тогда я решилась пойти в «ту самую крупную компанию». Продуктовый мир Авито меня приятно удивил и разорвал старые шаблоны. Сегодня об этом пост.

В Авито есть юниты, кластеры и вертикали.

Юнит — это одна или несколько кроссфункциональных команд, состоящих из продактов, аналитиков, дизайнеров, разработчиков и тестировщиков. У юнита есть свои метрики и цели, он отвечает за какой-то кусок Авито.
Я работаю в юните гео, мы отвечаем за всё, что связано с геоданными (дополнительные интерфейсы (например, карта с объявлениями), определение локации и формирование выдачи на ее основе, усиление проникновения Авито в регионы и мнооогое другое).

Юнитов в Авито много. Чтобы они работали эффективнее и имели общие цели, в Авито есть кластеры — объединения юнитов, создающих общую ценность.
Мой юнит относится к кластеру Buyer Experience — в нашем фокусе счастье покупателя.

Авито уже давно не только сайт для продажи личных вещей. Здесь можно найти и машину, и квартиру, и даже открытую вакансию или резюме. Опыт пользователя на этих рынках отличается, поэтому в Авито есть вертикали, сфокусированные на конкретном рынке.

Чтобы вся эта структура завелась, нужны правильные, и самое главное, прозрачные цели для каждого юнита, кластера и компании в целом. Мы их ставим с помощью OKR.

У этой методологии есть несколько базовых принципов, которых мы придерживаемся:
1. Целостность: если есть цель на уровне компании, у нее есть цели на более низких уровнях, которые ее поддерживают; если команда поставила себе какую-то цель, она сделала это не просто так, а чтобы поддержать какую-то более высокоуровневую цель.
2. Прозрачность: система целей должна быть понятна и известна каждому сотруднику. У нас есть файл OKR, где каждый может увидеть цели своего юнита, окружающих юнитов и даже всей компании.
3. Ритмичность: каждый квартал мы выделяем время для постановки и синхронизации целей на всех уровнях, затем регулярно отслеживаем актуальные значения метрик и в конце подводим итог.
4. Честность: OKR — это лишь одна из компонент, которая учитывается при подведении итогов работы за квартал, поэтому у нас нет жесткой привязки бонусов и другой материальной мотивации к OKR.
5. Амбициозность: мы работаем с системами с достаточно высокой степенью неопределенности. Часть результатов зависит от команды, часть — от внешних факторов. Если все сложится идеально, должна быть возможность достичь 100% поставленных целей, нормальным же считается результат в 60-80%.
6. Стабильность: инвестировав время и ресурсы в постановку целей, мы замораживаем их на квартал.
7. Причастность: когда вся команда участвует в постановке целей, сами цели получаются качественнее, а каждый участник, чувствуя свой вклад, замотивирован на их достижение.

В результате от OKR получаем следующее:
• Показываем всей команде и окружающим, чего именно хотим добиться
• Связываем ежедневную работу со стратегическими целями
• Имеем возможность приоритизировать, в том числе уверенно говорить «нет»

Продуктовая культура и выстроенные процессы помогают компании работать как часы. Далеко не все стартапы и маленькие компании могут таким похвастаться. И пример Авито не единственный! Сегодня мы специально договорились с Сережей Колосковым, продактом из Озона, рассказать о том, как устроены процессы в наших компаниях. Почитать про то, как у них все работает и как продакты «распиливают» продукт можно в канале Сережи: @FreshProductGo

Устроила себе отпуск в горах. Честно верила, что смогу по вечерам заниматься своими делами и напишу пару постов. Увы... Зато я классно отдохнула и с завтрашнего дня возвращаюсь в боевой режим 💪🏻

Написала в инсте небольшой пост про Андорру. Сюда дублировать не буду (все-таки это не про будни, а про выходные продакта 🌴). Кому интересно, ссылочка на пост: https://www.instagram.com/p/B8o5dTnIuCl/?igshid=ehtnvrwies9r