Привет! Меня зовут Аня, я учусь в магистратуре Вышки, работаю продактом в образовательной компании, веду свой проект. Люблю путешествовать и заниматься спортом.

Сейчас моя основная цель - стать классным продактом, постоянно расти над собой и достигать бОльших результатов. В этом канале буду делиться своими успехами и неудачами, а еще - тем, что помогает мне развиватся.

Буду рада обратной связи: @annapodobrazhnykh

Не ожидала, что здесь будет столько людей, которые слабо представляют, чем я занимаюсь, поэтому коротко расскажу.

MAXIMUM, где я работаю, занимается профориентацией подростков, подготовкой к стандартизированным экзаменам, обучением английскому языку, навыкам программирования и школьным предметам. Мы быстро растём, открываем новые бизнес-единицы, выходим в другие страны, а ещё - стремимся делать лучшие образовательные продукты на рынке.

Я занимаюсь развитием онлайн-модуля (LMS) — системы для наших учеников, родителей, преподавателей и их руководителей. LMS для каждой роли имеет свой интерфейс, свои метрики и решает свои проблемы. И всё это — в каждой стране, где мы присутствуем. Приоритизация задач внутри онлайн-модуля — отдельная веселая (или не очень) история, которую я как-нибудь расскажу. А сегодня — модуль родителя, в следующем посте 🙂

— Мне нужно 5-7 родителей для интервью.
— Сделаем рассылку, желающие запишутся, ты с ними созвонишься?
— Да, давай…

***

Так началась история создания нового модуля для родителей, который будет удовлетворять их потребности. Первое, что я решила сделать, — провести кастдев: попросила маркетологов пригласить наших родителей на интервью. «Мне нужно 5-7 человек», — думала я. На следующий день на приглашение откликнулось 182 человека 🤦‍♀️

Я попробовала выйти из этой ситуации красиво: решила провести интервью с нужными мне 5-7 родителями, остальным отправить опрос — «будет подкрепление полученных результатов цифрами» (эдакое качественное и количественное исследование).

Первые интервью показали, что родители не пользуются модулем от слова совсем. Я проверила часть гипотез, узнала, что их не устраивает в LMS, но мне нужно было хотя бы несколько родителей, которые пользуются модулем, чтобы понять, а что им там нравится, что заставляет их возвращаться. Разработчики помогли с выгрузкой дат, когда родители заходили в модуль. Как вы думаете, сколько родителей (из имеющихся 182) открывали модуль в феврале или в марте? Правильно, 2 🙂 Как оказалось, причиной их посещения модуля была надежда… надежда, что что-то изменится. Новой информации мне эти родители не дали, зато подтвердили выводы по имеющимся гипотезам.

***

Как это было и что получилось:
🗣 Всего я провела 6 интервью с родителями учеников, которые занимаются на разных курсах
👸 Вопросы составляла по всем законам книги «Спроси маму»
💪 Проверила 10 гипотез
📊 В понедельник будет рассылка с опросом для оставшихся родителей, поделюсь, подтвердились ли результаты, полученные на интервью
📙 Вопросы, гипотезы и выводы можно почитать в ноушн: https://www.notion.so/selfdevelopment/ff85dde53e7f428680cc01b1937c49fb

Буду рада обратной связи: @annapodobrazhnykh

​🗣 На прошлой неделе я провела интервью с 6 родителями
📨 Онлайн опрос прошли еще 62 родителя
📊 Результаты показали, что…

Стоп, стоп, стоп… 62 родителя? А что насчет статистической значимости? Можно ли утверждать, что полученные результаты достоверно описывают реальную ситуацию?

***

Для генеральной совокупности в 6578 человек (это все мои «целевые» родители) достаточно опросить 67 из них (62 из опроса + 6 из интервью), чтобы с вероятностью 90% получить погрешность +-10%. Точность не самая высокая, но для общих выводов должно быть достаточно. Кстати, посчитать размер выборки можно в обычном онлайн-калькуляторе, для этого не нужно быть гением 🙂

Вернемся к результатам: оказалось, что родители учеников, занимающихся «офлайн», не особо обращают внимание на опыт преподавателя, чего нельзя сказать о родителях учеников из онлайн-групп (49% против 91% родителей, которые смотрят на опыт).

Стооооп… Точно можно сравнивать 49% и 91%? В опросе родителей из онлайн и офлайн групп поровну?

Есть понятие — доверительный интервал. С некоторой вероятностью Р он содержит реальное значение полученного результата. Доверительный интервал зависит от полученного результата и количества человек, которые на него повлияли. Чтобы честно сравнить 49% и 91%, нужно сравнить не эти значения, а их доверительные интервалы. Если они не пересекаются, всё ок — результаты разные.

Гении считают доверительный интервал по формуле (приложила её картинкой), простые люди пользуются онлайн-калькулятором. Я сделала такой калькулятор сама: https://goo.gl/sc4ypc

В моем случае, результаты, действительно, значимы. То есть опыт преподавателя важнее для родителей, которые выбирают онлайн формат.

***

🎁 Подтвердились остальные гипотезы или нет, появились ли новые инсайты — все это можно почитать в ноушн: https://www.notion.so/selfdevelopment/51b96b4e800642818770eaf8fef7d4fe

Тигран Басеян интересно пишет о том, как работать над своими навыками. Я считаю, что лучший способ оценить свои — решать продуктовые кейсы. Вот пример кейса, над которым я как раз работаю: https://www.notion.so/selfdevelopment/bdd49318fb854263af7712cfe8dd90c6

Буду рада обсудить его в комментариях!

P.S.: Канал Тиграна — https://t.me/blackproduct

​👨‍💻 6 разработчиков
👨‍✈️ 2 тимлида
👩‍🔬 2 QA
👨‍🎨 2 дизайнера
👩‍💼 1 проджект
👩‍🍳 1 продакт

Все эти люди занимаются развитием LMS — платформы, которая помогает ученикам заниматься у преподавателей. Как понять, что всё «окей»? Какие метрики покажут, улучшается ли продукт?

***

Выбор правильных продуктовых метрик — одна из задач product менеджера, с которой однажды столкнулась и я. Не всё было просто:
1. Ученики и родители попадают в LMS после покупки курса, преподаватели — после трудоустройства;
2. Наши курсы не автоматизированы: есть преподаватели, которые лично объясняют ученикам материал; есть руководители преподавателей, которые помогают делать это качественно; есть отдел сервиса, который решает проблемы пользователей...
На что тогда влияет LMS?

***

Я изучила разные фреймворки по выбору метрик продукта, один из них мне особенно понравился: HEART + цели, сигналы, метрики (кстати, его же я использовала в продуктовом кейсе для ЦИАНа). Как это работает: определяем цели продукта, разделяя их на 5 категорий:
H — Happiness (Счастье)
E — Engagement (Вовлеченность)
A — Adoption (Принятие)
R — Retention (Удержание)
T — Task Success (Успех)
Выбираем сигналы достижения целей и формализуем их, чтобы получить метрики. Расскажу, как я применяла этот фреймворк на примере LMS ученика.

Счастье пользователей измеряет их отношение к продукту. К этой категории можно отнести следующую цель: я хочу, чтобы LMS поддерживала образовательный процесс учеников и не доставляла им дискомфорт. Сигнализирует успех или неудачу в достижении цели отношение учеников к LMS. Померить его можно с помощью NPS (индекс потребительской лояльности, измеряется с помощью опросика: «Оцени от 0 до 10…»).

Вовлеченность — это ответ на вопрос: «Продолжают ли пользователи получать пользу от продукта?». Так как речь идет о длительном образовательном процессе, я хочу, чтобы ученики были максимально в него вовлечены (иначе они перестанут что-либо делать и уйдут с курсов). Что может сигнализировать в LMS о вовлеченности учеников? Любое действие (решение задачи, посещение занятия и т.д.) сопровождается получением баллов в LMS (баллы — это внутренняя валюта, за которую ученик позже сможет что-нибудь «купить»). Чем больше баллов получает ученик, тем сильнее он вовлечен в образовательный процесс. Важным сигналом также является частота и длительность сессий ученика в LMS. Практически на всех наших курсах занятия проходят 2 раза в неделю, а значит минимум столько раз ученик должен заходить в LMS, чтобы почитать теорию, порешать домашнее задание… Формализируя сигналы, получаем следующие метрики:
— Количество добавленных баллов на ученика;
— Количество визитов на ученика в неделю;
— Продолжительность сессии ученика.

Может ли улучшение продукта или новая крутая функция увеличить количество новых пользователей? Может. Хочу ли я, чтобы ученики рассказывали о наших курсах своим друзьям? Конечно. Это и есть цель для категории «Принятие». Сигнализировать достижение цели поможет количество клиентов, которых привел ученик. Иными словами, виральность.

С точки зрения удержания всё просто: я хочу минимизировать риск расторжений на курсах. В LMS есть кнопка «Прекратить обучение» — именно её нажатие служит сигналом потенциального расторжения. После запускается процесс по его предотвращению, в котором задействована не только LMS. Соответственно, влиять я буду на метрику «Процент обращений на расторжения».

Категория «Успех» наиболее применима к части продукта, ориентированной на выполнение конкретной задачи. В LMS ученики должны успешно выполнять домашнее задание, читать теорию, смотреть видео. Количество и качество выполненных заданий будет сигнализировать о достижении цели. Метрики здесь две:
— Процент выполненных единиц контента;
— Процент правильно решенных заданий.

***

На картинке представила цели, сигналы и метрики для каждой категории в удобном виде.
Буду рада фидбеку по метрикам моего продукта и каналу в целом: @annapodobrazhnykh

Я развиваю LMS  для нескольких групп пользователей: учеников, родителей, преподавателей, руководителей преподавателей, методистов. У каждой группы свои стейкхолдеры, цели и метрики. Всё это нужно адаптировать для новых стран и новых бизнес единиц, не забывая об имеющемся техническом долге.

Как не превратить бэклог продукта в ХАОС?

Очень хотелось вставить в текст несколько картинок, поэтому оформила статью в medium, велком!

Всегда рада обратной связи: @annapodobrazhnykh

Вчера моя хорошая подруга Шагане в своем канале написала, что нарушила важное правило Сазерленда, автора методологии и книги Scrum, — взялась за несколько больших задач одновременно. Я нарушаю это правило бОльшую часть своей жизни 🙂 Нет, это не хорошо, но глаза горят, хочется браться за все интересные идеи.

Не так давно я поняла, что такой подход неминуемо ведет к перегоранию, и, как следствие, снижению эффективности по всем фронтам. Но я нашла решение. В одном посте описать сложно, поэтому их будет несколько. Первый — в ближайшие 2-3 дня.

Пока я дописываю свои посты, посмотрите канал Шагане (https://t.me/shn_royal) — меня особенно вдохновляют ее истории о том, как она пробует себя в дизайне 👩‍🎨

2 дня назад я передала Бизнес в стиле .RU новому руководителю.

***

А теперь по порядку 🙃

Бизнес в стиле .RU — это некоммерческая студенческая организация в НИУ ВШЭ. В 2015 году я стала ее руководителем: на тот момент мы обучали студентов разработке сайтов на PHP и дизайну, делали учебные проекты. За 4 года мы стали образовательной организацией, открыли новые направления:
- Разработка сайтов (JS, ASP.NET);
- Разработка мобильных приложений (iOS и Android);
- Разработка игр (Unity);
- Анализ данных (Python);
- Маркетинг;
- Project и product менеджмент.
А ещё — научились лучше удерживать студентов (раньше до конца учебного года доходило 30% студентов, сейчас — 80%).

На базе Бизнес в стиле .RU мы сумели построить коммерческие онлайн IT-университет и проектную студию.

***

🥺 Зачем новый руководитель?

Сейчас я активно развиваюсь в продакт менеджменте, много учусь и работаю. Как писала в предыдущем посте, постоянный расфокус ведёт к перегоранию и снижению эффективности, что начала замечать за собой. Продолжать в том же духе было бессмысленно, поэтому я решилась выйти из зоны комфорта и немножечко поменять свою жизнь. Я была счастлива получить бесценный опыт управления большой командой организации. Теперь нужно двигаться дальше, ни в коем случае не снижая темпы своего развития.

***

P.S. В пн-вт расскажу ещё одну новость, после чего вернусь к привычному формату постов :)

Сегодня был мой последний рабочий день в MAXIMUM

***

Суммарно я провела в компании почти 3 года: научилась классно держаться перед аудиторией и проводить презентации на позиции преподавателя, руководить командой в 25 человек на позиции тимлидера преподавания. Но еще большему я научилась на позиции продакта:
- выстраивать процессы вокруг своего продукта, прозрачные коммуникации со всеми его стейкхолдерами и пользователями;
- работать в большой команде дизайнеров, разработчиков и QA;
- улучшать метрики продукта, связывать их с деньгами и нести ответственность за результат.

😧 Что дальше?

Дальше я хочу сосредоточиться на цифровом продукте: еще больше прокачаться в аналитике (спасибо GoPractice за мою бесконечную любовь к цифрам), немного окунуться в продуктовый маркетинг.

А еще, я обязательно продолжу вести этот канал и рассказывать о своем развитии. Мой маленький эксперимент перерос в воспитание дисциплинированности: чтобы написать содержательный пост, я постоянно анализирую свою деятельность, думаю, что можно улучшить. Это уже несколько раз помогло мне не допустить ошибку! А ваш фидбэк помогает расти еще быстрее 🙂

***

Несколько человек, которые знали о том, что я в поиске работы, просили рассказать про этот процесс: как я выбираю компании, как прохожу собеседования, что на них спрашивают, какие тестовые дают. Собственно, про это и будет несколько ближайших постов, до скорого ✌️

Как найти ту самую? Интересную, нескучную, с амбициозными целями... с которой захочется проводить большую часть своего времени...

***

Поиск работы для меня оказался настоящей проверкой на стойкость. В первые же дни я столкнулась с проблемой: вакансий много, сопроводительные письма для каждой нужны разные; кому, что и когда отправила — запомнить сложно. Поэтому к поиску «той самой» я подошла как к обычному рабочему процессу — построила воронку: https://www.notion.so/annapodobrazhnykh/dc9fdb23be674a8eb4859d2eb3269996?v=6d6b377f86d3489ca15fd56d7a933239

Сразу скажу: воронка не идеальна (если у вас есть идеи, как можно ее оптимизировать, обязательно поделитесь!). А пока есть, как минимум, две неточности:
1. «Собес с продактом» не обязательно проходил именно с продактом. Иногда это была встреча с руководителем, иногда — несколько встреч с разными людьми. Но суть одна и та же: меня собеседовал человек, который разбирается в том, чем мне предстоит заниматься;
2. Компании разные, поэтому этапы 3-5 могли идти в другом порядке: «схлопываться» в меньшее количество этапов или, наоборот, растягиваться ещё на несколько встреч.

Тем не менее, даже такая воронка сильно упростила мне жизнь. Перед собеседованием я могла быстро освежить в памяти всю необходимую информацию о вакансии. А ещё — воронка помогла отследить успешность каналов, из которых я узнавала о вакансиях. Хуже всего работал hh.ru: много моих откликов не просто остались без ответа, а даже не были просмотрены. Поэтому, если есть возможность написать человеку лично (в телеграм / фейсбук мессенджер / вотсап / на почту), лучше ей воспользоваться.

***

Я стараюсь сокращать свои посты (сама не читаю длинные). Поэтому разбила тему поиска работы на несколько небольших.

На очереди:
— Как составлять резюме и писать сопроводительное письмо;
— Что спрашивают HR?
— Какие тестовые дают продактам?
— Что спрашивают на собеседованиях? (уже не с HR)

«У вас пока недостаточно опыта работы с командой… Нам сейчас нужны более опытные люди в этом плане»
(с) HR, прочитавшая первую версию моего резюме

// Что? Но я же работала в большой команде разработчиков, QA, дизайнеров, проджектов…

***

Далеко не с первого раза у меня получилось составить резюме так, чтобы на него обращали внимание работодатели. Каждый раз я анализировала фидбэк и вносила изменения, чтобы приблизиться к «идеальному» варианту. Я показывала резюме друзьям, знакомым продактам и эйчарам, работодателям… Всё это помогло мне составить значительно лучшую версию резюме. До идеала, уверена, я так и не дошла, но остановилась на «работающем» варианте.

Не буду делиться очевидными вещами из серии «Пиши кратко, никому не нравится читать воду» — до этого и так не сложно догадаться или загуглить. Но вот три основных правила, которые я определила для себя:

☝️ Одна должность = одно резюме. Эйчарам не интересно читать про весь мой разнообразный опыт (а если и интересно, всё равно на это нет времени). Поэтому первую версию резюме я сократила практически в 2 раза, убрав весь нерелевантный опыт для конкретной позиции продакт-менеджера (оставила только пару строчек о нем в разделе «О себе»)
✌️ Все любят истории. Резюме должно быть логичным и последовательным, как будто я рассказываю историю: у читателя не должно возникать вопроса «А зачем она между работой проджектом и продактом работала кассиром в пиццерии?». Если хочется рассказать про опыт работы в пиццерии, объясни, для чего это было нужно (например, в Dodo нормальная практика воспользоваться своим же продуктом в «бою»)
🖖 Меньше процессов, больше результатов. Резюме, состоящее только из процессов, которыми я занималась на работе, никому не нужно. Компания хочет нанять сотрудника, который приведет ее продукт к крутым результатам. Чтобы понять, сможет он это сделать или нет, логично посмотреть, а каких результатов он добился на предыдущем месте работы. Я указывала конкретные цифры: подняла такой-то показатель на столько-то процентов; использовала такие-то методы. Еще круче показывать влияние на выручку компании (бизнес существует, чтобы зарабатывать деньги, это в любом случае важно для компании, какие бы цели она ни ставила перед собой)

Три этих правила помогли мне, во-первых, адекватно оценить себя относительно вакансий, на которые я претендую, во-вторых, заранее ответить на многие вопросы работодателей по поводу моего опыта.

***

Интересно, какие правила вы определяли для себя при составлении резюме, может, я что-то не учла? Пишите: @annapodobrazhnykh

«Это что получается, для каждой компании писать своё сопроводительное?..»

***

Писать сопроводительное или нет — вопрос, на который у меня нет однозначного ответа. Думаю, всё зависит от конкретного эйчара в конкретной компании. Но лично мне было комфортнее кратко рассказать о себе, о своих целях, прежде чем погрузить человека в немаленькое резюме. На одно сопроводительное у меня уходило довольно много времени. Чтобы не тратить его впустую, я разделила все компании на 2 типа:
☝🏻 Те, в которые мне очень хотелось попасть;
✌🏻 Те, в которых можно работать, но это не предел моих мечтаний;
🤷‍♀️ Третья категория тоже была, но в такие компании я просто не кидала резюме :)

Для второй категории я составила одно «общее» сопроводительное, в котором в 180-ти словах описала:
- Что для меня важно в работе;
- Чем занималась на последнем месте: два навыка, которыми владею лучше всего;
- Опыт построения студенческой организации, как он мне помогает;
- Моя основная цель на ближайшее будущее.

Для «компаний мечты» четкой структуры не было: каждый раз я писала сопроводительное заново. Иногда шла по вакансии, честно рассказывая, какие навыки из требований у меня есть (с примерами), каких — нет; иногда — писала о самой компании, чем мне нравится продукт, и как бы я его развивала. Таких компаний за все время было 3 или 4, но вложенное время того стоило.

Из результатов: конечно, в итоге я выбрала только одну компанию, но с теми, для кого писала индивидуальные сопроводительные, у меня остались очень хорошие отношения, вне зависимости от количества и итогов собеседований.

***

P.S. Дальше будут самые интересные посты про содержание собеседований и тестовых заданий. Если допишу курсач, обещаю опубликовать их побыстрее 🙏

P.P.S. Пишите @annapodobrazhnykh, поделюсь общим сопроводительным, если интересно 😌

«Завтра собеседование с hr, нужно подготовиться. О чем меня могут спросить?»

***

Составляя список возможных вопросов перед собеседованием, я не учла один (очевидный) момент: hr — не продакт и не СРО, он не обязан быть погруженным в процессы команды. Представьте себе ситуацию (ведь у продактов хорошо должна быть развита эмпатия): вам нужно найти человека в другой отдел. Вы не работаете и никогда не работали в этом отделе, вы не супер хорошо ориентируетесь в деталях и процессах команды. Но вам все еще нужно найти человека. Что вы будете делать?

Из личных наблюдений: у эйчаров есть представление о том, какого человека ищут в команду — что он должен уметь, какие у него должны быть навыки и т.д. Но ответы на вопросы иногда оценивают бинарно 🔽

Как то на собеседовании я сказала такую фразу: «Мне очень нравится работать с цифрами, недавно я прошла GoPractice, сейчас продолжаю глубже изучать аналитику». Эта фраза послужила причиной отказа (возможно, это был только повод — никто уже не узнает). Цитирую ответ: «Нам сейчас нужны люди с более сильными навыками в аналитике, вы только изучаете». Оценивал ли hr мои навыки в аналитике? Конечно, нет. HR мог оценить исключительно то, что я сама ему сказала. Поэтому в дальнейших собеседованиях я взяла за правило: быть увереннее. Никаких «я только учусь», «в теории могу» и так далее. Это не значит, что нужно врать — энивей, впереди тестовое и собеседование с руководителем, который сможет оценить хард скиллы. Но не нужно принижать свои достоинства. С момента введения этого «правила» я не провалила ни одного собеседования с эйчаром.

***

🌟Самое интересное🌟
Вопросы, которые мне задавали на разных собеседованиях:

- Расскажи о себе. Да, это не вопрос, но именно с этого начиналось любое собеседование. Я всегда рассказывала небольшую историю о том, как развивалась, как пришла к управлению продуктом.
- Почему решила поменять работу? Что нравилось и не нравилось?
- Чем занималась на предыдущем месте? Как была организована продуктовая работа? Как выглядел и функционировал отдел? Что делала конкретно ты? Как выглядел твой ежедневный дашборд?
- Какие у тебя были KPI? Какими результатами гордишься? Какой был самый большой провал?
- Почему хочешь в нашу компанию?
- Что для тебя важно в работе? Как выбираешь компанию? Какие ожидания?
- Кем ты себя видишь через 2 года? Через 5 лет?

***

Из всего написанного выше могло показаться, что эйчары — какие-то монстры. Это совсем не так: эйчары милые и крутые, нужно просто научиться ставить себя на их место и помогать принять правильное решение своими ответами ❤️