Growth Lab

2022-01-28 15:48:17 Открыть/Комментировать

2022-01-28 15:48:07 На днях прошёл второй курс от GoPractice — «Симулятор управления ростом продукта».
Курс вышел совсем недавно, и мало кто делился опытом прохождения. Расскажу о своём.

Когда курс анонсировали, и появилась возможность ознакомиться с его программой, я засомневался, а нужно ли мне его проходить. В программе я не увидел чего-то нового для себя. Но по опыту прохождения первого курса (а первый курс мне очень понравился) понимал, что второй будет не хуже, и что-то полезное точно смогу получить. В общем, решил его пройти. И ничуть не пожалел.

Во-первых, узнал куда больше нового, чем ожидал. По-другому взглянул на JTBD и product/market fit. Закрыл слепые зоны в моделях и циклах роста. Даже в максимально изученных мною областях, как product/channels fit, всё равно было что почерпнуть.

Во-вторых, структурировал накопленные знания. Отдельные методологии, фреймворки соединились в единую картину.

В-третьих, стал смотреть на рост продуктов шире — за рамками метрик и воронок.

Команда GoPractice большие молодцы, второй курс, как по мне, оказался даже лучше первого. Открыть/Комментировать

2021-12-06 11:29:23 P.S.
Хоть Дуров и писал, что реклама в телеграм будет показываться только в больших каналах, которые и так размещают рекламу, но на деле это не так.

Если видите здесь телеграмовскую рекламу, — знайте, я к ней отношения не имею.
И будьте осторожны, т.к. реклама ведёт порой на сомнительные каналы. Открыть/Комментировать

2021-12-06 10:51:58 Поделюсь правилами, которых я придерживаюсь в экспериментах над посадочными страницами.
На самом деле, в них нет ничего новаторского – они логичны и просты, но почему-то про них мало кто вспоминает, когда дело доходит до экспериментов.

1. Все эксперименты должны идти последовательно, в виде древовидной структуры, т.е. новый эксперимент наследует результативность предыдущего, а не ломает его. И запускается он после того, как предыдущий уже в проде.

2. Несколько экспериментов можно запускать параллельно, если они не пересекаются -> находятся на разных этапах воронки и имеют разные метрики для оценки.

3. Не делаем выводы по эксперименту и не катим его в прод, пока данные не будут статистически значимыми.

4. Чтобы избежать ошибки преждевременных выводов (peeking problem), перед каждым экспериментом нужно производить расчет. Расчет поможет определить количество пользователей в выборке и продолжительность эксперимента. Продолжаем придерживаться этого расчета до выявления победителя.

5. Данные для выводов должны быть «чистыми» – очищены от фрода, асимметрии в выборках (должны быть репрезентативными), сезонных и недельных перекосов.

Также чтобы принять или отвергнуть нулевую гипотезу, выборки в тестовой и контрольной группах не должны отличаться, т.е должны быть одинаковые источники трафика, аудитории/таргетинги, креативы и т.д. Открыть/Комментировать

2021-11-26 17:43:08 Продолжаю разгребать свои черновики и публиковать заметки.

И сегодня мы поговорим про коэффициент конверсии (в дальнейшем CR), а точнее — очевидное заблуждение при её интерпретации.

Итак. Жизненная ситуация. Представим, что вы пришли работать продактом или маркетологом в небольшой стартап. На второй месяц работы вы с ужасом наблюдаете, что CR из перехода в лид упал с 10% до 8%. Начинаете проверять все факторы, которые могли бы повлиять на столь резкое падение, и не находите. Что тут не так?

Проблема кроется в неправильном понимании значения CR.
CR (как и любое другое историческое значение метрики) — не является абсолютным/истинным, это лишь оценка значения в прошлом.
А реальное значение лежит в «некоем интервале», которое нужно ещё рассчитать.
То есть коэффициент конверсии может «плавать» от месяца к месяцу без изменения продукта или рекламных кампаний, но в заданном интервале.

А поможет нам в более точном понимании реального CR — доверительный интервал.
Доверительный интервал с заданной вероятностью (уровнем доверия обычно равном 95%) показывает, что действительный показатель конверсии с вероятностью 95% находится в этом интервале значений. В нашем же примере реальная конверсия могла лежать в интервале от 8% до 12%. И падение до 8% не связано с какими-либо изменениями.

Я не буду расписывать, как считается доверительный интервал, т.к. в сети огромное количество статей на эту тему и уже готовых калькуляторов (пример бесплатного калькулятора).

В общем: если бы все при указании коэффициента конверсии указывали еще и его доверительный интервал — жить стало бы легче)

Хороших выходных и увидимся на следующей неделе Открыть/Комментировать

2021-11-19 12:30:12 Решил возобновить серию еженедельных постов, а точнее заметок. Так что не удивляйтесь, моему частому появлению учитывая, что это мой пятый пост за год.

И первая заметка, о которой сегодня поговорим – альтернативный способ поиска точек роста в продукте при анализе пользовательского пути.

Говоря о пользовательском пути, мы часто представляем его в виде воронки, где пользователи двигаются последовательно от шага 1 к шагу 2 и т.д., пока не дойдут до ключевой цели (или не отвалятся по пути). Воронки хорошо описывают путь и помогают верхнеуровнево увидеть проблему на каждом шаге.

Но, если детально проанализировать пути пользователей в продукте (от ивента к ивенту), то можно заметить, что он, зачастую, нелинейный и не вписывается в стандартную воронку. И чем сложнее и многосценарнее продукт, тем это заметнее. Нелинейность пути подталкивает нас к поиску нового метода анализа проблемных участков.

И один из них – анализ траекторий пользователей на графах.
Графы при правильном использовании помогают увидеть проблемы (точки роста) там, где не справляются стандартные методы.

Основные проблемы, которые можно найти при анализе траекторий:

1. Петли – повторение одного события в траектории пользователя.
2. Циклы – замкнутые траектории, как и петли, но включающие в себя больше одного события.
3. Точки торможения – точки, препятствующие быстрому прохождению до ключевой цели.
4. Точки отвлечения – лишние действия, которые уводят/отвлекают от целевого действия.

Но с графами не так всё просто. Нельзя взять и построить граф на всех данных, что у нас есть, так мы рискуем ничего не увидеть и потеряться в огромном количестве вершин и рёбер. Вначале нужно отходить от гипотез или кластерного анализа и далее переходить к построению и поиску аномалий.

Если хотите разобраться в теме подробнее, то копайте в сторону retentioneering.
Также есть бесплатная open-source библиотека на GitHub.

До встречи на следующей неделе. Открыть/Комментировать

2021-10-22 13:22:16 Сделал подборку курсов, для тех, кто делает первые шаги в Data Science.
Делал изначально для себя, чтобы структурировать и упорядочить знания, но решил, что подборка будет полезна кому-то ещё.

Структура курсов:

1. Линейная алгебра и дискретная математика.
2. Статистика и теория вероятностей.
3. Python, SQL, R.
4. Машинное обучение.
5. Алгоритмы и структуры данных.
6. Нейронные сети и Deep learning.

Курсы упорядочил по степени необходимости, начиная с базовых знаний, без которых будет тяжело даваться дальнейшее изучение (линейная алгебра, статистика, базовое знание python и т.д.), переходя к более сложным.

Старался избавиться от избыточности, оставляя только самые ценные, на мой взгляд, курсы. Эти бесплатные курсы легко заменят вам платные.

https://habr.com/ru/post/584964/

Не забудьте поделится статьей с теми, кому она может быть важной. Открыть/Комментировать

2021-06-05 15:29:15 Начинать изучение новой области (особенно с нуля) всегда трудно.
Слишком много вопросов и неопределённостей: с чего начать, в правильную ли сторону двигаюсь и как не выгореть по пути.
Под «областью» я понимаю любой большой предмет, к примеру: python, статистика и т.д. Сегодня расскажу о своём подходе к обучению. Америку не открою, но может, что-то полезное, а главное, применимое в подходе найдёте.

Дисклеймер: Сжатие большой темы до одного поста естественно привело к n-количеству нераскрытых пунктов.

0. До того как приступить к изучению, стоит задаться вопросом: почему нужно потратить ресурсы на эту область, а не на другую? Сколько времени потребуется, и какой ожидаемый результат от изучения получу. Для меня область должна быть применимой, и, в идеале, применить её можно было уже по ходу обучения. Если нужно выбрать из нескольких областей, то на помощь приходит ICE score.

1. Определившись с областью, перехожу к исследованию. На первом этапе собираю как можно больше информации из всевозможных (проверенных) источников. Максимально широко охватываю область, насколько в изначальном понимании могу охватить. И первый этап переходит во второй.

2. Собрав предельный массив данных, начинаю чистить и валидировать информацию, структурируя её в основные, большие блоки mind map (использую сервисы Miro или Mindmeister). На выходе получается черновой план обучения, но пока без детальной проработки.

3. На третьем этапе выбираю источники получения информации: книги, курсы и т.д.

4. Выбрав источники, определяюсь с дедлайном и распределяю ресурсы — сколько часов могу выделить в день/неделю, и какие временные слоты подходят под это. Далее перехожу непосредственно к обучению.

5. Начинаю изучение с логического понимания области. Стараюсь понять в общих чертах, как всё устроено и работает, пока без погружения в детали, формулы и т.д. Когда логически всё становится понятно — перехожу к деталям.

6. Логическое понимание области перетекает в углубленное изучение. И mind map из этапа 2 декомпозируется на мелкие пункты, те в свою очередь на ещё более мелкие — подпункты. После всех итераций получаю готовый, проработанный план и осмысленный на логическом уровне. Конечно, план ещё будет дополняться с расширением знания в области.

Как вы могли заметить, я осознанно исключил поддержание уже изученных областей — это тема для отдельной статьи.
Хорошего дня! Открыть/Комментировать

2021-04-09 11:02:25 Апрель в этом году прекрасен по двум причинам:
во-первых — исполняется два года каналу «Growth Lab», и лучшее поздравление — рассказать о канале знакомым, тем, кому он будет полезен;
во-вторых — уже год, как я работаю в Геосервисах Яндекса.
И с удивлением обнаружил, что ничего о работе в Яндексе вам не говорил. Кем работаю? Что делаю?
Просто исчез на год). Пришло время рассказать.

Работаю я на позиции Growth Manager. Возможно вы ничего и не слышали о такой профессии, т.к она еще достаточно новая, и обязанности сильно различаются в зависимости от компании. Если объединить Product Growth (сотрудник отвечает за рост продуктовых метрик) и Growth Marketing (отвечает за развитие каналов привлечения и поиск новых) — получится то, чем я занимаюсь. Нахожусь на стыке диджитал-маркетинга и разработки продукта — ращу ключевые метрики через процесс исследований и постоянных экспериментов.

Работаю с выделенными под проекты кросс-функциональными командами, разработкой, продактами, продюсерами, аналитиками и еще много кем. Как-то так, если вкратце.

В статье (https://t.me/proroas/91) я раскрываю, как работаю по growth-процессу и детально описываю фреймворк. Почитайте, если ещё этого не сделали. Но это всего лишь часть моей работы, есть еще большой пласт аналитики, планирования, менеджерской работы с командами и т.д. Как-нибудь соберусь и напишу статью по росту продуктов и работе growth-команд, ну, или сделаю курс — почему бы и нет) Открыть/Комментировать

2021-01-27 20:27:44 Сегодня я расскажу про возможности бесплатного обучения в Яндексе, о которых вы могли не знать.

В этом году Академия Яндекса открывает бесплатный набор в четыре школы: разработки интерфейсов, бэкенд-разработки, мобильной разработки и дизайна. Ещё есть школа продакт-менеджеров, но набора в нее я пока не вижу. Так что, если интересно изучить новую профессию, или вы только начинаете свой путь в IT-индустрии — вэлкам. Очень хороший старт и возможность поработать с реальными продуктами Яндекса.
Набор скоро откроется, тут можете подробнее изучить: https://academy.yandex.ru/schools

Также Академия ведёт крутейший YouTube канал: https://www.youtube.com/c/АкадемияЯндекса.
Ребята выкладывают записи с прошедших потоков школ и многое другое.
Лично я посмотрел всё, что связанно с управлением проектами и продуктом, а также дизайном. Как по мне, из этого YouTube-канала можно почерпнуть гораздо больше, чем из многих платных курсах.

Ну и конечно я не могу не упомянуть Школу анализа данных (ШАД) — это бесплатная (если пройдете вступительные испытания) двухгодичная программа для тех, кто хочет стать продвинутым Data Scientist. Следующий набор начнётся в апреле, так что ещё есть время подготовиться. Я поступать в ШАД пока не планирую, но точно буду проходить весь материал, как зритель.

Подробнее тут: https://yandexdataschool.ru

Как видите, Яндекс предоставляет массу возможностей для бесплатного обучения, было бы желание, а время найдется.
Не забудьте поделится с теми, кому эта информация может быть важной. Открыть/Комментировать