На что опираться при определении размера выборки при оптимизац | Fresh Product Manager
На что опираться при определении размера выборки при оптимизации А/В-тестов
⁃ Точки чувствительности (ключевая метрика), в том числе в рамках жизненного цикла юзера — выборку стоит рассчитывать на основе той доли юзеров, которая доходит до места изменения.
⁃ Учитывать важные сегменты, в рамках которых мы хотим проверить влияние — каждый сегмент расцениваем как отдельный тест со своей выборкой, своими ошибками первого и второго рода и так далее, но делать это аккуратно, чтобы не привести к p-hacking’у. Нужно обязательно делать статистические поправки при таком анализе (например, поправку Бонферрони: делить выбранный уровень значимости (5%) на количество сравнений в тесте.
⁃ Учитывать минимальный эффект влияния на метрику, который удастся обнаружить тестом (minimum detectable effect). Чем большего влияния мы ожидаем, тем меньше выборка потребуется. Если вы не ожидаете конкретного влияния, а лишь бы стало лучше от изменения — можно определить другие приемлемые для вас параметры, включая количество пользователей, на сбор которых готовы потратить время и узнать ту минимальную степень влияния, которую на момент завершения фактически сможете уловить, проведя тест. Если на этот момент разница между вариантами теста окажется бОльшей, чем фактический эффект, который может обнаружить стат. значимое изменение – тест проведен успешно, минимальная выборка точно набралась и можно смотреть на результат. В обратном же случае можно увидеть только отсутствие статистической значимости.
⁃ Учитывать количество дней недели, которые нужно охватить тестом для получения данных по метрикам, показывающим волатильность в зависимости от дня недели. Иногда продукт может собрать внушительную выборку за полдня, но для получения объективной картины по дням недели его всё равно лучше проводить не менее 7 дней.
Навыки запусков А/В-тестов - один из самых востребованных для продакт-менеджеров.
Яндекс Практикум разработал практический курс по аналитике для тех, кто работает с продуктом и хочет разобраться в метриках продукта, рассчитывать их и влиять на них, проводить продуктовые исследования, сегментировать пользователей и определять, какой сегмент что покупает, считать юнит-экономику и находить точки роста в продукте и готовиться к A/B-тестам, интерпретировать результаты и улучшать анализ.
Проекты на курсе будут из разных сфер: онлайн-кинотеатр, маркет-плейс или сервис доставки еды. Каждые 2-3 недели студенты будут получать обратную связь от менторов — ведущих аналитиков российских компаний. Они поделятся кейсами и дадут советы по вашим проектам.
→Начать учиться
