2021-03-22 17:13:04
Материалы по экспериментам от Романа Поборчего.
Начнем с простого - A/B-тесты для "нематематиков" о методах грамотного оценивания результатов a/b-тестирования. Особое внимание уделяется вопросу о том, на какую целевую метрику ориентироваться при проведении маркетинговых экспериментов.
Продолжим вопросами дизайна эксперимента. Уже пора задуматься о том, на каких допущениях основан эксперимент: по-настоящему случайное распределение пользователей, независимость измеряемых событий и т.д.
Бывали ситуации, когда вы или вам говорили, что данных недостаточно для решения? Часто это действительно так, но нередко всё дело в поломках системы экспериментов и учёта пользовательской статистики. Рассмотрим типичные поломки, которые встречаются, и у вас появится возможность, вернувшись на рабочее место найти свои.
И на последок - грабли А/В-тестирования. Все изменения в сервисе проходят через эксперимент на пользователях. Выкатываем только то, что показывает значимое улучшение целевой метрики. Да, у нас есть целевая метрика. Да, мы всё знаем про статистическую значимость. Но почему целевая метрика нашего сервиса сегодня находится точно на том же уровне, что и год назад? Разбираемся
= = =
Но мы пошли дальше, нашли "белые пятна" в доступных материалах (не именно этих, а вообще) и закроем их на нашей
конференции по продуктовой аналитике 8-9 апреля.
Уже знакомый вам Роман Поборчий расскажет о том,
каковы этапы эволюции in-house системы экспериментов в любой компании. Это важно понимать хотя бы потому, что на маленьком и большом трафике абсолютно разные подходы к проведению экспериментов + к этому, Искандер Мирмахмадов, EXPF расскажет
как проверять качество систем сплитования трафика на платформах экспериментов с теорией, кейсам и демонстрацией кода на Python. И у вас все сложится в единую систему.
Кроме этого, Андрей Кузнецов, Lead Core Analytics ВКонтакте, готовит лекцию о том,
почему регрессионные модели в а/б-тестах — это супер полезно. Он математик и ему есть что сказать. И как вишенка на торте - Кирилл Шмидт, lead product analyst, Wrike. Поговорим с ним о том,
что делать, когда а/б-тест невозможен: выборки слишком малы, нет ресурсов, когда вообще не запускать эксперимент.
Ждем вас на нашей конференции уже через 3 недели: https://aha.matemarketing.ru/
@internetanalytics
919 views14:13
A
