2021-11-17 03:15:09
Немного продуктовой аналитики.
Уже четвертый час работаю над дизайном АБ теста.
Сильно ограничен в выборке. Вот нужных пользователей - 1700.
Нулевая гипотеза - метрика не поменяется,
Альтернативная - метрика значимо изменится.
И в силу малого количества пользователей, и параметров распределения метрики
получается обнаруживать даже жирный эффект в 10–15% только в 1 случае из трех.
А вот отсутствие эффекта (когда его реально нет) я вижу в 95% случаев. И это хорошо.
Выяснил этот эффект благодаря моделированию
кучи синтетических АА и АБ тестов (писал про это не так давно.)
С такой чувствительностью - тест запускать нельзя. Не найдем эффект.
Обычный подход - увеличить выборку. Но я этого сделать не могу.
У меня есть следующие возможности для оптимизации.
- размеры временного окна наблюдений
- изменение критерия (среднее, медиана и т. д.)
- обработка данных.
С первыми двумя - понятно, а вот с обработкой - хочется остановится подробнее.
Основная проблема низкой чувствительности — это высокая дисперсия метрики.
Существуют разные способы снизить дисперсию, от стратификации до экзотичных способов трансформации данных.
Один из самых простых и надежных способов — Это СUPED.
Идея проста. Использовать значения до эксперимента и их связь со значениями после эксперимента
как поправочные коэффициенты для сокращения дисперсии
Не буду грузить статистикой, для желающих вот принципиальная работа
А в моих синтетических тестах использование CUPED дало двукратный рост чувствительности.
Eсли у вас аналитики просят больше пользователей - попросите их поискать способы
усилить чувствительность. Иногда это получается. Да и в принципе, продакту полезно разобраться в дизайне АБ тестов.
В таблице представлена как менялся процент случаев в которых мне удавалось найти эффект
когда он реально был,в зависимости от оптимизации метрик
размер_эффекта базовая_метрика_процент_успеха базовая_оптимизаця CUPED_метрика
1 1.01 0.059 0.088 0.283
2 1.02 0.059 0.088 0.291
3 1.03 0.089 0.132 0.334
4 1.04 0.109 0.162 0.352
5 1.05 0.099 0.147 0.398
6 1.06 0.109 0.162 0.403
7 1.07 0.109 0.162 0.427
8 1.08 0.129 0.191 0.437
9 1.09 0.139 0.206 0.491
10 1.10 0.158 0.235 0.645
11 1.11 0.188 0.280 0.658
12 1.12 0.198 0.294 0.756
13 1.13 0.208 0.309 0.755
14 1.14 0.218 0.324 0.768
15 1.15 0.267 0.397 0.750
1.7K viewsedited 00:15
F
