Поделюсь правилами, которых я придерживаюсь в экспериментах на | Growth Lab

Поделюсь правилами, которых я придерживаюсь в экспериментах над посадочными страницами.
На самом деле, в них нет ничего новаторского – они логичны и просты, но почему-то про них мало кто вспоминает, когда дело доходит до экспериментов.

1. Все эксперименты должны идти последовательно, в виде древовидной структуры, т.е. новый эксперимент наследует результативность предыдущего, а не ломает его. И запускается он после того, как предыдущий уже в проде.

2. Несколько экспериментов можно запускать параллельно, если они не пересекаются -> находятся на разных этапах воронки и имеют разные метрики для оценки.

3. Не делаем выводы по эксперименту и не катим его в прод, пока данные не будут статистически значимыми.

4. Чтобы избежать ошибки преждевременных выводов (peeking problem), перед каждым экспериментом нужно производить расчет. Расчет поможет определить количество пользователей в выборке и продолжительность эксперимента. Продолжаем придерживаться этого расчета до выявления победителя.

5. Данные для выводов должны быть «чистыми» – очищены от фрода, асимметрии в выборках (должны быть репрезентативными), сезонных и недельных перекосов.

Также чтобы принять или отвергнуть нулевую гипотезу, выборки в тестовой и контрольной группах не должны отличаться, т.е должны быть одинаковые источники трафика, аудитории/таргетинги, креативы и т.д.