Как подготовиться к A/B-тесту На связи #ps_четверг Саша Горб | //

Как подготовиться к A/B-тесту

На связи #ps_четверг Саша Горбачёв, главный по данным в People & Screens. A/B тестирование − классный инструмент, чтобы оценить эффективность новых подходов и идей. Он проверен временем, но всё равно вызывает много вопросов. Подготовил шпаргалку в помощь, ловите.

Размер тестируемой и контрольной групп

Проверьте, какую долю от общего размера исследуемого показателя (аудитория сайта, покупатели и т.п.) используете для формирования A/B групп.

Важно, чтобы она была достаточной для отражения всех особенностей общего показателя, но не слишком большой. Иначе эффект может перетекать из одной группы в другую и смазывать результат. Это критично при тестировании промо и гео-тестов.

Всё зависит от задач и доступной ёмкости, но мы рекомендуем брать для тестовой группы не менее 3% и не более 30% от доступного объёма.

Ожидания от эксперимента

Оцените, какой минимальный эффект необходим, чтобы считать тест успешным, и сможете ли вы его измерить по результатам A/B теста.

Например, нужен эффект от рекламы на продажи. Тогда определите, при каком росте продаж в рамках бюджета на тест получается положительный ROI и будет ли такой рост продаж в тестовой группе статистически значимым.

Качество данных

Не подгоняйте ожидаемый результат теста под качество собственных данных. Если они позволяют оценить только отклонение тестовой группы от контрольной на 20% и более, а положительная отдача инвестиций формируется при отклонении на 5% и более, работайте над улучшением качества данных и не ставьте целью расти на 20%.

Чистота эксперимента

Не запускайте одновременно несколько тестов на пересекающихся сегментах.

Длительность теста

При проведении A/B тестов с охватными медиаканалами, такими как ТВ и диджитал, заложите не менее 2 недель. Успеет накопиться эффективная частота контактов, а эффект выйдет на устойчивое плато.

Используете А/Б тестирование? С какими сложностями сталкиваетесь?