Настройте экспериментВо время прохождения A / B-тестирования Google на Udacity у меня возникли вопросы о некоторых математических шагах, которые не были четко охвачены этим курсом. Это понятно, потому что курс должен был быть сжатым и кратким обзором. Чтобы разрешить свои вопросы, я обратился к другим источникам в сети и решил обобщить то, что узнал в этой статье.
План для A / B тестов
Настройте эксперимент.
Запустите тест и запишите показатель успешности для каждой группы.
График распределения разницы между двумя образцами.
Рассчитать статистическую мощность.
Оцените, как размер выборки влияет на A / B тесты.
1. Настройте эксперимент
Мы проведем A / B-тест для гипотетической компании, которая пытается увеличить количество пользователей, которые подписываются на премиум-аккаунт. Целью запуска A / B-теста является оценка того, приведет ли изменение веб-сайта к повышению производительности в конкретной метрике. Вы можете решить протестировать очень простые альтернативы, такие как изменение внешнего вида одной кнопки на веб-странице или тестирование различных макетов и заголовков. Вы также можете запустить A / B-тест на многошаговых процессах, которые могут иметь много различий. Примеры этого включают шаги, необходимые для регистрации нового пользователя или обработки продажи на онлайн-рынке. A / B-тестирование является огромным предметом, и существует множество методик и правил проведения эксперимента
