Про ограничения А/В-тестов Данные вопросы часто задают на со | Fresh Product Manager

Про ограничения А/В-тестов

Данные вопросы часто задают на собеседованиях. Вспомнил их, потому что скоро будет Design Regatta, где будет Андрей Менде из Booking, один из самых крутых специалистов в аналитике и проведении А/В-тестов

⁃ Когда нужно использовать AБ тестирование?
Чаще всего AБ тестирование проваливается из-за нечеткости поставленных целей, так что вы и не знаете, что собираетесь тестировать. Вы можете использовать AБ тестирование для проверки, к примеру, теории, приведет ли к увеличению посещаемости целевой страницы добавление изображения на нее? Что произойдет, если изменить заголовок, чтобы подчеркнуть временный характер предложения?

⁃ Как и когда я могу интерпретировать результаты сплит-тестирования?
Тестирование начинается. Начинают накапливаться первые результаты. И вы уже рветесь проверить, какой же из вариантов эффективнее. Но ранние этапы тестирования – не самое лучшее время для того, чтобы начинать интерпретировать результаты. Подождите того момента, когда тестирование достигнет статистической значимости и затем вернитесь к исходной гипотезе. При анализе теста, старайтесь остаться беспристрастны, соотнося полученные результаты с конкретными изменениями. Убедитесь, что существуют четкие связи между внесенными изменениями и результатом, а также, что на него не повлияли никакие сторонние силы.

⁃ А можно проводить несколько экспериментов параллельно?
Да, можно. Но с ограничениями. Выборки двух параллельных тестов не должны смешиваться. В противном случае одно изменение может повлиять на восприятие второго. Параллельные тесты можно настроить на стороне фронтенда, разметив события разными тегами для разных версий интерфейса.

⁃ Чем можно заменить А/В-тестирование?
Юзабилити-тестирование. Этим методом проверяют, насколько интерфейс удобен для пользователей. 
Для исследования не нужно привлекать разработчиков, как в случае с A/B-тестом. Нужно создать новый интерфейс на уровне макетов, собрать интерактивный прототип и пронаблюдать, как пользователи с ним взаимодействуют. Потом выявить возможные проблемы и найти решение.

Fake door тест. Когда разработать фичу — сложно и долго, этим методом можно проверить, нужна ли она пользователям. 
Для этого в интерфейс добавляется кнопка, за которой ничего нет, — fake door — и отслеживается, какой процент пользователей ее нажмет. За fake door обычно размещают сообщение о том, что раздел в разработке. Можно также добавить ссылку на опрос и таким образом собрать дополнительные данные для будущего продукта.

Релиз нового продукта на ограниченную аудиторию. Если есть достаточно времени, то вместо теста можно запустить продукт на один город, район или другую выделенную часть пользователей.

Такими инсайтами деляться в неформальной обстановке. Еще не придумали, чем заняться на майские? Присоединяйтесь к Design Regatta с 6 по 13 мая в Черногории.

Design Regatta — тревел-событие для представителей IT-сообщества и их друзей.

С нами - Андрей Менде (Booking), Алина Ермакова (SberDevices), Женя Волченкова (Tinkoff) и еще 3 лодки дизайнеров и продактов.

Это будет путешествие-открытие, путешествие-вечеринка на воде: мы не только научимся ставить паруса, увидим живописные бухты и побережья, но и каждый день будем погружаться в особенное событие, приключение или опыт. Костюмированные вчеринки в стилистике dark circus, шоу, игры, квесты, разговоры и практики. Это событие - про обмен опытом в создании продуктов и дизайна и создание творческого экспириенса на воде.

Черногория, 6 - 13 мая, Котор.
Всем моря и приключений!

Подробности на https://designregatta.ru/