2022-04-21 10:06:35
Никогда такого не было, и вот опять… что делать с красными АВ-тестами, если падение метрик изначально предсказуемо, но долгосрочно нам это изменение важно. Мы сейчас сильно шатаем интерфейсы для покупателей, поэтому с такой ситуацией за последние пару недель столкнулись сразу несколько продактов. Было много жарких споров, решила порефлексировать здесь: вам полезно, и я буду потом перечитывать :)
Погнали. Без чего не стоит даже начинать такие эксперименты, так это без ответа на вопрос: зачем нам изменение, которое просадит метрики, и почему мы готовы к просадке. Если с этим справились, вот вам вопросы посложнее:
- К какому максимальному падению метрик мы готовы и почему?
- Что будем делать дальше: как и когда отыграем падение или на какую другую метрику его разменяем?
В моём случае речь идёт об инструментах внутренней коммуникации с пользователями. Многие внешние каналы отвалились, поэтому важно эффективно использовать внутренние (например, рассказывать покупателям автомобилей о возможности купить запчасти или об услугах автосервиса). В качестве внутреннего инструмента коммуникации можно, например, использовать блок сторисов. Сторисы висят на главной странице, сдвигают ниже блок рекомендаций и, естественно, отъедают его метрики. Что я с этим сделала:
1. Выписала все идеи по прокачке сторис и посчитала, насколько каждая из них отыграет падение метрик (и когда это произойдёт).
2. Поспрашивала ребят из маркетинга, какие у нас бюджеты на рекламу, какие каналы используем, сколько они приносят пользователей и сколько нам это стоит. Сейчас как раз пересчитываю падение метрик в деньги, чтобы сравнить с рекламными бюджетами и перфомансом внешних каналов. Грубо говоря, сколько нам стоит привлечь покупателя в новую категорию изнутри, а не извне.
Было бы идеально, если бы я всё это сделала до эксперимента, но нет. Не будьте как я, договаривайтесь с коллегами заранее — так легче
2.0K views07:06