142. Определись с метриками заранее Когда я провожу экспериме | Притчи продуктолога

142. Определись с метриками заранее

Когда я провожу эксперимент в продукте, то ориентируюсь на данные. Проблема в том, что данных много и глаза разбегаются. Например, вы сравниваете два варианта страницы:

– По конверсии в платежи — победил вариант 1.
– Зато возврат денег запросили меньше в варианте 2, он победил.
– По последующим покупкам также лидирует вариант 2.
– А вот активность в продукте выше в варианте 1.
– Но удержание в течение трех месяцев лучше в варианте 2.

Метрик несколько десятков, может случиться, что в половине из них выиграет первый вариант, а в другой половине – второй. Глаза разбегаются, не понятно как сделать выбор. Данные не только вносят ясность и помогают принять решение, но также запутывают и заставляют застыть в нерешительности.

Чтобы не смущаться и не тормозить, лучше до начала эксперимента решить, какая метрика для вас главная. Также выбрать 2-3 вспомогательных метрики, которые помогут глубже взглянуть на главную метрику. Остальные 20 метрик нужно волевым решением игнорировать, что бы они ни показывали.