Хороший эксперимент, плохой эксперимент Перевели статью из бл | Epic Growth — рост продуктов

Хороший эксперимент, плохой эксперимент

Перевели статью из блога Reforge, которую написал Фарид Мусават — бывший директор по продуктам в Slack.

За последние 10 лет он провел сотни продуктовых экспериментов и совершил сотни ошибок, чтобы понять разницу между хорошим и плохим экспериментом. Ниже — основные отличия.

1. Хорошие — работают для улучшения продуктовой стратегии. Плохие улучшают только метрики.

2. Хорошие — строятся вокруг продукта и помогают команде более глубоко понять поведение пользователей. Плохие эксперименты рождаются в результате спонтанных брейнштормов, которые не связаны со стратегией роста.

3. Хорошие — влияют на результат, решая реальные проблемы пользователей. Плохие — меняют метрики, но не решают проблемы пользователей.

4. Хорошие эксперименты — как ставки: чем больше риск, тем больше рост. Плохие эксперименты — это бесконечные оптимизации и попытки улучшить незначительных деталей, которые в результате не способствуют кратному росту.

5. Хорошие — отвечают на вопрос: «Что нам делать с тем, что мы узнали?» Помогают понять, почему что-то сработало или нет, подтвердить или опровергнуть гипотезы, продолжать эксперимент или переключиться на другой. Плохие тесты сводятся к вопросу: «Оставить или выключить?» и быстро забываются.

6. Хорошие — инструмент покорности. Вы проверяете то, во что верите, но в чем не уверены. Плохие тесты используются, чтобы отложить принятие решений, уладить разногласия или позволить данным сказать вам, что нужно делать.

7. Хорошие эксперименты с самого начала оперируют метриками успеха. Плохие — запускаются без понимания, какие показатели нужно отслеживать, и команды смотрят на те метрики, которые улучшаются, чтобы оправдать идею, а не проверить гипотезу.

8. Хорошие — рассматривают все команды внутри компании как систему и предполагают компромиссы. Плохие — поощряют личные победы и OKR, даже если они идут в ущерб другим членам команды.

9. Хорошие эксперименты максимально подробно документируются при запуске. Плохие перезапускаются из-за нехватки данных.

10. Хорошие — обсуждаются. Они записываются, широко распространяются и документируются на будущее. Плохие запускаются, но никогда не замыкают цикл.

11. Хорошие — интегрированы в основной процесс разработки продукта. Они учитывают культурные принципы и рассчитаны на долгосрочный успех команды. Плохие порождают бесконечные споры и ведут к недоверию и отсутствию сотрудничества.

12. У хороших экспериментов есть план успеха. Успешные эксперименты становятся частью продукта и интегрируются в процесс запуска. Плохие навсегда оставляют MVP в продукте.