Как спланировать достижение OKR Стандарт индустрии - только 2 | О бизнес-анализе и не только

Как спланировать достижение OKR

Стандарт индустрии - только 20-30% от всех A/B тестов успешны (у меня нет ссылки с пруфом, но могу сказать, что на моем проекте так и получается. И скорее 20%, чем 30%).

Вдумайтесь в эти цифры. Т.е. получается, что 70-80% тех улучшений, которые мы пилим на аутсорсных проектах (где нет тестирования) - просто выброшенные деньги.

Но имея это знание, спланировать улучшение некоторой метрики становится простым математическим упражнением.

Например, вам нужно улучшить метрику на 3% за квартал. Вы знаете, что в среднем MDE (minimum detectable effect) одного эксперимента - 1%. Значит, вам нужно получить 3-4 успешных эксперимента. Получается, что за квартал вам нужно запустить 15-20 экспериментов (при success rate = 20%).

Много это или мало - зависит от размера команды и самого продукта. И конечно же может случиться так, что у вас будет суперуспешный эксперимент, который сразу обеспечит 2/3 улучшения метрики. А может быть такое, что все эксперименты вернутся flat, потому что вы плохо поработали или над выявлением действительно impactful гипотез, или над имплементацией решений для этих гипотез.

Но тем не менее, вы можете перевести абстрактное 3% улучшения метрики в более конкретное: в текущем квартале запустить 15-20 качественных A/B тестов, основанных на impactful гипотезах.

И здраво оценить 1) реально ли это в принципе 2) как организовать работу команды так, чтобы это стало реальным.

Если вам интересно (дайте знать реакциями), я могу далее подробней раскрыть свои мысли по каждому ключевому аспекту успеха: 1) количество тестов 2) качество тестов 3) impactful гипотезы.

Но пойму, если такой крен в продукт-менеджмент - это не то, на что вы рассчитывали, подписываясь на мой канал.

З.Ы. - какой русский аналог слова impactful? в том контексте, в котором я употребляю его в этой заметке?
#горопека_о_продукте