Великолепный текст про эксперименты, платформы AB-testing, процессы и т.п.
Вместо конспекта несколько мыслей:
Эксперименты стали сложным. Если раньше тестировали лендинги и относительно простые части воронки, то сейчас всё больше тестируют core product во всей его сложности.
Способность проводить большое количество надёжных экспериментов — огромное конкурентное преимущество Google, Facebook, Netflix и пр. Кроме трафика и бренда, оно обеспечивается платформами экспериментов, которые они построили внутри.
Есть понятный набор логических и функциональных блоков, которые нужны платформе экспериментов, чтобы позволять компании делать большое количество надёжных экспериментов — см. в статье. Если их нет, то будет неуверенность в результатах, ошибки, etc.
Эксперимент — очень тактический инструмент, результатом работы которого должно быть знание (факт, инсайт, learning).
В правильно поставленном вопросе содержится от 30 до 90% ответа, но мало кто готов потратить 30-90% времени на его формулирование.
