Почему А/Б эксперименты важны для бизнеса? На днях общался с | No Data No Growth | Pavel Bukhtik

Почему А/Б эксперименты важны для бизнеса?

На днях общался с клиентом. Он владеет компанией, которая занимается разработкой мобильных игр. Всего игр 5: 2 уже закрылись, 2 в магазинах и 1 ещё создается.

Со мной поделились болью о том, что каждая третья выкладка крупных изменений в их играх драматически влияют на экономику. Речь идет о просадках в 10-15% от общей выручки. После каждого такого удара приходится восстанавливаться серией обновлений.

По этой причине закрылось уже 2 игры.

На вопрос «проводите ли вы а/б тесты?», я получил следующий ответ: «мы считаем, что они нам не нужны».

А/Б тесты – единственный надежный способ оценки эффекта и целесообразности изменений. Только с их помощью возможно зафиксировать то, сколько в среднем раз мы готовы ошибаться. Другие статистические методы таким свойством не наделены. Куда уж интуиции.