Что такое MDE, или Minimal Detectable Effect в АБ тестировании | Analyst in Gamedev

Что такое MDE, или Minimal Detectable Effect в АБ тестировании

Ребята из towardsdatascience в своей статье пролили свет на самый неуловимый параметр в AБ тестах. Здесь приведу самые важные моменты для понимания MDE.

Часто MDE ошибочно интерпретируется как наименьший эффект, который можно обнаружить. И это понятно, поскольку именно на это указывает его название.
Но MDE — это не наименьший возможный эффект, который можно обнаружить в AB-тесте. Не путайте его с LIFT!

MDE — это минимальный размер эффекта, который должен быть обнаружен с определенной вероятностью.

Пример.
Представьте, что вы стоите перед конвейерной лентой, мимо которой проходят винты для проверки качества. Если бы вы хотели доказать, что качество 50% производимых винтов не соответствует стандартам, сколько винтов вы бы проверили, прежде чем сделать вывод? Наверное, меньше, чем если бы вы хотели доказать, что 2% винтов низкого качества.

Эту аналогию можно перенести в мир AB-тестирования. Чем меньше интересующий нас эффект, тем больше образцов нам нужно собрать, прежде чем делать какие-либо выводы. Увеличение требуемого размера выборки требует от нас проведения эксперимента в течение более длительного периода времени.