Using Back-Door Adjustment Causal Analysis to Measure Pre-Post | EXPF – математическая статистика и эксперименты

Using Back-Door Adjustment Causal Analysis to Measure Pre-Post Effects

Еще один метод для оценки влияния новых изменений без запуска A/B. Суть Back-Door Adjustment заключается в правильном подборе ковариат для оценки влияния целевого изменения на метрику. Помимо этого необходимо брать одинаковый период по pre- и post- периодам (например, 14 до публикации изменений и 14 после). Здесь главное правильным образом подобрать ковариаты, чтобы учесть факторы, влияющие на метрику кроме тестируемого изменения

В статье приводится пример с быстрой отладкой приложения. Эксперимент держать дорого, поэтому изменения публикуют на 100% пользователей и потом уже оценивают влияние на метрики.

Сама статья обзорная с кейсом без приведения источников, формул и т.п. По второй ссылке можно почитать подробнее про Back-Door Adjustment, а по третьей еще ноутбучек

https://doordash.engineering/2022/06/02/using-back-door-adjustment-causal-analysis-to-measure-pre-post-effects/

https://medium.data4sci.com/causal-inference-part-xi-backdoor-criterion-e29627a1da0e

https://github.com/DataForScience/Causality/blob/master/3.3%20-%20Backdoor%20Criterion.ipynb