Winner’s Curse: Bias Estimation for Total Effects of Features | EXPF – математическая статистика и эксперименты

Winner’s Curse: Bias Estimation for Total Effects of Features in
Online Controlled Experiments

Еще раз про bias, но не про novelty effects, heavy users и т.п..

В один момент могут проводиться десятки-сотни экспериментов, и в прод идут только с успешным вердиктом. Совокупный эффект этих экспериментов может быть завышен, если смотреть на их комбинацию «влоб». В пейпере приводится метод, позволяющий избавиться от bias’а и узнать total true effect

https://www.kdd.org/kdd2018/accepted-papers/view/winners-curse-bias-estimation-for-total-effects-of-features-in-online-contr

https://dl.acm.org/doi/pdf/10.1145/3219819.3219905