EXPF – математическая статистика и эксперименты

2022-08-09 10:38:24 Мой близкий друг Саша Сахнов - человек который на мой взгляд лучше всех разбирается в а/б тестах

Еще в далеком 2018 году мы с ним и рядом других людей начали писать на Хабр про А/Б.
Сейчас он запустил цикл статей про А/Б, где каждая статья будет сложнее предыдущей - первая довольно базовая статья про Бутстрап (Обратите внимание на центральный доверительный интервал)

Также интересен небольшой разбор стратификации для повышения чувствительности тестов
Еще можно посмотреть это видео Открыть/Комментировать

2022-07-14 11:00:46 How Airbnb Safeguards Changes in Production
Статья от Airbnb про их процесс выкатки A/B-тестов:

Introduction
По мере того, как Airbnb выросла до компании с более чем 1200 разработчиками, количество платформ и каналов для внесения изменений в наш продукт — и количество ежедневных изменений, которые мы вносим в прод, — также значительно выросло. Перед лицом этого роста нам постоянно необходимо масштабировать возможности обнаруживать ошибки до того, как они попадут в рабочую среду. Однако ошибки неизбежно ускользают от предварительной проверки, поэтому мы также вкладываем значительные ресурсы в механизмы для быстрого обнаружения ошибок, когда они все же попадают в прод. В этом статье мы рассмотрим причины и фундамент системы защиты изменений в рабочей среде, которую мы называем безопасным развертыванием (Safe Deploys). В двух следующих постах будет подробно рассказано о технической архитектуре, о том, как мы применяли ее к традиционным A/B-тестам и развертыванию кода соответственно

https://medium.com/airbnb-engineering/how-airbnb-safeguards-changes-in-production-9fc9024f3446 Открыть/Комментировать

2022-07-11 09:48:01 P-values and surprising results
Ron Kohavi

Бывают ситуации, когда заходит речь про интепретацию результатов, многие обращая внимания на p-value неправильно истолковывают его значение. Во многом это связано с тем, как некоторые коммерческие A/B-платформы объясняют своим пользователям, что 1-pvalue – это «уверенность» в победе treatment’а.
В этом пейпере наглядно объясняется к каким результатам может привести неправильная интерпретация p-value

https://onedrive.live.com/view.aspx?resid=8612090E610871E4!415400&ithint=file,docx&authkey=!ACert2pUTlADS44 Открыть/Комментировать

2022-06-30 10:00:45 Meet Dash-AB — The Statistics Engine of Experimentation at DoorDash

Как устроена экспериментальная платформа в DoorDash

https://doordash.engineering/2022/05/24/meet-dash-ab-the-statistics-engine-of-experimentation-at-doordash/ Открыть/Комментировать

2022-06-27 10:47:01 Анализ рекомендаций до/без А/Б-тестов

Доклад от Ильдара Сафило (МТС) про тестирование рекомендательных систем



Открыть/Комментировать

2022-06-20 11:17:59 Кого читать и за чьими обновлениями следить?
Небольшой список ученых, инженеров и дс-ов, кто вносит существенный вклад в развитие экспериментальной отрасли

Ronny Kohavi
Google Scholar https://scholar.google.com/citations?user=O3RYHGwAAAAJ&hl=en
LinkedIn https://www.linkedin.com/in/ronnyk/

Aleksander Fabijan, Microsoft
Google Scholar https://scholar.google.com/citations?user=gXOUJLQAAAAJ&hl=en
LinkedIn https://www.linkedin.com/in/afabijan/

Pavel Dmitriev, Outreach.io (ex-Microsoft)
Google Scholar https://scholar.google.com/citations?user=Fj2OE3QAAAAJ&hl=en
LinkedIn https://www.linkedin.com/in/paveldmitriev/

Alex Deng, Airbnb, ex-Microsoft
Google Scholar https://scholar.google.com/citations?user=lRHv-7kAAAAJ&hl=en
LinkedIn https://www.linkedin.com/in/alex-shaojie-deng-b572347/

Lukas Vermeer, Vista (ex-Booking)
Google Scholar https://scholar.google.com/citations?user=t02wAMMAAAAJ&hl=en
LinkedIn https://www.linkedin.com/in/lukasvermeer/

Jiannan Lu, Apple
Google Scholar https://scholar.google.com/citations?user=wrKPStwAAAAJ&hl=en
LinkedIn https://www.linkedin.com/in/jiannan-lu-70721436/ Открыть/Комментировать

2022-06-17 10:01:18 Experimentation at FARFETCH
Как устроена экспериментальная культура, платформа и что используют в FARFETCH

https://www.farfetchtechblog.com/fotos/editor2/Greg/Experimentation_at_FARFETCH.pdf Открыть/Комментировать

2022-06-16 10:02:08 Как мы научились А/B-тестировать алгоритмы с помощью switchback-тестов

Опыт внедрения switchback’а наших друзей из Delivery Club

https://habr.com/ru/company/deliveryclub/blog/670762/ Открыть/Комментировать

2022-06-15 10:02:26 A/B Testing Intuition Busters
Common Misunderstandings in Online Controlled Experiments (Ron Kohavi, Alex Deng, Airbnb Inc, Lukas Vermeer, Vista)

В статье собраны простые рекомендации, которые помогут избежать ошибок при расчетах метрик в A/B, интерпретации результатов и разработке экспериментальной платформы

https://drive.google.com/file/d/1oK2HpKKXeQLX6gQeQpfEaCGZtNr2kR76/view Открыть/Комментировать

2022-06-14 12:16:29 Variance Reduction for Experiments with One-Sided Triggering using CUPED

https://arxiv.org/pdf/2112.13299.pdf Открыть/Комментировать