EXPF – математическая статистика и эксперименты

2021-02-04 13:43:22 10го февраля с 19:00 до 21:00 пройдет совместный митап EXPF x epic growth.

Программа митапа

1) Фреймворк для системы отчетности в компании – 19:00–19:30
Роман Бунин, руководитель команды визуализации данных Яндекс.Такси

2) Как сделать «честный» A/B-тест без A/B-теста? – 19:30–20:00
Искандер Мирмахмадов, Co-founder EXPF

3) Как настроить сплит-тесты в push-уведомлениях и не терять деньги– 20:00–20:30
Марат Жанабеков, Co-founder nGrow.ai

4)Глубокий анализ поведения пользователей в A/B тестах – 20:30–21:00
Максим Годзи, Founder Retentioneering

Ссылка на регистрацию – http://bit.ly/epicgrowthxexpf Открыть/Комментировать

2021-02-03 13:09:37 Три чеклиста для экспериментов

В статье подробно описывается порядок действий проверки A/B-теста на трех важных этапах:
- Дизайн (EXPERIMENT DESIGN ANALYSIS)
- Запуск (EXPERIMENT EXECUTION ANALYSIS)
- Завершение и анализ (EXPERIMENT DEBRIEF ANALYSIS)

Статья достойна внимания по двум причинам:
1) Публикация охватывает все аспекты работы с a/b и исчерпывающе систематизирует подход к проверке эксперимента
2) В ее работе участвовали Павел Дмитриев (ex-Microsoft, exp-platform.com) и Lukas Vermeer (booking.com, experimentation)

https://www.researchgate.net/publication/333614384_Three_Key_Checklists_and_Remedies_for_Trustworthy_Analysis_of_Online_Controlled_Experiments_at_Scale Открыть/Комментировать

2021-01-26 10:30:06 Switchback-тестирование

Выложили статью у нас в блоге про метод switchback-тестирования. Его целевой задачей является то, что он устраняет социальные эффекты. Мы ранее писали, что в исследовании социальный эффект может негативным образом сказаться на результаты из-за влияния наблюдений друг на друга. Метод применяется в Uber и DoorDash. Из российских компаний – Ситимобил.

Читать статью на медиуме Открыть/Комментировать

2021-01-11 13:07:44 Начинаем новый набор на интенсив EXPF по A/B-тестированиям, который стартует в марте 2021

http://expf.ru/ab_course Открыть/Комментировать

2020-11-20 11:09:56 Experiment Fest x Karpov.courses – Meetup 15.11.2020 (видеозаписи)

На прошлой неделе мы совместно с нашими друзьями из Karpov.courses провели митап по анализу данных и экспериментам

- Как Ситимобил научился проводить правильные эксперименты с водительскими мотивациями
Регина Дан, product manager ситимобил
Виталий Черемисинов, co-founder EXPF

- Сравниваем CTR правильно
Анатолий Карпов, основатель KarpovCourses и ведущий аналитик mail.ru

- Как сформировать лучший ассортимент в ретейле
Алена Трескова, ведущий аналитик Мвидео
Искандер Мирмахмадов, co-founder EXPF


- Предиктивный CUPED для региональных АБ-тестов
Тимур Исмагилов, ведущий аналитик Avito
Соня Стороженко, аналитик Avito



Открыть/Комментировать

2020-10-26 13:57:16 Начинаем новый набор на интенсив EXPF, который стартует в декабре 2020

https://www.experiment-fest.ru/ Открыть/Комментировать

2020-10-06 10:11:38 Дисбаланс в A/B-тестах. Есть ли разница между 99/1 % и 50/50 % в экспериментах?

Провели небольшое исследование и написали статью про несбалансированные A/B-тестирования. Как оказалось, проводя A/B на несбалансированных выборках, существенно возрастает вероятность упустить значимые различия, если они есть. В статье представлены результаты анализа и наши мысли на этот счет

Читать статью на Медиуме Открыть/Комментировать

2020-08-18 11:00:20 Увеличиваем чувствительность экспериментов при помощи ранговой трансформации

Мы перевели статью Booking про методику трансформации метрик, которая позволяет сократить время на проведение эксперимента.

Благодаря методики ранжирования значений метрики, можно добиться увеличения чувствительности. Т.е. на меньшем объеме выборки фиксируется меньший MDE.

Встает вопрос с интерпретацией результатов полученой величины. Но об этом в самой статье

Читать статью на Медиуме Открыть/Комментировать

2020-08-04 11:51:14 Начинаем новый набор на интенсив Experiment Fest

https://www.experiment-fest.ru/ Открыть/Комментировать

2020-06-29 20:41:19 Скоро анонсируем EXPF.calc
Кто хочет попробовать – ссылка для записи на тестирование https://forms.gle/5pwyCrATxMKDipzM6 Открыть/Комментировать