История одного A/B теста длиною в год Мы привыкли, что время | Продукторий Владимира Меркушева

История одного A/B теста длиною в год

Мы привыкли, что время проведения A/B теста принято оптимизировать. Чем раньше эксперимент наберёт статистически значимые данные, тем лучше — мы быстрее сможем принять решение по нашей гипотезе. Но, бывают исключения. Очень долгие A/B тесты, длиною в несколько месяцев или даже лет, могут давать совершенно другие результаты, когда в деле замешана лояльность пользователей к продукту.

По ссылке ниже можно почитать как команда Facebook экспериментирует с частотой уведомлений. Оказалось, что меньшее количество уведомлений пользователю снижает вовлечение в краткосрочном периоде, но в долгосрочной перспективе его значительно увеличивает! Интересный edge case, полезно знать о таких нюансах. Хотя, ну кто вам даст проводить A/B тест в течение года, если вы не в Facebook

https://medium.com/@AnalyticsAtMeta/notifications-why-less-is-more-how-facebook-has-been-increasing-both-user-satisfaction-and-app-9463f7325e7d

PS: отключите все уведомления в социальных сетях. Они всегда будут стараться вернуть вас в приложение когда им нужно. Открывайте социальные сети, когда это нужно вам! Практикую этот подход уже более 5 лет. Очень хорошо помогает сохранить внимание и энергию.

#productlinks #lifehacks