#AB Что такое негативный АБ тест? Негативный (или ухудшающий | Artificial stupidity

#AB

Что такое негативный АБ тест?

Негативный (или ухудшающий) АБ тест предполагает под собой обратное классическому АБ тест действие - ухудшение сервиса для пользователя.

Например: что будет, если наш сайт будет отвечать на 100мс дольше? Или другой пример - что будет, если мы выключим персональные рекомендации для части наших пользователей?

Обычно, такого рода тесты используют, чтобы оценить негативные эффекты от ухудшения сервиса. Либо для оценки оказываемого эффекта через некоторое время после запуска теста.

Основные проблемы, которые могут быть при проведении такого эксперимента:
1. Сопротивление менеджмента, продакта и прочих коллег, которые не очень понимают, что бесплатно узнать нам такую информацию вряд ли удастся (только если не возникнет "естественного АБ теста", где у части пользователей что-то сломается само, а мы это проанализируем);
2. Сопротивление пользователей. К примеру, если мы отключим части пользователей рекомендации, которые стали удобным для них инструментом, то поддержке стоит ждать множества обращений, а-ля "Дуров - верни стену". С этим что-то придется делать (вплоть до остановки эксперимента, если все совсем плохо).

В итоге получаем достаточно полезный, но неоднозначный инструмент.