Для проверки качества рекомендаций мы месяц назад начали делать тесты смеха. Спрашиваем в лоб у пользователя, насколько смешной этот мем или нет. И дальше проверяем, насколько action rate мема соответствует процентовке ответов «Смешно».
Получается интересная штука: мы берем TOP 100 мемов по action rate за прошлую неделю. Обычно там только хороший контент (action rate 10-12 из 100, что мы считаем очень хорошим).
Из ста мемов только десять аудитория признает смешными (более 60% респондентов ответят что это смешно). Туда обычно заходят шутки на грани, пример прикладываю. Остальное это просто обычные мемы, массовка, которая просто по стате получила лайки и шеры.
Это я к чему: бигдата это круто, но иногда лучше делать дабл-чек старыми добрыми методами
