Развитие систем рекомендаций – это основная тема, с которой я | Product Science

Развитие систем рекомендаций – это основная тема, с которой я работаю последние полгода. Топик горячий, вопросов много, а детальных кейсов, на которых можно учиться, очень мало.
Тем ценнее читать хорошие примеры из индустрии. Вот свежий от Spotify.

Краткий пересказ:
1. Spotify хотят сделать более крутые рекомендации. Оно и логично. Рекомендации – это фишка их продукта, которая напрямую влияет на бизнес-метрики (в это статье об это упоминается взколь, но про это они писали в других материалах).
2. Осталось только понять, а что такое "круто" и как его увеличивать.
3. Из других исследований и лучших дизайн/продуктовых практик известно, что за каждым пользовательским взаимодействием с системой стоит какая-то цель или потребность.
4. Гипотеза – если научиться учитывать потребности в движке рекомендаций, то это увеличит целевые бизнес-метрик и даст понимание, на какие прокси-метрики следует ориентироваться при улучшении движка.
5. Инициировали цепочку исследований, чтобы вытащить список задач. Тут использовали как количественные, так и качественные методы – десятки интервью и опросы на сотни тысяч пользователей.
6. Нашли 8 потребностей. Т.к. была связка ответов пользователей с их поведением в продукте, то смогли наложить разные метрики на сессии и понять по каким метриках можно определять их тип. Ну и какие интеракции имеют значение для каждой потребности.
7. Т.к. научились находить тип сессии на данных, то это уже можно использовать как параметр при моделировании.
8. Построили несколько моделей, прогнали через оффлайн симуляторы и онлайн АБ-тесты. Получили аплифты.

Вот так вот сложно. Думаю, это заняло суммарно не менее 6 месяцев. Но эту сложность можно понять – они улучшают зрелый продукт, который и так один из топов на рынке. Низковисящие фрукты уже давно сорваны. Остались сложные проблемы. И вот тут на помощь и приходят продвинутые методы исследований и аналитики.

#mixed_methods #recommender_system