Что не так с попыткой заработать денег с помощью рекомендатель | Product Science

Что не так с попыткой заработать денег с помощью рекомендательной системы

Допустим, у вас есть интернет-магазин, и на странице товара вы показываете несколько похожих или сопутствующих товаров. Например, можете показывать другие товары из той же категории или популярные. И тут вам приходит в голову персонализировать эти предложения.

Внедрив персональные рекомендации с помощью ML, вы смотрите статистику по кликам и покупкам и замечаете, что через клик на рекомендательный блок товары начали покупать вдвое чаще. Ура, вы поднимаете конверсию в покупку вдвое, теперь заработаете вдвое больше денег. Или нет? Вот, увы, нет.

Во-первых, конверсия с блока рекомендаций и конверсия с захода на сайт в покупку - не одно и то же. Например, если 80% трафика у вас идёт через каталог и игнорирует рекомендации, а 20% пользуется рекомендациями, то увеличение конверсии блока может быть связано, например, с тем, что вы обслуживаете им все те же 20% клиентов, просто более результативно. На практике конечно чем лучше рекомендации, тем больше клиентов вовлекаются в их использование в принципе, но это приводит нас к следующему тезису.

Вторая проблема - тот факт, что люди покупают товар с помощью рекомендаций, ещё не значит, что не купили бы без них. Возможно, они итак бы нашли товар через поиск и навигацию по каталогу, но рекомендации каннибализировали трафик с других элементов интерфейса, т.к. пользователю стало просто удобнее кликать по ним. В чем боль? В том, что рекомендации вроде бы и полезны, но не обязательно создают дополнительные продажи.

Как же тогда понять пользу от рекомендаций? Сделайте А/В тест, в одной группе показывайте новые рекомендации, в другой группе старые неперсонализированные, оцените статзначимость различий в выручке с пользователя или конверсиях с захода на сайт в покупку.

Скорее всего, вас ждёт два грустных открытия:
1) чтобы данных за несколько недель хватало для статзначимости, ваш магазин должен быть Озоном, Яндекс.Маркетом или Wildberries, а гонять тесты дольше при каждой доработке рекомендаций - не рабочая история,
2) конверсию в покупку вы в лучшем случае увеличиваете на несколько процентов, а деньги вовсе не значимы (точнее, не статзначимы).

Итог: миллионные и миллиардные эффекты от рекомендательных систем можно насчитать только в формате «на сколько напродавали с использованием рекомендаций», но не в формате «сколько заработанных денег мы бы недополучили без рекомендаций».

В следующих частях - что люди придумывали, чтобы заставить рекомендательные системы приносить деньги, и что делать, чтобы правда заработать на рекомендациях