Facebook серьёзно взялся за интернет-шопинг и планируют скор | Маркетинг без бюджета
Facebook серьёзно взялся за интернет-шопинг и планируют скоро выкатить визуальный поиск в Instagram — можно будет искать похожие продукты просто по одному фото. Строят эту технологию на улучшенной сетке для Product Recognition и Deep Metric Learning — GrokNet, которую Facebook Applied AI Research показал еще в прошлом году.
То есть цель фейсбука сейчас — сделать возможным для пользователя покупать любую вещь на любой фотке. Понравилась футболка или блейзер у кого-то на фото в инсте — просто кликаете на предмет и вас переносит в магазин с этим товаром. Либо смотрите лайв-стрим концерта своего любимого исполнителя и онлайн просматриваете во что он одет, и сколько это стоит. Звучит круто для шопоголиков!
Так как различных товаров и и объектов очень-очень много, то нейронка, которая лежит в основе этой технологии, должна уметь во время инференса работать с новыми классами объектов и новыми аттрибутами, которых не было в тренировочной выборке. Обычно это достигается с помощью обучения проекции из домена RGB картинок в какое-то многомерное Евклидово пространство, где, измерив расстояние между объектами, можно понять насколько они похожи. В этом случае вовсе не обязательно знать класс объекта, главное — это то, что похожие объекты будут проецироваться в одну область пространства. Также возможно обучить еще один энкодер, которые будет брать на вход текстовое описание продукта, например "роскошны диван конца 19 века", и тоже мапить в некую точку в пространства, по которой можно найти ближайшую картинку, измерив расстояние до соседних точек в этом пространстве.
Подробнее можно почитать тут.
