Последние полгода много работаю с фичами и продуктами на основ | Product Science

Последние полгода много работаю с фичами и продуктами на основе машинного обучения. В основном с рекомендательными системами.

С точки зрения продукта, хочется как можно быстрее и дешевле проверить гипотезу без разработки и двигаться дальше.

Для классического софта можно реализовать прототип с заранее заскриптованным сценарием и прогнать его на юзер тестинге.
С рекомендациями так просто не получится. Сам формат фичи подразумевает подстройку под действия конкретного респондента. Заранее прописать прописать все сценарии вряд ли получится (ну может только в очень узкой области, но тогда скорее всего и ML там не нужен, а хватит эвристики).

В Google такие задачи решают так — заменяют ML на человека и симулируют работу системы. Называется этот метод «волшебник их страны Оз». Подход интересный и позволяет проверить гипотезы без привлечения ML инженеров, но сделать такой прототип может оказаться тоже сложной задачей.
По-сути, Google подменяют «дорогую» разработку на дешевую. У них есть команда UX Engineering, которая и делает прототипы, которыми может управлять человек. Думаю, мало у кого есть возможность делать такие прототипы, а ML как-то тестировать же хочется.

Пока мне не попадалось «дешевых» способов тестировать ML без разработки (зато более менее понятно как это делать в проде имея систему для АБ-тестов).
Может быть вы знаете какие-то способы? Делитесь в комментариях.

https://design.google/library/simulating-intelligence/