Есть бандиты однорукие, а есть — многорукие. Слышали о таких
Первые знакомы всем хотя бы по поп-культуре — это игровые автоматы. А вот вторые куда полезнее: это алгоритмы принятия решений. И встречаются они вам чаще, чем кажется — например, в рекомендательных системах смарт-телевизоров, о которых мы упоминали здесь.
Немного контекста: Термин «многорукий бандит» пришёл из теории вероятностей. И действительно описывает ситуацию выбора между несколькими игровыми автоматами.
Как действовать, если перед вами несколько «одноруких бандитов» и непонятно, какой принесёт выигрыш? Нужно пробовать разные варианты и со временем отдавать приоритет тем, что приносят больше монет.
Эту логику можно применять далеко за пределами казино. Например, в научной среде при выборе между разными методами: исследователь опирается на то, что уже показало результат, и параллельно проверяет новые идеи.
В ИТ многорукие бандиты используют активно. С их помощью сервисы подбирают рекомендации, показывают рекламу, меняют цены на лету, тестируют интерфейсы и карточки товаров.
Алгоритм постоянно балансирует между двумя процессами: исследование (explore) — пробует новые или редкие варианты;
использование (exploit) — отдаёт приоритет тому, что показывает лучший результат.
В отличие от классического A/B-тестирования, многорукий бандит наблюдает за реакциями пользователей и в реальном времени решает, какой вариант показать следующему человеку: уже «выстреливающий» или новый, который ещё нужно проверить.
Рассказываем, как это работает в Поиске Яндекса
Алгоритм периодически подмешивает в топ-выдачи новые или малоизвестные сайты, чтобы проверить их на аудитории. Если пользователи активно взаимодействуют с ресурсом, позиции могут закрепиться. Если нет — сайт постепенно возвращается ниже.
Так выдача становится гибче, честнее к новым ресурсам, а молодые сайты получают шанс заявить о себе.
Подведём итог: метод этот пока не самый популярный, но предельно понятный и экстремально полезный в части задач. Сталкивались с ним уже в работе или в учёбе?
— да, работаю с ними
— не слышал, интересная штука
— сталкивался только с одноруким
