Product Science

2022-02-07 20:50:32 Как раскатывать фичи в A/B с помощью подхода CRL

Все мы привыкли, что фазы раскатки фичи в A/B следуют планомерному увеличению траффика по ходу эксперимента (например, с 1% до 100%). В этом подходе мы хотим учесть, что на маленькой доле траффика много не потеряем на случай, если вдруг целевые метрики просели. Если все ок, то выкатываемся на полную. Такой подход понятен, он работает как часы. Однако, в таком подходе все равно всегда есть риск, что плохой эффект заметен будет не сразу, а чуть погодя. В первую очередь это может коснуться метрик лояльности (например, spu – sessions per user)

В Microsoft и других крупных компаниях практикуется альтернативный подход, в котором фазы лишь условно следуют этому правилу. Подход именуем как Controlled Rollout (CRL). Условность в том, что раскатка зависит не от доли траффика, а от аудитории. Пользователей можно поделить на 4 сегмента: Dogfood, Internal, Insiders, Production.

- Dogfood – по сути внутренняя разработка, оунеры фичи и интересанты
- Internal – внутренние сотрудники, которые могут исчисляться сотнями или тысячами в зависимости от размера компании
- Insiders – внешние пользователи/потребители продукта, которые ранее проявляли интерес к новшевствам сервиса и готовые получать их как можно раньше
- Production – все внешние пользователи

Для каждой аудитории выделены свои критерии и чекеры, говорящие об успешной фазе раскатки и не везде нужно ориентироваться на целевые (OEC) метрики, как это принято при поэтапной раскатке, постепенно увеличивая долю траффика. Что это за метрики и как устроена методология – можно почитать в пейпере Открыть/Комментировать

2021-12-30 22:25:59 Сходил в гости в подкаст «Хочу в айти».

Рассказал про свой карьерный путь через стартапы:
– как пилил свои проекты
– как работал в единорогах в самом начале их пути
– как помогаю другим запускать новые продукты

Обычно историю про свой карьерный путь я рассказываю где-нибудь в баре в ненапряжной обстановке. Даже удалось вдохновить парочку друзей попрбовать постартапить.

Саше и Диме удалось создать нужную атмосферу. Выпуск простой и ненапряжный. Без хардкора, который я обычно публикую в канале :)

Выпуск доустпен:
Apple Podcasts
Я.Музыка
Spotify
YouTube
Другие площадки

P.S.
Рекомендую слушать на скорости х0.75 :) Открыть/Комментировать

2021-12-26 16:38:50 Проверяем большое количество идей без разработки. Рецепт от Meta / Facebook

В новой статье предлагают методологию тестирования и ранжирования 15+ продуктовых инициатив.

Типичная проблема в продуктовой разработке – слишком много вариантов, что делать дальше.
1. Много идей томятся в головах у команды. Хочется понять на чем сфокусироваться, что выкинуть, а что отложить на потом.
2. Все разработать и протестировать нельзя – слишком долго и дорого. Даже кликабельных прототипов в таком объеме будет тяжело наклепать быстро.

Одно из решений состоит в том, чтобы прогнать через потенциальную ЦА наши идеи и собрать с них фидбэк, который уже потом использоваться в принятии решений.

Звучит здраво, но есть нюансы:
1. В идеальном случае мы хотим презентовать респондентам все варианты, чтобы они могли их сравнить 
2. Но человеку сложно оперировать большим количеством объектов (а мы говорим о десятках концептов) — сложно для мозга + банально долго и люди буду уставать сравнивать.

Авторы предлагают свой подход, который состоит из двух этапов: MaxDiff и Sequential Monadic опрос.
Это позволяет выбрать наиболее перспективные варианты и затем отранжировать победителей.
При этом получает статистически верные результаты (конечно, со оговорками нюансами, но это же только часть информации для окончательного принятия решения)

Жаль, что в статье не раскрывается, что является идеальным воплощением идеи/концепта.
Лишь комментируют, что лучше сравнивать только тексты без добавления картинок. На их данных, иллюстрации будущего прототипа сильно якорят респондентов и смещают ответы в сторону более проработанного макета.
Думаю, тут можно отдельно подискутировать, но аргумент звучит валидно.
Я так думаю, что идеальной реализацией концепта может послужить OnePager сделанный по лекалам Amazon. По-сути — это пресс-релиз будущего продукта в котором описано УТП и сценарии использования.

В реалиях Фейсбука такой проект занимает два месяца. Думаю, можно ужаться до одного месяца, но в любом случае штука не из быстрых. Поэтому я бы пользовался таким для решений, которые влекут долгосрочным последствиям (прорабатываем стратегию и планируем роаудмап на год вперед). Открыть/Комментировать

2021-12-26 16:38:46 Открыть/Комментировать

2021-12-26 16:38:12 Поддержать автора можно при помощи кнопки снизу. Открыть/Комментировать

2021-12-24 19:46:34 А что вас останавливает от того, чтобы гонять больше экспериментов?

https://twitter.com/ronnyk/status/1468678355222368256 Открыть/Комментировать

2021-12-21 19:59:01 Рассказ о том, где и как использовать дата саенс в дизигн, а дизигн в дата саенсе.
https://uxdesign.cc/why-design-needs-data-af3d47584847

Статья короткая, поэтому пересказывать нет смысла. Внутри коротко про основные методы и полезные ссылки.
Я хочу обратить внимение на то, где требуются такие смешанные подходы.

Например, сам автор, судя по его портфолио, работает в каком-то R&D поле, где смешиваются физическое и цифровое пространство.
Схожий кейс, но только развернутый на 300+ страниц, продвигается отделом Data Enabled Design из Philips.
Они делают всякие умные устройва для дома (называют это “intelligent ecosystems”) и в рамках таких проектов прибегают к смешанным ресерчам. Открыть/Комментировать

2021-12-21 18:43:43 Data-Prompted Interviews

Еще одна вариация как провести смешаный ресерч.
Предлагаю посмотреть запись, слайды и текст QnA сессии. Рассказывают про процесс и немного про тулы.

Ключевые слова: mixed methods, experience sampling method Открыть/Комментировать

2021-12-20 17:27:01 AI+Design появились на радаре Гартнера.

Думаю, они правы, что какие-то полезные инструменты массово проникнут на рынок через лет 5-7.

Интересно, как поменяется профессия дизайнера? Открыть/Комментировать