Пожалуй, буду выкладывать сюда заметки, которые пишу по итогам | Product Science

Пожалуй, буду выкладывать сюда заметки, которые пишу по итогам тредов в чате аналитиков.

Возник вопрос о поиске хороших гайдов по дизайну метрик.

Сразу порекомендовали
1. Towards universal event analytics - building an event grammar от Snowplow (хотя это руководство больше про ивенты, чем про метрики)
2. Guide to product metrics от Mixpanel
3. Designing and evaluating metrics
4. Отслеживание роста продукта на длинном периоде и подходы к оценке устойчивости собраны в статье Data informed product building (главы 1-5) из блога Sequoia

Одна из целей дизайна метрик - определение NSM (North Star Metric) - главной стратегической метрики. Поэтому, был упомянут чеклист для NSM от Amplitude c оговоркой, что он довольно абстрактный.

1. It expresses value. We can see why it matters to customers.
2. It represents vision and strategy. Our company’s product and business
strategy are reflected in it.
3. It’s a leading indicator of success. It predicts future results, rather than reflecting past results.
4. It’s actionable. We can take action to influence it.
5. It’s understandable. It’s framed in plain language that non-technical
partners can understand.
6. It’s measurable. We can instrument our products to track it.
7. It’s not a vanity metric. When it changes we can be confident that the change is meaningful and valuable, rather than being something that doesn’t actually predict long-term success—even if it makes the team feel good about itself.

Для погружения в проблематику подходов к определению NSM, можно посмотреть лекцию Андрея Пушвинцева из Miro с прошлого Матемаркетинга (необходима регистрация), где он рассказывает о процессе внедрения NSM-framework для фокусирования компании на ценности для пользователей, а не на деньгах.

Важное замечание к ссылкам выше: любой гайд, в котором нет руководства про проверке метрик на надежность и чувствительность, не является полноценным и поэтому подход к имплементации и внедрению ”в лоб” довольно опасен и может скрывать множество подводных камней. О том, как искать прокси-метрики в продуктах хорошо рассказано здесь. При этом, важно учитывать, что чувствительно метрик и чувствительность KPI не совсем одно и тоже - с KPI сложнее и чувствительность низкая. Для погружения в тему можно изучить руководство по Measuring Metrics.

@internetanalytics