Про метрики, KPI и закон Гудхарта Общаясь со слушателями про | #прокачайаналитику / сквозная аналитика / продуктовая аналитика/ digital-аналитика / маркетинговая аналитика

Про метрики, KPI и закон Гудхарта

Общаясь со слушателями программы по сквозной аналитике в Вышке, я рекомендую формировать KPI из комбинации абсолютной и относительной метрик. Например, если поставить маркетингу KPI только на цену сделки, то руководитель рискует получить выполненный KPI при критически низком количестве самих этих сделок. Хороший KPI звучит как что-то вроде "получить N сделок в среднем по цене M за сделку за период K".

Но на практике некоторые KPI сформировать сложнее, чем кажется. "Когда метрика становится KPI, она перестает быть хорошей метрикой" — гласит закон Гудхарта в вольном переводе вашего покорного слуги. Я люблю приводить медицинский пример. "Доля успешных операций"— этот показатель выглядит как отличная метрика для оценки работа хирурга. Но давайте на минуту представим, что эта метрика становится KPI для всех хирургов страны. Главным результатом такого подхода станет... невозможность записи на операцию людей, страдающих тяжелыми (читай "не перспективными") формами заболеваний. Ведь вся карьера хирургов теперь будет привязана к % успешных операций, а такие больные просто портят им статистику!

А вот и другой пример из сферы маркетинга и продаж. После внедрения сквозной аналитики в компании вдруг резко упало качество лидов и, соответственно, продаж. Все больше лидов попадали в спам или по иным причинам не становились квалифицированными лидами. Потребовалась большая работа команды аналитиков, чтобы доказать, что проблема этого чудесного обвала где-то на стороне продаж. Выяснилось, что после внедрения сквозной аналитики департамент продаж получил новый KPI — % конверсии в качественный лид из заявки. Менеджеры по продажам быстро смекнули, что если все сложные лиды выпилить из воронки, то KPI взлетит до небес!

Мораль: формируя KPI, помните о законе Гудхарта.

Игорь Кузин, Co-founder&CEO в Smart'е