Когнитивные искажения в продуктовой аналитике. Я много работаю | Something Useless

Когнитивные искажения в продуктовой аналитике.
Я много работаю с не-аналитиками: дизайнерами, редакторами. И часто замечаю такой паттерн мышления: давайте проверим какую-то метрику и улучшим те айтемы, которые перформят хуже всего.
Например, давайте посмотрим на CTR разных обложек и перерисуем те, на которые меньше всего кликают. Обычно лучшие и худшие CTR различаются раз в 10 и эмоционально такое желание очень понятно.

Но на самом деле это не оптимальное действие. Мы улучшаем отдельные элементы, чтобы вся система работала лучше: например, чтобы совершалось больше покупок или чтобы пользователи дольше зависали внутри. И точно есть какие-то айтемы, которые генерят больше целевых действий. Так вот, если мы никогда не улучшали эти айтемы, намного выгоднее начать именно с них, даже если у них уже достаточно хороший CTR - наверняка его можно сделать ещё лучше и быстро повлиять на всю систему.