Аналитика для всех

2022-03-21 21:42:22 Когда впервые аналитики сталкиваются с задачей визуализацией данных, у них часто возникают вопросы:
- какой график мне использовать?
- как правильно расставить акценты?
- как сделать визуализацию читаемой, когда очень много данных?
- какие есть best-practices вокруг графиков?
- и многое другое

Ниже я поделюсь набором полезных ресурсов из своей коллекции, которые могут с этим помочь:
1. Замечательная книга Коул Нассбаумер Нафлик "Данные: визуализируй, расскажи, используй"
2. Книга с человеческим описанием стандартов International Business Communication Standards (IBCS) - Антон Жиянов "Data Visualization Guide for Presentations, Reports, and Dashboards" (ссылка)
3. Различные style-guide:
- Urban Institute - https://urbaninstitute.github.io/graphics-styleguide/
- Cato Institute - https://github.com/glosophy/CatoDataVizGuidelines/blob/master/PocketStyleBook.pdf
- Большая коллекция различных style-guide - https://policyviz.com/2016/11/30/style-guides
4. Подход к цветовым палитрам компании Ant - https://ant.design/docs/spec/colors
5. Хороший набор советов от компании Salesforce - https://www.lightningdesignsystem.com/guidelines/charts/
6. Цвета и их комбинирование на графиках от компании Adobe - https://spectrum.adobe.com/page/color-for-data-visualization/
7. Принципы визуалиции данных в Material Design - https://material.io/design/communication/data-visualization.html
8. Каталог различных визуалиций - https://datavizcatalogue.com/#google_vignette
9. Отличный курс по визуалиции от Google - https://coursera.org/share/9fac5ef9883dbf6fb32140060d5e99a1
10. Интересный PDF, который должен помочь выбрать нужный тип графика для разных данных (прикрепил ниже) Открыть/Комментировать

2022-03-21 21:04:37 Всем привет! Довольно часто люди скептически относятся к вкладу аналитики и data science в бизнес - "да вы там просто в циферках копаетесь". Этот миф в целом не сложно развеять на реальных примерах. Именно про такой пример - эволюцию рекомендательных систем - и говорит Ваня в новом цикле статей, который начали публиковать на Хабре. Первая статья в большей степени не про техническую сторону ML, а именно про пользу для бизнеса. Поэтому будет интересно не только аналитикам, но и всем остальным. Ребята проделали большой подход от алгоритма и замеров через АБ до фактически выкаченных фич в прод. Очень рекомендую к прочтению - https://habr.com/ru/post/656505/ Открыть/Комментировать

2021-09-01 19:27:56 Кажется, ребята пишут посты быстрее, чем я успеваю собраться и разобрать контент-план для канала :) Но да, мы снова сделали статью, снова на хабр, снова с полезным и практичным материалом. Писали про аналитику, писали про DS, теперь на повестке дня - BI. Юля и Наташа рассказали, как работает система мониторинга данных, как принимается решение о качестве расчетов и как об этом узнавать раньше, чем пользователи. По сути получился небольшой гайд, применимый к любой БД - https://habr.com/ru/company/deliveryclub/blog/574384/ Открыть/Комментировать

2021-06-22 20:41:39 Одна статья хорошо, а две лучше! Продолжаем писать о том, как аналитика в Delivery Club помогает улучшать процессы внутри компании и расти еще быстрее. В этот раз Костя Измайлов рассказал про геопространственное моделирование с применением методов машинного обучения. Простыми словами - как быстро и просто определить зону доставки для нового ресторана. Про то, какие способы попробовали, почему они не подошли, и на чем в итоге остановились, можно почитать тут - https://habr.com/ru/company/deliveryclub/blog/563064/

P.S. Если не любите читать, в конце статьи есть запись выступления на конференции, после которого и родилась эта статья Открыть/Комментировать

2021-05-31 22:45:30 10. Собственно, почему спросил этот вопрос. Если посмотреть на рынок развития этих технологий, алгоритмов - на нем сильно доминируют зарубежные игроки. Это выпускники известных университетов, зачастую получившие PhD, статьи крупных компаний, например, Google, Netflix, Facebook. В России такое мягко говоря не наблюдается. У нас вряд ли можно с ходу назвать выдающихся первооткрывателей или продвиженцев в этой отрасли. Мы, скорее, пользуемся готовыми стеками. Почему сложилась такая культура, почему развитие идёт в основном с запада, а мы только пользуемся их наработками?

Не соглашусь, что все идёт с запада. У нас технические специалисты очень высокого класса. Этому способствуют понятные процессы в крупных компаниях, которые направлены на решение каких-то своих задач, развитие своих продуктов. За счёт технологий как раз и происходит конкуренция. А то, что мы чаще наблюдаем какие-то публикации гигантов просто результат того, что эти компании кратно большего масштаба - там больше специалистов, больше усилий, больше комьюнити. И поэтому эти наработки приходят оттуда в соизмеримо большем количестве. В России при этом есть сообщества, процессы, университеты, которые в различных современных историях участвуют, являясь первооткрывателями. При этом, с точки зрения технологического прогресса, многие компании делают общедоступными большое количество проектов - это касается алгоритмов машинного обучения и хранения данных. Такие процессы у нас есть, а то что мы чаще видим публикации западных компаний - это результат конкуренции рынка. Компании больше и у них больше ресурсов, которые они могут направить на такие разработки. При этом наше образование готовит хорошие кадры в разработке, аналитике данных и машинном обучении. В различных соревнованиях мы оказываем достаточно серьезную конкуренцию всем странам, которые принимают в них участие. Все компании на каком-то этапе времени задумываются над такими задачами и проблемами и развивают различные академические программы, где практикующие специалисты проводят лекции, принимают задания и в целом культивируют интерес к этой отрасли, без которого развитие не возможно.

11. Раз мы затронули тему запада, у меня есть еще один вопрос. Там культура data-driven принятия решений зародилась сильно раньше, чем в России. И сейчас успех многих компаний, например, Netflix, связан с тем, что у них сильные специалисты по аналитике и машинному обучению, и это движет их бизнесы. В России очень мало компаний используют данные, чтобы искать точки роста. Это происходит, потому что мы еще не до конца созрели или потому что у нас не хватает специалистов достаточного уровня, чтобы помогать принимать такие решения?

Это понятный эволюционный шаг, к которому все больше компаний во всем мире будет приходить. Возможно на западе это происходит чуть быстрее из-за конкуренции, и часть компаний вынуждена использовать новые подходы, которые не применили их конкуренты. Именно конкуренция является драйвером прогресса во всех сферах. На нашем рынке тоже есть компании, которые сталкиваются с жесткой конкуренцией с теми же западными сервисами, решающими похожие задачи. Туда идут хорошие специалисты, они там обучаются, развиваются, решают задачи ничуть не хуже, чем компании большего масштаба. На самом деле любая компания работает с данными, ключевой вопрос - как они с ними работают. У того же Netflix была жесткая конкуренция с Blockbuster, где они начинали с проката физических дисков. И вот они эволюционно дошли до того, что с помощью хитрой рекомендательной системы могут эффективно конкурировать в классической модели бизнеса, а развитие интернета трансформировало их, но сохранило ценность бизнеса, которую они и так уже развивали. Чем больше у компании данных, тем больше размышлений появляется - как эти данные можно использовать для бизнеса. Чем больше на эту тему размышлять, тем жёстче конкуренция, тем чаще появляются какие-то правильные прогрессивные вещи. Открыть/Комментировать

2021-05-31 22:45:12 8. Ты говоришь, что тебе нравится сам процесс того, как работают аналитики. Но так, как это происходит в аналитике Яндекса, мало где еще происходит на рынке. Вообще на рынке понятие того, кто такой аналитик, и чем он занимается, очень сломано. Как минимум в России. Для многих компаний аналитик - это интерфейс к данным. Почему так происходит по твоему мнению?

Не совсем однозначный вопрос. Все компании безусловно разные. В целом про рынок можно судить, но это будет все же каким-то обобщением. Часто аналитиков действительно используют не совсем по назначению - они такие человекопонятные интерфейсы к данным. Ты задаёшь вопрос, а аналитик тебе отвечает ровно на этот вопрос. И часто это вопросы очень просто формулируются, например, какая величина метрики Х, какая у неё динамика, или как она ведёт себя в таком-то срезе. Это просто в реализации, просто в понимании. Поэтому часто небольшие компании или даже иногда большие сваливаются именно в такой процесс работы с аналитиками. При этом ни заказчик, ни аналитик часто не задумываются над следующим большим шагом. Это история про большее погружение в более широкие и не такие однозначные вопросы, где ответ не просто «да» или «нет», цифра «15» или еще-то такое, а гораздо более философский и абстрактный, где наличие аналитика как раз необходимо при большой неопределённости в самой работе. Поэтому не так много компаний до этого доходят или просто не хотят до этого доходить. Т.е. здесь важно, чтобы аналитик сам выстраивал вокруг себя эту культуру аналитической работы, или заказчик понимал, что то, как он работает с аналитикой - это не то, как он бы на самом деле хотел с этим работать. Важно, чтобы хотя бы кто-то из этих двух сторон не молчал и как-то способствовал развитию процесса и взаимодействия. Ну и всегда любая аналитическая работа строится вокруг процесса принятия решения, в котором практически невозможно обладать всей необходимой информацией. А значит при принятии решений всегда будет какой-то трейд-офф между тем объемом информации, которым вы обладаете, и тем объемом риска, который вы готовы принять.

9. Давай немного поговорим про хайп вокруг аналитики, data science, в особенности ML/AI. Откуда он возник, почему он такой, и когда в России это стабилизируется?

Так происходит, потому что наработки в этой области стали действительно хорошо решать определенный пласт задач. В ряде задач алгоритмы работают даже лучше, чем живой человек. И это позволяет двигать прогресс вперёд, а компаниям становиться более эффективными и получать какие-то знания, до которых человек просто не мог добраться своим иттеративным путем. Поэтому это направление безумно популярно. Вторая история заключается в том, что с развитием интернета растёт количество собираемой информации. Эти объемы уже настолько большие, что без развития инструментов в этом направлении никто такой объём данных уже не сможет отсмотреть глазами. Сбор разной информации, ее наличие в компании и некое желание использовать это для пользы бизнеса и приводит к тому, что развиваются разные решения по хранению данных, их обработке, анализу и, конечно, алгоритмам машинного обучения, которые определённый класс задач могут просто снять с человека, освободив его для решения каких-то более сложных и абстрактных задач. Я думаю это направление будет и дальше развиваться, так как то, в какой фазе оно сейчас находится - это тоже далеко не идеал. Как минимум есть много сильных и сложных задач в исследовании аппаратной части, потому что большинство алгоритмов, как их не называй, работают на текущих железках, которые далеко не для всех задач предназначены. Открыть/Комментировать

2021-05-31 22:44:51 6. Ты упомянул, что для того, чтобы попасть в аналитику хорошо бы сделать какой-то pet-project. Но во многих вакансиях пишут, что требуется 1-2 года опыта работы в отрасли. Людям, которые решили сменить профессию или только делают первые шаги - где им этот опыт взять и чем его заменить на собеседовании?

Хороший вопрос. Мне кажется, требование "1-2 года опыта работы" очень многими компаниями слишком преувеличена. При этом есть те, кто относится к этому не так формально. В целом, если кандидат способен решать нужные для компании задачи - это уже ок. А опыт можно получить через те же самые стажировки. Вряд ли какая-то стажерская вакансия требует многолетний аналитический стаж. И обычно решение о переводе в штат принимается сильно раньше - если во время стажировки понимаем, что человек уже справляется и погрузился в специфику бизнеса, никто не будет ждать 2 года, чтобы формально его перевести на какую-то открытую вакансию. Если обобщить, то:
- хорошо бы иметь какие-то свои проекты, которые не стыдно указать в резюме, профиле на гите или еще где-нибудь
- прохождение стажировок, где человек просто набирается опыта
- нетворкинг, чтобы понимать, чем живет отрасль, кто такие вообще аналитики, какими задачами они занимаются. И в процессе таких разговоров вы так или иначе натолкнётесь на задачу или проект, который позволит вам продвинуться с точки зрения смысла, а не формального опыта аналитики или стажа

7. Что тебя больше всего привлекает в работе аналитиком? Что для тебя является драйвером просыпаться и идти на работу?

Какой сложный вопрос. Скорее любопытство. Всегда новые знания, новые сложности, новые проблемы, которые ты стараешься решать через все имеющиеся у тебя навыки. Мне нравится сам процесс того, как обычно работают аналитики - через критическое мышление, подходы максимальной объективизации насколько это возможно. И нравится все это применять к сумбурному, хаотичному миру реального бизнеса, где заказчики задают сложные, открытые, непонятные, иногда даже ненужные вопросы. И вот когда ты получил какое-то новое знание, перевернувшее понимание команды об устройстве сервиса или рынка, убедил всех в этом, сыграл ключевую роль - вот это супер мотивирует. И, конечно, преодоление всех новых вызовов, которые сначала казались сложными и невозможными. Учиться чему-то новому и обучать других тоже важный аспект. И они тебя чему-то учат, и ты их чему-то учишь - это очень важный аспект лично моей мотивации. Открыть/Комментировать

2021-05-31 22:44:27 Давно я ничего не публиковал - надо это исправлять. Прошло чуть больше года с момента моего интервью с Владом Исмагиловым, человеком, который показал мне, что же такое на самом деле аналитика. В прошлый раз я опубликовал половину нашей беседы, пришла пора опубликовать вторую :) Первую часть интервью можно найти тут Открыть/Комментировать

2021-05-20 11:30:07 Мы в Delivery Club запилили свою систему АБ тестирования с автоматизацией всего процесса, метриками, админкой, визуализацией результатов и все в этом ключе. Сейчас уже катаем по 30 экспериментов ежемесячно и планируем масштабироваться дальше - как вертикально, так и горизонтально! Также на очереди куча улучшений со стороны скорости расчетов, интерфейсов и функционала. Кирилл написал про это статью - https://habr.com/ru/company/deliveryclub/blog/557308/ - рекомендую к прочтению Открыть/Комментировать