Datalytics

2021-06-15 16:52:35 Python — универсальный инструмент далеко не только для тех, кто в IT. Знание его базовых возможностей может дополнить арсенал специалистов из самых разных областей гуманитарных и социальных наук

Если вы давно присматриваетесь к программированию, хотите освоить новые инструменты и автоматизировать часть рутинных задач, но не знаете, с чего начать, — приглашаем на летнюю серию воркшопов по основам Python. Её проведут преподаватели из «ПАНДАН» , совместной программы Яндекса и Европейский университет в Санкт-Петербурге.

Занятия начнутся 18 июня и будут проходить раз в неделю по пятницам в 19:00 (мск).

Слушателей ждут пять онлайн-лекций и пять домашних заданий, основанных на реальных рабочих кейсах социологов, журналистов, историков и других специалистов.
Все подробности о программе и форма регистрации на сайте: https://clck.ru/VRaBM
Присоединяйтесь! Открыть/Комментировать

2021-06-11 16:44:19 И немного очевидных мыслей от себя

Умение правильно визуализировать данные очень важно для аналитиков, менеджеров, исследователей и всех, кто в графическом виде презентует результаты своей работы: понятная визуализация позволяет более эффективно доносить до людей важные аналитические выводы, а значит увеличивает скорость принятия решений. Это тот скилл, про который многие (и я в том числе) часто забывают: данные доходят до стейкхолдеров в виде многострочных тяжелочитаемых таблиц или графиков, которые может и выглядят подробно и/или красиво, но при этом не позволяют сразу считать главную мысль. Я часто вижу это у начинающих аналитиков: они делают великолепные интерактивные графики с помощью Plotly или d3.js, но при этом забывают про то, что каждый график должен нести в себе понятный вывод, а не быть просто красивой констатацией факта Открыть/Комментировать

2021-06-11 16:43:29 Наткнулся на канал datapomodoro от создателей бесплатного онлайн-курса «Заговори на языке данных»

В этом канале ребята делятся советами о том как грамотно отображать информацию: как сделать графики или таблицы понятными, подобрать нужный тип диаграммы, как не ввести потребителя информации в заблуждение, акцентировать внимание на важном Открыть/Комментировать

2021-06-08 13:21:39 Всем привет, дорогие подписчики.
Сегодня поговорим о такой интересной теме, как собеседования.

Итак, что же представляет собой собеседование на аналитика?

1 этап. Созвон с HR - вы редко пропустите этот этап. Чаще всего это собеседование на ‘адекватность’: чем вы занимались, какие у вас мотивации в работе, пресловутое ‘кем вы видите себя через Х лет’. Ещё HR расскажет о позиции, компании, послушает остальные ваши вопросы и узнает о ваших зарплатных ожиданиях.

2 этап. Зачастую это техническое собеседование с вашим будущим менеджером и коллегами из команды, где вы будете либо :
- писать код на SQL/Python (в зависимости от того, что вы знаете и любите)
- отвечать на вопросы, как бы вы решали ту или иную задачку (например: ‘как вы считаете retention/LTV’, ‘как бы вы оценивали АВ-тест’, ‘какие методы АВ-тестирования вы знаете’ )
- иногда могут дать продуктовый кейс из серии:
‘Вот у нас такие-то вводные и при этом у нас падает конверсия, какие причины вы в этом видите?’
В такой ситуации от вас будут ждать генерации гипотез, больше с уклоном, как вы мыслите.

Конечно, также поспрашивают про опыт, почему вы решили менять работу, в каких инструментах работали.

Иногда вместо/после этого этапа могут прислать домашнее задание, где от вас так же будут ждать написание кода/гипотез.
Если здесь все успешно, то переходим на этап 3.

3 этап. Чаще всего это собеседование с продуктовым менеджером или CPO , иногда это может быть руководитель всей аналитики или операционный руководитель (типа CFO), если департамент аналитики находится в его управлении.
Там тоже будут вопросы про опыт, как бы вы что-то решили, иногда могут спросить, какие улучшения вы бы уже предложили нашей компании.

Готово, вы восхитительны, если прошли эти этапы!
Конечно, в частных случаях количество собеседований может увеличиться, если в компании большая ветвистая структура.

Ещё рекомендую обратить внимание, что иногда компания может запросить у вас референсы - отзывы ваших бывших коллег о работе. Внимание : иногда это может быть в открытую и у вас попросят контакты, а иногда это может быть сбор обратной связи от каких-то знакомых ваших будущих коллег.
Рынок IT достаточно тесный. Поэтому советую всегда уходить полюбовно

В следующих постах потренируемся на реальных задачах, которые когда-либо встречались мне и моим знакомым на собеседованиях.

#рынокIT #полезности #собеседования Открыть/Комментировать

2021-06-07 18:55:43 Люто рекомендую почитать клёвую статью «Как стать дата-шрушером aka вкатиться в DS», на которую наткнулся из поста выше

Она очень хорошо описывает:
— какие роли бывают в DS (под DS понимается широкое поле специализаций Data Analytics / Machine Learning / Data Engineering)
— какие компетенции нужны для того, чтобы соответствовать этим ролям, какие компании нанимают DS-специалистов и как отличаются задачи, зоны ответственности и перспективы разных ролей в зависимости от типа компании
— какие существуют траектории, чтобы заскочить в DS

Написано со здоровым сарказмом (особенно повеселило замечание, что если вам нравится перекладывать JSONы с места на место, то вам прямая дорога в дата-инженеры), юмором и драйвом. И этот стиль повествования, немного раздолбайский, как нельзя лучше подходит для описания такой хаотичной материи как работа с данными. Тут нет проторенных дорожек обучения, тут нет даже нормально сформированных описаний вакансий, тут есть куча технологий, навыков и областей доменной экспертизы, которые в итоге формируют для каждого специалиста свой особенный профиль. Я встречал веб-аналитиков, которые богически шарили в NLP, потому что поисковые запросы сами себя не проанализируют, дата-аналитиков, которые в итоге становились дата-инженерами, потому что им нужна была нормально работающая инфраструктура, и ещё множество ребят, которых можно назвать «химерами data science», потому что набор их навыков не описывается ни одним общепризнанным названием должности. Такие «химеры» в итоге и двигают отрасль вперёд, потому что кажется такого количества кроссдисциплинарности не встретишь ни в одной другой ветке IT-сферы, а с кроссдисциплинарностью почти всегда вместе следует творчество и инновации

Получил истинное удовольствие от прочтения. Также рекомендую подписаться на канал автора Открыть/Комментировать

2021-06-07 18:35:18 В статье с Хабра «Все что вы (не) хотели знать о Data Science» обнаружил интересный взгляд на содержание профессии Data Scientist.

Стоит посмотреть хотя бы ради описания того, как разные функциональные роли вроде data engineer, analyst, MLOps накладываются на 3 ключевых области компетенций:
математика и статистика;
разработка и администрирование;
знание предметной области.

Еще есть верхнеуровнево про грейды дата саентистов, подготовку к собеседованиям и специфику Ситимобила.

Ссылка

P.S. Утаскиваю из комментариев замечательное дополнение: «Как стать дата-шрушером aka вкатиться в DS». Более практичный и подробный взгляд изнутри с нецензурщиной и мемами.

#компетенции Открыть/Комментировать

2021-06-07 10:00:35 Оказывается у Майкрософт есть своя платформа для зеро-кодинга PowerApps. И недавно они выкатили в ней возможность ввести запрос на английском языке и получить на выходе SQL-запрос (или что-то на него похожее, судя по скриншотам). Реализуется это дело с помощью модели естественного языка GPT-3

Меня эта тема заинтересовала и путём несложного гуглежа я узнал, что оказывается это прямо-таки отдельная область научного интереса: люди устраивают целые соревнования пытаясь решить задачу семантического парсинга запроса, сформулированного на обычном языке, и перевести его в SQL. Эталонный датасет для таких задачек — это WikiSQL, набор SQL-запросов, вручную аннотированный комментариями на естественном тексте. Интересно, что для его генерации Salesforce применяли краудорсинговый труд, хоть это и звучит как что-то негуманное

В силу своей математической тугости, white-papers я читаю как ребёнок, разглядывая картинки и ища знакомые слова не длиннее 6 символов, но даже мне интересно было проследить эволюцию в подходах. Для примера сравните статью 1996 года (удивительно, что уже тогда пытались делать NLP-based интерфейсы) и статью, описывающую один из топовых (на момент написания заметки) подход к этой задаче

В общем, сначала BI-системы понизили порог входа в self-service data analytics, а теперь и AI к этому подключился. Уже близок том момент, когда каждый менеджер будет ходить за «а посчитай мне выручку по месяцам» не к аналитикам, а к Siri или Алисе. Но, конечно, это не повод аналитикам унывать и переквалифицироваться в курьеров (или закладочников). Вот когда научится писать оконные функции для расчёта rolling retention, тогда и поговорим Открыть/Комментировать

2021-06-06 10:00:37 Открыть/Комментировать

2021-06-06 10:00:37 Признаюсь честно, что у меня очень плохо с тем, что некоторые назвали бы «серьёзной математикой»: я плохо читаю сложные формулы, не могу сразу же схватить их физический смысл, путаюсь в разных «значочках и закорючках». Поэтому никогда не хотел стать data scientist'ом — казалось, что без знания математики в Data Science делать нечего. Позже я, конечно, узнал что это не так и можно шарить и приносить пользу в определенных разделах DS и без сильного углубления в линейную алгебру или теорию оптимизации (например, NLP)

Но что мне всегда помогало понять сложные концепции — это «пощупать» их в виде реальных данных или кода. Кажется, что это «практическое ощущение» математики у меня «проклёвывалось» ещё в универе: я спокойно мог закодить какой-нибудь метод половинного деления или Монте-Карло на занятиях по численным методам, когда понимал его как алгоритм, а вот решить дифференциальное уравнение для меня было подобно реверс-инжинирингу инопланетной технологии (это и сейчас так)

Уже позже в работе меня не раз выручал этот подход: не понимаешь как что-то работает в теории — напрограммируй это или найди чужой код. Не понимаю что такое центральная предельная теорема? Значит надо найти примеры кода, в которых ЦПТ применяется для анализа настоящих данных. Сложно понять что такое марковские цепи? Поищу как можно симулировать марковские цепи с помощью кода на Python. Запустил несколько раз симуляцию на разных входных данных и начинаешь понимать как эти шестеренки внутри крутятся. С таким подходом мне, конечно, никогда не светит писать white-papers в научные журналы. Зато многие штуки получалось применять в работе, а ещё появилась математическая интуиция и умение видеть красоту в математических концепциях

Это я всё к чему? Наткнулся на потрясный репозиторий на гитхабе, где математические нотации объяснены с помощью Python-кода. Очень кайфово

https://github.com/Jam3/math-as-code/blob/master/PYTHON-README.md Открыть/Комментировать

2021-06-05 10:00:40 Неплохой бесплатный курс по по A/B-тестированиям. Без сильного технического фарша и примеров кода, но раскрывающий основные важные моменты:
— Чем классические частотные подходы к расчёту вероятности отличаются от байесовских
— Как рассчитывается статистическая значимость и почему её расчёт важен в ходе оценки результатов A/B-тестирования
— Чем отличается статистическая мощность от статистической значимости
— Как правильно сделать сплит трафика
— Почему важно правильно аттрибуцировать конверсию при маркетинговых экспериментах
— Сравнение подходов тестирования на клиенте (client-side) и на сервере (server-side)
— Как анализировать и интерпретировать A/B-тесты

https://www.dynamicyield.com/course/testing-and-optimization/ Открыть/Комментировать