Мир аналитика данных

2022-08-10 18:21:54 Between преткновения

Вот, казалось бы, как можно накосячить с оператором between в SQL? Легко, ребята

Да, оператор включает границы диапазона. На курсе это проходили. Да и сама я когда училась раньше, использовала его часто “для красоты”.

Допустим нужно мне ограничить дату выгрузки, и я ставлю условие
where date between '2022-07-01' and '2022-07-31'. Чего проще?
Понятно же, что выкачка будет с первого июля по 31 июля включительно, то есть за целый месяц.
А вот и не всегда! Вернее конечно всегда, но с ньюансами.
Если у вас дата в базе идет с компонентом времени, то есть вот так: 01.07.2022 17:40:03, то between хихикает над вами и не загружает последний день, так как считает, что вы ввели '2022-07-31 00:00:00, а нужно было тогда вписывать '2022-07-31 23:59:59'
Короче я теперь всегда и везде использую простое сравнение.
where date >= '2022-07-01' and date < '2022-08-01' Открыть/Комментировать

2022-08-08 21:39:00 Мир аналитика данных pinned «Всем привет! Меня зовут Лера и я с недавнего времени – аналитик данных! От любого процесса нужно получать удовольствие. Особенно если этот процесс – ваша работа. Поэтому я сменила свою профессию. От работы, к которой не лежит душа, можно уйти, найти другую…» Открыть/Комментировать

2022-08-08 17:03:08 Базовые понятия: трафик, лиды и конверсия.

Разберем сегодня эти понятия на рабочих примерах.
Трафик. Что же это такое? Это количество посетителей на сайте за определённый период времени. В sql можно подсчитать как count(distinct visitor_id)
Count – подсчет количества, distinct – убирает дубликаты. Как пример, у нас Иванов зашел два раза на сайт с большим промежутком времени, Петров зашел один раз, а потом и Сидоров раза три зашел, но в течение нескольких минут. У нас посчитается, что трафик равен (2+1+1) четырем. Потому что visitor_id (присвоенный номер при заходе на сайт) будет у Иванова разным, хоть он один и тот же человек, но из-за большого промежутка времени захода (допустим час) visitor_id будет уже другой присвоен.
У Петрова будет один заход и visitor_id будет какой-то один, а вот Иванов заходил три раза, но быстро выходил, а потом опять заходил и ему на сайте присвоится одинаковый номер.

Не берусь отвечать за все компании, но в нашей именно такой подход. Если у вас по-другому, то расскажите. Интересно будет сравнить методику.

А теперь разберем понятие лид.
Лид — это потенциальный клиент, который заинтересовался товаром или услугой и оставил свои контакты: оформил заявку, заказал звонок или указал email в форме обратной связи. В нашей компании это тот, кто зарегистрировался на сайте. То есть если Иванов решил зарегистрироваться, то ему присваивается определенный номер в специальной базе данных (user_id), не тот номер посетителя, а прям уже номер пользователя, так сказать.
сount (user_id) – подсчитает нам количество лидов, здесь уже не нужно убирать дубликаты, так как каждая строчка в этой базе – уникальный номер зарегистрировавшегося человека.

Конверсия трафика в лиды звучит устрашающе. На самом деле это просто кол-во лидов деленное на трафик. Как правило, указывается в %. Чем выше, тем лучше. Показатель показывает в % сколько клиентов не просто заходят на сайт, а регистрируются с целью использования/покупки и прочее. Если, допустим на сайт за какой-то период (например за неделю) зашли 20 000 человек, а зарегистрировались 1 200, то конверсия получится шесть процентов: (1 200/20 000)*100=6% Открыть/Комментировать

2022-08-05 16:29:03 Мотивация

Мы все так привыкли, что нас нужно мотивировать, чтобы достичь какой-то цели. Многие книги по саморазвитию пестрят идеями и способами мотивации, создания своеобразных плюшек на пути к достижению успешного успеха.
У меня есть на это свое мнение. Начну издалека.

Вот чтобы вы ели, вас нужно мотивировать? А для сна вам нужна мотивация? А чтобы любить? Если у вас есть ЖЕЛАНИЕ, то вам не нужна мотивация! Просто ЖЕЛАНИЕ , ХОТЕЛКА так сказать. Меняя одну работу на другую, нужно понимать ради чего ты это делаешь. Если только ради денег или престижа, или чего-то, что идет от головы, а не от сердца, то вот тут начинают требоваться “плюшки” и “морковки” и этим пользуются те, кто пишет такие мотивационные книги. Именно ОНИ зарабатывают на Вас, давая вам ложные цели и навязывают те стремления, которых у вас возможно и не было.

Продолжение Открыть/Комментировать

2022-08-04 16:36:14 Аналитики на вкус и цвет..

Я даже не представляла себе как много бывает разных видов аналитиков! Только спустя какое-то время изучая вакансии и читая околоайтишные статьи, я поняла в чем их отличие и как иногда компании скрещивают один вид с другим, а порой и вообще путают или не заморачиваются с правильным названием.

Итак, аналитики бывают:

Бизнес аналитики. Они должны понимать потребность бизнеса, проводить анализ всех внутренних процессов. Их задача - разобраться в потребностях заказчиков, фиксировать бизнес-требования и их решения по реализации в виде бизнес-процессов. Короче, у них много бумажной работы.

Системный аналитик отвечает за автоматизацию этих бизнес процессов. Он является фильтром и преобразователем между бизнесом и разработкой. Мало чего там бизнес аналитики с заказчиками напридумывают. Реально ли это все воплотить – вот в чем вопрос. Он выбирает какую систему ставить, какое программное обеспечение должно быть, какие приложения будут использоваться.
Продолжение в комментариях Открыть/Комментировать

2022-08-02 22:18:21 Что вы делали позапрошлым летом?

Я вот тогда решила сменить профессию.
Работала много лет финансовым контролером в разных компаниях. Делала управленческую отчетность. И везде одно и тоже – вечные переработки. В дни отчетов нас финансистов из офиса на такси по ночам развозили по домам. Меняла компанию – и там то же самое. И ладно бы это мы плохо работали, не знали бы тонкостей Excel, тупили, но дело было абсолютно не в нашем отделе.

Сложность отчетности, которую нужно автоматизировать, а не состыковывать миллион отчетов от разных отделов, не идеальная 1С бухгалтерия, в которой то, что нам финансистам было нужно, собиралось не так, а вкривь и вкось. А еще аудиторы, которым (честно и откровенно) всегда все рисуют..

И так это все надоело. Мне нравилось придумывать как сделать быстрее хотя бы в тех рамках, в которых позволено было творить, я чувствовала, что могу даже не столько БОЛЬШЕ, сколько ПО- ДРУГОМУ.

Продолжение в комментариях -> Открыть/Комментировать

2022-07-31 17:48:29 Как выглядит реальный скрипт?
Это пример по расчету выручки по разным нишам (в компании могут быть свои срезы, критерии и т.п).
В Jupiter прописываем сначала SQL запрос, в query = """ запрос""", а потом питоном вытаскиваем данные и либо обрабатываем пандасом (как-то группируем строки, меняем колонки, объединяем таблицы по условию), либо выгружаем в Excel файл. Названия баз я конечно изменила, чтобы был понятен смысл.

query = """
select fv.string_val as name,
sum(case when p.currency = 'RUB' then p.amount when p.currency = 'RUR' then p.amount else (p.amount * cr.rate) end) as 'all_sum'
from База_платежей p
join База_счетов sa ON p.ACCOUNT_ID = sa.id
left join База_с_нишами fv ON sa.form_value_set_id=fv.form_value_set_id
left join База_курсов c on p.currency = c.code
left join База_курсов2 cr on c.id = cr.currency_id and substring(p.created_at,1,10) = substring(cr.created_at,1,10)
where p.id > 23000000
and p.deleted=0 and p.status='accepted'
and p.created_at >= '2022-06-01'
and p.created_at < '2022-07-01'
group by 1
"""
params = {}
df = mql.read_query( connection, query, params )
df.to_excel('Revenue.xls')
df.head()

Как видите, ничего сложного. SQL можно изучить самим, не только на курсах. Но об этом позже.. Открыть/Комментировать

2022-07-29 23:37:35 Я работаю полностью удаленно. Моя работа началась с того, что мне выдали ноут и доступы в dbeawer и Jupiter notebook. Cъездить в офис, забрать, настроить все дома – на это и ушел первый день. Чтобы удобнее было работать подключила клаву и монитор и погрузилась в непонятный пока еще мир. Мне сказали какие основные базы использует компания, но описаний к ним в компании не было. Я изучала их, пробовала разные выгрузки, в excel выстроила себе систему связей по ключам между базами. Конечно не все было понятно. Баз оочень много. Основных – где-то штук 15. Как формируется выручка, почему есть несколько колонок в базах с похожим смыслом, что значит user_id и чем он отличается от account_ id, почему иногда что-то пытаюсь выгрузить, но оно не выгружается (оказывается если ставить доп условия по id, то запрос срабатывает быстрее). Очень удобно, что Jupiterу нас bi, а значит общий и я вижу скрипты коллег. Есть стандартные скрипты для выгрузки тех или иных данных. Это очень помогает. Открыть/Комментировать

2022-07-28 23:55:07 Всем привет! Меня зовут Лера и я с недавнего времени – аналитик данных! От любого процесса нужно получать удовольствие. Особенно если этот процесс – ваша работа. Поэтому я сменила свою профессию.
От работы, к которой не лежит душа, можно уйти, найти другую и прежняя ни слова не скажет против. Любимая работа поддержит Вас, накормит и вдохновит. Но это сложное искусство - поиск именно той своей работы. Этому процессу нужно уделять время и дарить немного любви.
О том как работается аналитику, с чем он сталкивается и вообще о пути к мечте – мой блог.
Я люблю цифры, графики, данные. С ними просто и легко. Их можно собирать, обрабатывать (хоть это и не грибы), по-разному структурировать. За ними прячется смысл, который интересно искать и находить. От этого я получаю удовольствие, за которое мне теперь еще и платят. Конечно, на работе не бывает безоблачно. Нужно много тренироваться, постоянно совершенствовать навыки, иногда ошибаться и считать себя чайником, пополнять копилку знаний SQL и Pandas – шикарной библиотеки Python. Открыть/Комментировать