Аналитика данных / Data Study

2022-08-30 16:17:06 Привет!

Слышали ли вы про понятие DataOps?
Если нет, то сейчас разберем вместе, что оно обозначает.

DataOps - это методология и набор практик непрерывной интеграции данных, автоматизации и мониторинга управления данными в течение всего их жизненного цикла.

Какие задачи входят в DataOps?
автоматизация процессов загрузки данных в хранилища
мониторинг операционных потоков данных
оптимизация аналитики данных
создание инфраструктуры для корректного хранения, движения и использования данных

Полезные ссылки для погружения в тему:
DataOps Wikipedia
Концепция DataOps
DataOps в Big Data
What is DataOps

Вполне возможно, что через какое-то время или уже сейчас будут появляться вакансии с названием DataOps-инженер, поэтому стоит разобраться в этой теме и понимать о чем идет речь Открыть/Комментировать

2022-08-26 17:46:39 Алан Бьюли / Изучаем SQL

"SQL - язык для формирования, манипулирования и извлечения данных из реляционных БД. Если вы собираетесь работать с реляционными БД - разрабатывать приложения, администрировать, либо делать аналитику на основе данных - вам понадобится знать SQL."

Скачать книгу Открыть/Комментировать

2022-08-26 17:46:39 Для тех кто видит перед собой потребность в изучении SQL, книга будет полезным помощником для самостоятельного обучения. Узнаете основные термины, которые используются в реляционных БД, а также научитесь работать с MySQL

А вообще можете посмотреть и другие книги в канале. Туда выкладываю то, что считаю будет полезными ресурсами для погружения в работу с данными в аналитике. Чтобы все было под рукой в одной библиотеке Открыть/Комментировать

2022-08-25 15:15:31 Типы таблиц в PostgreSQL: clustered, foreign, partitioned и inherited tables

Читать статью Открыть/Комментировать

2022-08-23 15:46:24 User Persona и как это помогает в разработке продуктов

Привет! Сегодня решил собрать для вас полезные материалы по написанию user persona, которые могут являться как часть пользовательских требований при разработке решения.

"User Persona (Персона) - это обобщенное, но реалистичное описание типичного или целевого пользователя продукта, то есть архетип, а не реальный живой человек, но персонажи должны описываться так, как если бы они были настоящими людьми."

Зачем нужно описывать персоны:
- детальное описание потребностей пользователя
- понимание процесса использования продукта пользователем
- возможность смотреть на разработку решения со стороны пользователя

Полезные ресурсы по теме:

Статья "Об использовании персон (персонажей) пользователей при разработке продуктов"
Статья "Метод персон в UX: зачем нужен, почему работает и как применять"
Статья "User Story Mapping: от идеи до релиза"
Шаблон User Persona в Miro
Шаблона User Persona от меня Открыть/Комментировать

2022-08-21 17:09:21 Привет!

Хотел сделать небольшой проект и посчитать зарплаты в IT на основе открытых вакансий. Можно было собрать описание вакансий с зарплатными вилками, а дальше сделать визуализацию собранных данных по разным категориям (регионы, должности, грейды), а потом поделиться с вами обзором результатов.

Идея хорошая, чтобы понимать текущие зарплатные вилки, но все уже сделали за меня

Хабр Карьера сделали детальный обзор по зарплатам в IT за первое полугодие 2022. Судя по описанию, их исследование ценно тем, что данные собираются не просто из вакансий, а желающие люди на портале анонимно могут указать свою текущую ЗП, которая и будет учитываться в отчете. То, что предлагают в вакансии, и что кандидат может получать в реальности - это иногда совсем разные цифры.

Ставьте реакции, если интересно читать контент про различные обзоры рынка, а я пойду дальше разбираться с Superset и писать требования для нового сайта

Читать зарплатный отчет Открыть/Комментировать

2022-08-18 19:19:28 Индексы в БД

Индексы - структура данных в базе, которая позволяет определить положение необходимых данных в базе с более высокой скоростью выполнения запросов к БД.

Пример для понимания: представьте, что вы ходите по торговому центру с целью найти магазин X. Если вы будете обходить весь торговый центр в поисках, пытаясь найти магазин по вывеске, это будет очень долго. Гораздо проще иметь в торговом центре карту или схему расположения магазинов с номерными знаками каждого магазина. Вот эти номерные знаки на карте магазинов возле их названия и будут подобием индексов в базе данных.

Зачем нужны индексы:
- более быстрый поиск необходимых данных внутри таблицы
- фильтрация данных по столбцу с индексом происходит быстрее
- объединение данных из таблиц, если в условиях объединения есть столбцы с индексами
- сортировка выборок данных также может ускориться при помощи сортировки по полю с индексом

Синтаксис создания индекса:
CREATE INDEX index_name ON table_name (column_name)

Это один из частых вопросах на собеседованиях, поэтому нужно понимать что такое индексы и как их можно применять

Полезные ссылки для знакомства с индексами:

- Что такое индексы (статья)
- Как создавать индексы в PostgreSQL (статья)
- Индексы (видео)
- Индексы для оптимизации SQL запросов (статья) Открыть/Комментировать

2022-08-17 17:03:33 Привет!

Давно не выходил на связь, буду исправляться)

Нашел статью с подборкой огромного количества материалов для развития soft-skills. Каждый может найти для себя что-то полезное, я вот выписал себе несколько книг и прочитал уже парочку статей про эмоциональный интеллект и управление ресурсами.

Ресурсы в статье:
Деловое общение
Клиентоцентричность
Когнитивная гибкость
Коммуникация
Управление командой, проектом, процессом
Креативное мышление
Критическое мышление
Наставничество/менторинг
Презентация и ораторское искусство
Решение проблем и принятие решений
Системное мышление
Стресс-менеджмент
Управление ресурсами
Целеполагание
Эмоциональный интеллект

Ссылка на статью Открыть/Комментировать

2022-08-12 13:59:44 Привет!

Осваиваю технологию Docker, т.к. до этого с ней руками сам не работал а только от коллег разработчиков и DevOps-инженеров слышал про контейнеры и образы . А тут стало интересно, как можно разворачивать приложения локально без установки кучи сторонних библиотек и отслеживанием зависимостей их версий и совместимости.

В общем, аналитикам может это и не нужно знать на твердом уровне hard навыка, но минимум принцип работы понимать необходимо. А если захочется установить open source инструмент себе локально и поиграться с ним, то Docker в этом может очень сильно помочь. Делюсь ссылочкой на видео, которое я смотрю

Видео по Docker Открыть/Комментировать

2022-08-11 12:29:49 Привет!
Делюсь небольшой, но полезной шпаргалкой по PySpark и Spark SQL. Позже обязательно расскажу подробнее про PySpark и его области применения Открыть/Комментировать