[Technology Enthusiast]

2023-01-31 10:43:07 Released myBI dbt Core and myBI Market showcase

myBI dbt Core module allows quick start transformations on top of data synced by myBI Connect along with multiple useful macros.

— Supported Adapters: Clickhouse, PostgreSQL
— Reference any data source as simple as select * from source('general', 'dates')
— Build staging layer in one command with filters on account_id applied, pre-join with date dimension, comprehensive data testing (unique, not_null, relationships)
— Leverage macros: source_filter_rows to limit rows for dev/test environments, any macro from dbt_utils package

myBI Market showcase guides you through building Modern Data Stack analytics:

— Configure environment
— Install and configure mybi_dbt_core package
— Configure data sources
— Build staging layer models
— Model Data Marts
— Visualize on a dashboard
— Publish dbt project docs
— Introduce Continuous Integration

Check it out and leave your comments and questions in Tg discussions.

I will follow up with detailed publications on Habr soon. Открыть/Комментировать

2022-11-25 16:47:19 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census

В публикации:

— Место reverse ETL в схеме потоков данных
— Потребность в решении задач операционной аналитики
— Различные способы организации reverse ETL
— Кейс: Census для синхронизации данных в Pipedrive CRM

Сегодня Операционная аналитика и практики reverse ETL - не столько дань моде, сколько насущная потребность многих компаний. Создать идеальное Хранилище мало, ведь данные создают ценность только тогда, когда вы способны их использовать.

Читать на Хабр →

#Pipelines #reverse-ETL Открыть/Комментировать

2022-11-23 11:02:02 21 ноября (понедельник) в 20:00 проведу вебинар: Аналитика продуктивности команд разработки на основе данных Github Вы узнаете: Каким образом собирать события организации из Github (Webhook, Airbyte) С помощью чего осуществить парсинг, трансформации… Открыть/Комментировать

2022-11-20 11:12:34 21 ноября (понедельник) в 20:00 проведу вебинар:

Аналитика продуктивности команд разработки на основе данных Github

Вы узнаете:
Каким образом собирать события организации из Github (Webhook, Airbyte)
С помощью чего осуществить парсинг, трансформации, сборку витрин данных (dbt)
Как приготовить метрики: PR Rate, Time to Review / Merge (Looker)

Кому подходит:
Начинающим и продолжающим специалистам в области Аналитики данных, Data Engineering
Тем, кто интересуется современными подходами организации Хранилищ Данных
Руководителям команд разработки, менеджерам и даже CTO

Результаты:
Познакомитесь с современными инструментами организации DWH
Поймете, как устроены процессы разработки ПО в современных компаниях
Получите понимание, какие метрики интересуют руководителей разработки

Регистрация по ссылке →

Ссылка на YouTube-трансляцию будет в этом канале за час до начала

#webinars Открыть/Комментировать

2022-11-17 21:39:14 Databricks - пока понятно то, что ничего непонятно

Пробую Databricks
– Установка в свой аккаунт AWS, сделать может только администратор (это не я) - ОК
– Развертывание в Cloud Formation Stack в пару кликов, вроде удобно. Однако очень сложно понять, что происходит и зачем: S3, IAM, Lambda, CopyZips(??)
– Сразу поднялись 3 жирных EC2 Instances i3.xlarge (зачем??), явным образом меня об этом не спросили, это не было очевидно
– Очень много текста в документации, но хочется поглотить всё

Кто пользуется Databricks?
Какие самые главные советы можете дать? Открыть/Комментировать

2022-11-16 12:05:57 Важнейшие критерии при выборе Extract – Load решения для интеграции данных в DWH

В публикации резюмирую свои знания:

— Каталог поддерживаемых источников и приемников данных.
— Метод чтения данных из источников (Extract).
— Способы репликации в целевое Хранилище (Load).
— Работа с изменениями структуры данных (Schema Evolution).
— Трансформации перед загрузкой данных (EtLT).
— Тип развертывания решения (Deployment).

Буду объяснять и показывать примеры на сервисах, которые использовал сам: Hevo Data, Fivetran, Airbyte. Однако критерии универсальны и применимы для любых других систем подобного класса.

Читать на Хабр →

#Pipelines #ELT Открыть/Комментировать

2022-11-16 12:05:21 Новая публикация на Хабр Открыть/Комментировать

2022-10-27 10:42:51 26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширование… Открыть/Комментировать

2022-10-24 10:48:48 26 октября (среда) в 20:00 проведу вебинар:

Работа с ГЕО-данными в DWH: координаты, зоны, агрегация

– Привязка событий к зонам на карте города
– Агрегирование и аналитика данных с помощью H3 (гексагоны)
– Оптмизация расчетов и производительности, кэширование

Расскажу подробно, как это устроено в проекте Wheely, над которым я работаю.
Как и зачем индексировать данные (например, с использованием библиотеки H3 от Uber).
Выполнение гео-операций, проверка вхождения точки в конкретные зоны (аэропорты, вокзалы, ТЦ, районы города).

Ссылка на YouTube-трансляцию будет в этом канале Открыть/Комментировать

2022-10-21 16:15:29 Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift) – Requirements to E - L - T – Current setup description – Proof of Concept plan Desired business impact: – Cost effective (at least… Открыть/Комментировать