Инжиниринг Данных

2021-02-11 20:48:40 А вот и видео новое по курсу ML&DS 101 от Анастасии Риццо.

В этом уроке мы:
1) Пройдем весь Exploratory Data Analysis, который включает в себя:
Descriptive Statistic
Observation of target variable
Missing Data
Numerical and Categorical features

2) Рассмотрим Data Wrangling and Transformation:
Multicollinearity
Standard Scaler
Creating datasets for ML part
'Train\Test' splitting method



Открыть/Комментировать

2021-02-11 20:45:15 По вакансии выше, хочу добавить от себя. Я пообщался с ними, и возможно можно добавить, что важен следующий опыт:
- опыт с AWS или Azure или сертификация Solution Architect, ну или опыт, чтобы можно было создать решение в облаке, обеспечить безопасность, настройки сети и тп
- понимание как работать с DW и ELT в облаке, например опыт с Redshift/BigQuery/Synapse и Glue/Data Factory
- знать как развернуть BI и подключить все это дело вместе (end to end ELT, DW, BI)
- понимать как построить DW с точки зрения создания модели данных
- инструменты обеспечения качества данных и документации
- умение использовать элементы DevOps для кода (CI/CD, Git)

То есть опыт со Snowflake это хорошо, но сам продукт не сложный, важно знать принципы создания облачного решения по аналитики и иметь подходящий опыт. Про Python я тоже особо ничего не сказал, так как можно и без него обойтись, например использовать dbt (будет шикарно и на SQL + CI/CD). Открыть/Комментировать

2021-02-11 08:13:01 #вакансия #москва #snowflake #dataengineer

Крутая вакансия и солидное вознаграждение!

Архитектор данных (Snowflake ) в «ФИНАМ» (крупнейший брокер Восточной Европы).
Мы ищем сотрудника, который организует автоматизированный сбор данных из различных источников в единое централизованное хранилище Snowflake. Опыт работы со Snowflake – обязателен.
Локация - Москва, гибридный формат работы (удаленно и в офисе)
Компенсация по вакансии обсуждается индивидуально – от 300К+ net.
Отклики и вопросы в @baibakova или ebaybakova@corp.finam.ru

PS как обычно хорошо поддержали vsevsevmeste Открыть/Комментировать

2021-02-11 05:04:26 Открыть/Комментировать

2021-02-10 21:05:01 Кто-то заморочился:

So I wrote a 5400-word lecture note on the basics of data engineering for my students, covering:

* data formats (row- vs. column-based, text vs. binary)
* ETL
* batch processing vs. stream processing
* training datasets

This is a work in progress.

https://docs.google.com/document/d/1b9iuZiDEGVLHyMmnf6w2y1aN6yWQhAyqk3GHlpI9q6M/edit Открыть/Комментировать

2021-02-10 21:02:54 Открыть/Комментировать

2021-02-10 20:11:35 Я уже довольно давно занимаюсь Community, и один из главных +, это возможность учиться от профессионалов. То есть можно найти любого человека опытного и пригласить его выступить и поделиться опытом. Сейчас такая возможность есть у меня, но я с радостью ей поделюсь с вами, если вы хотите кого-то послушать, дайте знать, и мы попробуем пригласить человека выступить. Открыть/Комментировать

2021-02-10 18:59:15 Через пару минут начинаем вебинар:


Открыть/Комментировать

2021-02-10 08:51:50 Мои будни проходят в databricks, каждый день открываю что-то новое. Довольно сложно перестроиться из классического мира DW/ETL в мир notebooks и Delta Lake. Но зато потом буду умничать Вот можете просмотреть записи вебинаров про Azure Databricks:
-Data engineering your Azure Databricks lakehouse — In this training, we’ll guide you through ingesting event data to build a lakehouse for analyzing customer product usage.
-Querying your Azure Databricks lakehouse — In this training, we’ll demonstrate how to engineer data marts in your Azure Databricks lakehouse for your data analyst team.
-Training an ML customer model using your Azure Databricks lakehouse — In this training, we’ll demonstrate how your data science team can use data marts in your Azure Databricks lakehouse to design and train an ML customer model on customer product usage data. Открыть/Комментировать