2022-02-10 13:17:38
#Вакансия от ADG group: Data Engineer.
Нужно будет решать следующие задачи:
Разработка data pipelines по пакетной и потоковой загрузке данных в DWH (Postgres)
Извлечение данных из разных источников (реляционные СУБД, API – JSON и похожие форматы, Google Analytics/Yandex Metrics/Amplituda, web scrapping)
Разработка структуры хранения данных, проектирование витрин согласно Data Vault (или «звезда» Кимбалла)
Разработка процедур мониторинга работоспособности процессов/оборудования
Автоматизация мониторинга качества данных
Любая прочая автоматизация в рамках задач по управлению данными в компании
Поддержка в актуальном состоянии технической документации
От нового сотрудника ждём:
- Продвинутые навыки работы на Python и SQL
-Опыт решения схожих задач не менее одного года
- Знания в области хранилищ данных и аналитических систем. Как минимум в части ключевых терминов (витрина, справочник, факт-таблица и т.п.)
-Знание ключевых архитектурных подходов к хранению данных в DWH (звезда, снежинка, Data Vault
- Знание основных принципов DevOps (непрерывной интеграции и доставки CI/CD), опыт работы с распространённым инструментарием (Jira, Confluence, GIT, GitLab и т.п.)
- Опыт работы с реляционными СУБД (любыми, но предпочтительнее PostgreSQL и MS SQL)
- Опыт работы с ETL инструментами (любыми)
- Базовые навыки работы в Linux
Желательно быть знакомым с:
- PowerBI (Power Query M, DAX)
- Microsoft Azure (Data Lake Store Gen2, Synapse Analytics, Analytics Services, Event Hubs, Data Factories)
Наш стэк: MS SQL, Postgres, Python, Airflow, NiFi, ELK
Для версионирования кода используем GIT
Вилка на эту позицию 250-350 тысяч рублей gross (до налогов).
Возможен вариант с удалённой работой.
#Резюме присылайте на:
e.cherniy@adggroup.ru
Evgeny Chernyy, Chief Data Officer – ADG group
83 viewsedited 10:17