Data Engineer #dataengineer #удаленка #офис #гибрид #Москва | Вакансии Hi, Rockits!

Data Engineer

#dataengineer #удаленка #офис #гибрид #Москва

Про компанию:
является крупнейшим производителем меди, цинка, угля и драгоценных металлов в стране.

Какие будут задачи:
Создание процессов обработки данных.
Описание источников и приемников данных (логические и физические модели данных).
Описание процессов обработки данных.
Определение и разработка схемы подключения источников и приемников к корпоративной платформе управления данными.
Реализация и документирование интеграционного взаимодействия между информационными системами (в т.ч. разработка ETL/ELT процессов).
Самостоятельное извлечение и загрузка данных в различные источники данных.
Написание manual и automated DQ тестов (если нет такого опыта, некритично).
Определение консистентности данных.

Требования не жесткие. В первую очередь важен реальный опыт в промышленных проектах (преимущество в металлургии, нефтянке, горной промышленности, но не критично только в них).

Требования:
Опыт разработки процессов обработки данных, использование ETL инструментов для извлечения и загрузки данных, умение работать с хранилищами данных (реляционными и нереляционными) от 1 года.
Опыт участия в интеграционных проектах.
Опыт подготовки и обработки данных (в т.ч. manual и automated DQ тесты) для последующего использования человеком и машиной.
Владение SQL или алгоритмическими языками: Python, Javа или Scala (опционально).
Опыт работы с реляционными и NoSql базами данных PostgreSql, Teradata, MongoDB, MsSql, MySQL, Oracle.
Ориентация на результат, опыт внедрения изменений / продуктов.
Опыт разработки технической документации.

Будет плюсом:
Опыт работы с инструментами BI, такими как Tableau, Power BI, Looker, Shiny.
Знания технологий Hadoop, Spark, H20.ai, Cloud AI platforms, контейнеризации.
Опыт использования git и docker.
Опыт работы с командной строкой linux, зание bash и POSIX-команд.
Опыт работы с системами управления конфигурацией: Ansible, Chef (желательно).
Опыт использования schedulers and workflow-management systems: Oozie, Airflow (желательно).
Опыт работы с очередями сообщений – Rabbitmq, Kafka.
Умение работы с большим объемом информации.

Условия:
Интересные задачи, возможности профессионального роста в проектах цифровизации промышленности.
Плоская структура компании, участие в принятии решений.
Оформление по ТК РФ (для иностранных граждан - ГПХ).
ДМС (включая стоматологию) после 3 месяцев работы в компании.
Полная удаленка, либо офис в 5 минутах от м. Шаболовская. Возможен гибридный вариант работы.

Если интересно, за подробностями к Насте @ka_rockits