2022-08-31 08:01:48
Компания: Rubbles
З/П: до 400 000 ₽
Тип занятоcти: #Офис #Удаленка
Локация: #Москва
Позиция: #Middle #Senior
Задачи:- Разработка и поддержка промышленных пайплайнов обработки данных и машинного обучения на Python и Spark с использованием популярных фреймворков (Airflow, Prefect, Airbyte и т.д.), а также собственных разработок;
- Разработка коннкеторов к системам-источникам данных и системам-потребителям;
- Организация потоков данных в рамках микросервисной архитектуры платформы;
- Разработка схемы данных компонентов платформы в едином информационном поле;
- Работа над оптимизацией систем хранения (Clickhouse, PostgreSQL, Redis);
- Настройка и поддержка интеграционной шины данных на базе Kafka;
- Поддержка data scientist’ов и аналитиков данных (также работают на Python) в задачах разработки;
- Код ревью коллег;
- Обучение проектных команд в работе с компонентами разрабатываемой платформы.
Стек:
#Python #ETL #Git #Spark #Clickhouse #PostgreSQL #Redis
608 views05:01