2022-08-28 08:15:00
Lead Data Engineer (lead) #удаленка #офис #гибкийграфик
З/П: от 350 000 до 450 000 ₽
Локация: Санкт-Петербург
Компания: Кошелёк
Всего у команды инженеров данных в нашей компании есть три направления работы:
1. Инфраструктура. Это поддержка всех наших серверов, сервисов и инструментов
Сейчас у нас используются MS SQL и ClickHouse
Мы переезжаем на полностью новую инфраструктуру хранения и обработки данных
До конца года мы хотим совсем отказаться от MS SQL и разгрузить ClickHouse от нетипичных для него задач Для этого мы поднимаем Greenplum
Сырые данные мы храним в Minio, а обрабатывают это все Airflow с Flink'ом.
Кроме того, есть и PowerBI, и Metabase, и Zeppelin, и Jupyter. Нужно следить за тем, чтобы это все работало, и улучшать
2. ETL / ELT. Управление потоками данных, наполнение Data Lake и DWH, создание витрин и подобное
Для этого используются Airflow и Flink
3. Автоматизация работы аналитиков. Сюда входит создание скриптов и инструментов, которые помогают автоматизировать рутинные задачи
Ожидания:
- Опыт поддержки инфраструктуры данных (DevOps, аналитические базы данных, ETL-инструменты, BI-инструменты)
- Опыт коммерческой разработки (предпочтительно Python и Java)
- Опыт работы с потоками данных и их загрузкой (ETL, батчи, потоковая обработка)
- Понимание принципов работы Big Data-стека
- Опыт работы с терабайтами данных
- Умение работать с аналитиками (запросы на витрины данных и автоматизацию)
Будет плюсом:
- Опыт администрирования и работы с Greenplum и ClickHouse
- Опыт с Airflow, Flink и Minio
1.1K viewsedited 05:15