Труба данных

2021-10-14 13:41:20 https://airflow.apache.org/docs/apache-airflow/2.2.0/changelog.html

Тут Airflow 2.2.0 подвезли.

Из заметного:
Custom Timetables (AIP-39)
Deferrable Tasks (AIP-40)
Custom @task decorators and @task.docker
Validation of DAG params
Testing Connections from the UI - test the credentials for your Connection actually work
Duplication Connections from the UI
DAGs “Next run” info is shown in the UI, including when the run will actually start
airflow standalone command runs all of the Airflow components directly without docker - great for local development Открыть/Комментировать

2021-10-06 18:01:44 Какое-то время назад я просил ребят в сообществе DE заполнить маленький опрос при подготовке к докладу на TechTrain. Доклад можно посмотреть по ссылке, а вот немножко статистики из опроса (я же обещал!)

Подавляющее большинство инженеров из больших и очень больших компаний, и облаков в России немного, а большинство это on-prem компоненты. Тут все очевидно было. Как и с языком программирования: почти половина пишет на Python, 30% на Scala и всего 9% на Java. Тоже предсказуемо.

А вот неочевидное:
1) Лишь 11% ответивших считают, что самый главный технический навык это ЯП, 36% за SQL и 43% за знание тулинга и фреймворков. Литкоднинужен?
2) Лишь 30% сразу начали заниматься DE, все остальные - перекатывались из другой сферы.
3) Топ-5 навыков это вообще боль. За 67 ответов их набежало >35 разнообразных. Аж на слайд все не поместились. Открыть/Комментировать

2021-09-17 17:36:07 Итак, осень началась, а значит начался сезон конференций. Вообще, конференции это прекрасный способ узнать что-то новое, но куда важней - это нетворкинг. Да, да, банальные прописные истины!

Не отпускать вас на конференцию, потому что вас там переманят - это глупость со стороны работодателя и от такого нужно бежать. Я бы сбежал.
Не ходить на конференцию, ибо “я в записи посмотрю” - это упускать возможность узнать из первых уст в кулуарах о состоянии индустрии, и выстроить связи, которые вам помогут в будущем: интересным проектом или вы найдете себе коллегу.
Мерч, стикеры, книги - куда ж без этого =)


Если что, этой осенью меня можно поймать тут:
- 18 сентября, уже завтра, TechTrain https://bit.ly/3Dxabny, я выступаю с докладом впервые) Приходите поддержать!
- 20-21 сентября, Saint HighLoad ++, https://www.highload.ru/spb/2021, тут все просто - это флагманские конференции, такие не стоит пропускать.
- 27-28 сентября, MoscowPython Conf++ https://conf.python.ru/moscow/2021. Эту конференцию я помогал организовывать, курирую один из докладов. Если вы вдруг не купили билет, то есть промокодик SimonOsipov{MPC2021} на 7% скидки
- 11-14 октября, SmartData, https://bit.ly/3ypGykp. Ну как дата инженеру не посетить конференцию для Дата Инженеров? Опять же, если у вас еще нет билета - есть промокодик trubadannykh2021JRGpc
- 25 и 26 ноября, HighLoad++ https://www.highload.ru/moscow/2021. Завершение сезона крупнейшей конференцией. Открыть/Комментировать

2021-09-08 11:57:16 https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/

Паша вновь постарался и собрал для вас новости в DE за прошедший месяц. Открыть/Комментировать

2021-09-07 14:16:31 Если кто-то хотел узнать поподробней про схемы и модели хранения данных, вот будет вебинарчик интересный:

DataVault / Anchor Modeling
(8 сентября 2021 в 20:00 по мск)
Спикер: Николай Голов

Ссылка:

Открыть/Комментировать

2021-08-31 13:59:23 https://habr.com/ru/company/ods/blog/572264/

Ребята из ODS собрали и проанализировали статистику по вакансиям внутри сообщества (а это, на секундочку, крупнейшее сообщество по работе с данными).
Интересные цифры и выводы внутри статьи. Открыть/Комментировать

2021-08-23 20:11:35 Началось, как я попал на конференцию TechTrain, то JUG от меня не отстает, “опубликуйте это”, “опубликуйте то”

На самом деле, я делаю это все добровольно и никакая это не платная интеграция (мне уже предлагали деньги за рекламу, но этот канал всегда будет без монетизации через рекламу).

26 августа в 18:00 компания IT_One вместе с JUG Ru Group проведет онлайн митап по Big Data и Java.

В программе:
— Максим Стаценко, «Обзор технологий хранения больших данных. Плюсы, минусы, кому подойдет»;
— Вадим Опольский, «Apache Flink vs Свой Java Код. Для приземления данных из Kafka»;
— Круглый стол c Максимом Юнусовым, Вадимом Опольским и Максимом Стаценко, на котором спикеры обсудят системы хранения данных, архитектуры и разные подходы к работе с Big Data.

А еще вас будет ждать дискуссионная зона и розыгрыш подарков среди участников

Участие бесплатное, нужно только зарегистрироваться.

В общем, если вам интересны эти темы - приходите. Открыть/Комментировать

2021-08-19 13:25:42 Прекрасная обзорная статья на современный стек технологий по работе с данными с точки зрения инженерии и тулинга от моих друзей из Datafold

https://www.datafold.com/blog/the-modern-data-stack-open-source-edition Открыть/Комментировать

2021-07-02 11:18:34 #НамДжунаБы

Junior DE в Innex Technologies. Открыть/Комментировать

2021-06-09 10:17:12 #НамДжунаБы

Junior аналитик в Х5. Открыть/Комментировать