DataEng

2022-08-30 11:54:40 Прошлый пост касался архитектуры Redis, а сейчас предлагаю вам познакомиться с кишками memcached: https://bit.ly/3czb6eQ

Лет 5-6 назад я был активным пользователем memcached, использовал его во всех проектах как основной кэш-бэкенд, но с бурным развитием Redis я переключился на него. Тем не менее, memcached поддерживается (последняя версия вышла 26 августа 2022 года), видео считаю очень полезным (как и канал автора в целом). Открыть/Комментировать

2022-08-25 10:06:16 Как работает Redis? Узнать можно тут: https://bit.ly/3pIbA5b Открыть/Комментировать

2022-08-08 12:45:32 На канале IT's Tinkoff появились видео с их конференции:

— Как мы строим Metadata Management
— Под капотом каталога данных
— Как с помощью Data Mesh разломать ваше DWH
— Data-docs — как найти данные о данных

Enjoy! Открыть/Комментировать

2022-07-28 14:00:09 SmartData от JUG Ru Group возвращается!

Конференция для дата-инженеров пройдет уже в октябре.

Вы можете стать ее спикером. Если у вас есть интересные кейсы или вы хотите поделиться опытом решения нетривиальных задач — подавайте заявку на участие.

Вы подтвердите свою экспертность, познакомитесь с крутыми специалистами и получите обратную связь от участников. Программный комитет поможет с подготовкой к выступлению — назначит персонального куратора, проведет ревью материала и организует репетиции.

На сайте вы найдёте список тем, с которыми можно выступить. Если хотите выступить с другой темой, присылайте свои предложения — их обязательно рассмотрят.

А если хотите просто поучаствовать в SmartData 2022 — билеты уже на сайте. Открыть/Комментировать

2022-06-23 10:30:23 Про таймауты и внешние API

Хорошей практикой при работе с внешними сервисами я считаю явное указание таймаутов ожидания соединения и ответа от хоста. Такой подход поможет избежать проблем с "зависанием" соединения и, как следствие, блокировкой процесса (для блокирующих соединений). На моей памяти было 2 неприятных кейса. В далёком 2015 я использовал requests для работы с сервисом поиска и бронирования ЖД билетов в Казахстане, по-умолчанию в requests нет таймаута и ожидание может превратиться в бесконечность. Всё было хорошо до тех пор пока у внешнего сервиса не начались проблемы, и он перестал отвечать на запросы. Все worker-процессы ушли в бесконечное ожидание, и мой сервис перестал принимать новые соединения, сайт попросту сломался. Тогда мне потребовалось некоторое время, чтобы понять в чем проблема.

Со второй проблемой я столкнулся неделю назад. Сейчас я разрабатываю веб-сервисы для автоматизации рекламных сетей, активно пользуюсь Facebook Ads. Для работы с маркетинговым сервисом Фейсбука существует библиотека facebook-python-business-sdk. Внимание! Под капотом она использует requests И у неё нет таймаута по умолчанию. Я наткнулся на те же грабли, когда ФБ стал подтормаживать.

К слову, если вы как и я пользуетесь facebook-python-business-sdk, то таймаут можно установить через инициализацию API-класса:

FacebookAdsApi.init(access_token=access_token, api_version='v13.0', timeout=settings.FACEBOOK_ADS_API_TIMEOUT)

Не наступайте на грабли, ставьте таймауты

Также по теме в ленте увидел пост про патчинг requests: https://adamj.eu/tech/2022/06/23/how-to-patch-requests-to-have-a-default-timeout/ Открыть/Комментировать

2022-06-20 17:11:01 Хех, тут новый релиз Luigi нарисовался — https://github.com/spotify/luigi/releases/tag/3.1.0
В интернетах народ уже давно похоронил этот замечательный фреймворк, апеллирует народ в основном к тому, что, мол, давно не было обновлений. А обновлять то там особо нечего, он простой и работает без сбоев. У меня, например, Luigi вот уже много лет бэкапит все сайты и складывает на S3. Открыть/Комментировать

2022-06-10 09:32:39 Доклады с Airflow Summit 2022 подъехали: https://bit.ly/3mzyl9T Открыть/Комментировать

2022-06-03 12:13:46 Подготовил конспект статьи от Shopify о сетапе Airflow на 10 тысяч DAG'ов со 150 тысячами запусков в день. Сэкономит вам время на прочтении и поможет освежить в памяти в будущем.

#briefly #airflow Airflow: scaling out recommendations by Shopify
https://telegra.ph/Airflow-scaling-out-recommendations-by-Shopify-06-03

What's inside:
— Cloud Storage vs Network File System.
— Metadata retention policy.
— Manifest file.
— Consistent distribution of load.
— Concurrency management.
— Using different execution environments.

Origin: Lessons Learned From Running Apache Airflow at Scale Открыть/Комментировать

2022-05-25 18:00:09 ​​ Как изменится Spark и работа дата-инженера в новых реалиях?

Приглашаем 14 июня в 20:00 мск на бесплатный вебинар «Дата инженер и Spark в новых реалиях»

На вебинаре мы ответим на вопросы:
Как изменятся источники и получатели данных, объемы данных, языки для ETL, кластера, облака и IDE?
Насколько будет востребован дата-инженера на рынке и к чему нужно быть готовым?

А также обсудим open source технологии и примеры миграционных проектов.

Регистрация на вебинар: https://otus.pw/ZUfD/ Открыть/Комментировать

2022-05-23 16:00:06 ​​ Интересно развиваться как инженер данных? 31 мая начинаются занятия на онлайн-курсе «Data Engineer» в OTUS.

Курс поможет разработчикам и администраторам СУБД научиться работать с компонентами экосистемы Hadoop, распределенными хранилищами и облачными решениями.

Через 3 месяца вы сможете использовать инструменты обработки данных, адаптировать датасеты и отвечать за архитектуру данных в компании.

На курсе вас ждет интенсивная практика: примеры внедрений, разбор типичных ошибок и отработка навыков на виртуальных стендах Yandex.Cloud.

Пройдите вступительный тест, чтобы успеть записаться в группу Открыть/Комментировать