DataEng

2021-12-07 11:30:05 Какие инструменты должны быть в арсенале дата-инженера?

Подключайтесь к Demo Day онлайн-курса «Spark Developer» 8 декабря в 20:00. Преподаватель Егор Матешук, CDO AdTech-компании Квант, расскажет о своем профессиональном пути, представит программу и формат обучения в OTUS. Вы сможете задать свои вопросы и получите возможность занять место в группе по спец.цене.

Регистрируйтесь на вебинар, чтобы принять участие: https://otus.pw/T8Uc/ Открыть/Комментировать

2021-12-06 12:26:46 Раз уж заговорили про SQLite, то вот вам ещё одна батарейка — rqlite.

rqlite это распределенная реляционная база данных на основе SQLite. Эдакий etcd или Consul только с реляционной начинкой. Консенсус в распределённой системе реализован через Raft. Также частью системы является т.н. raft log, в котором хранится вся история SQL команд, некий аналог WAL в PostgreSQL. По умолчанию база хранится в памяти, но можно настроить хранение на диске. Каждый раз при запуске rqlited база заново воссоздаётся из raft log.

Подробнее про дизайн системы можно почитать в блоге автора:

— RQLITE – REPLICATED SQLITE WITH NEW RAFT CONSENSUS AND API
— REPLICATING SQLITE USING RAFT CONSENSUS

Update: автор делал доклад в рамках CMU Database:

Открыть/Комментировать

2021-12-06 07:09:27 Нашел интересную балалайку для потоковой репликации базы SQLite в другой файл или сразу на S3: https://github.com/benbjohnson/litestream
Документация: https://litestream.io/getting-started/
Проект написан на Go, запускается как отдельный демон без регистрации и смс.

Девиз проекта: Stop building slow, complex, fragile software systems. Safely run your application on a single server. Открыть/Комментировать

2021-12-05 18:38:17 Прикольная визуализация работы pandas: https://pandastutor.com/index.html
Удобно при изучении этой крутой библиотеки. Открыть/Комментировать

2021-12-03 18:00:27 Курс про построение дата-пайплайнов на основе Apache Kafka от Confluent: https://developer.confluent.io/learn-kafka/data-pipelines/intro/ Открыть/Комментировать

2021-12-02 18:00:41 ​​Митап для сообщества MongoDB в России
9 декабря в 18:00 очно и онлайн

На митапе архитектор MongoDB Inc расскажет о новых возможностях MongoDB 5.0. Также руководители ИТ-команд из apteka.ru, kp.ru, Urent поделятся своим опытом: какую архитектуру проектов на MongoDB выбрали, с чем столкнулись при росте нагрузок. Команда Yandex.Cloud расскажет о Performance Diagnostics кластеров MongoDB и сценариях репликации и миграции данных с помощью Yandex Data Transfer.

Место проведения — г. Москва, ул. Льва Толстого, д. 16. Для посещения мероприятия необходимо иметь QR-код.
Будет онлайн-трансляция, и для участия нужна регистрация.

Программа и регистрация » Открыть/Комментировать

2021-12-01 18:01:02 Kubernetes отлично подойдет на роль центрального звена платформы для работы с данными. Не слышали о таком подходе?

На VK Kubernetes Conference мы покажем, что K8s - это технология, которая не только способна помирить Dev, Sec и Ops, но и может быть интересна Data Scientist и инженерам данных.

Когда: 9 декабря, 10:00 MSK
Регистрация: https://cutt.ly/ST99xgZ

Из докладов вы узнаете:
Какие инструменты дата инженера можно запустить в K8s и какие тонкости стоит при этом учитывать.
Сравнение классических и облачных архитектур при работе с данными.
Инструменты для построения DWH и Data Lake в облаках.

В программе — доклады, воркшопы и, конечно же, нетворкинг, во время которого у самых активных зрителей будет возможность поделиться собственным крутым опытом!


Зарегистрироваться: https://cutt.ly/ST99xgZ Открыть/Комментировать

2021-11-30 12:46:28 Приглашаем Data и DevOps-специалистов уровня Middle+ принять участие в Data&DevOps Hiring Weeks и стать частью команды EPAM. Регистрация уже открыта: epa.ms/devops-hw-tg-17
⠀
Что дает участие в Hiring Weeks?
⠀
Оффер в течение 48 часов
Welcome-бонус в размере оклада, если вы примете оффер в течение 7 дней
Можно выбрать удобную дату выхода в EPAM
⠀
В числе клиентов EPAM крупнейшие международные фармацевтические и биофармацевтические компании, розничные сети и телекоммуникационные компании. Кандидатам предстоит решать масштабные задачи и использовать современный технологический стек.
Узнать более подробную информацию о проектах и вакансиях вы можете на сайте!
⠀
Что еще мы предлагаем?

Прозрачные условия карьерного роста: матрицы компетенций, фидбэк-сессии, ассессмент
Бенефиты: доступ к 1700+ курсов и тренингов, бесплатные курсы английского, ДМС со стоматологией с первого дня работы
Профессиональные комьюнити
Возможность релокации в 35+ стран
⠀
Регистрируйтесь прямо сейчас epa.ms/devops-hw-tg-17 Открыть/Комментировать

2021-11-26 16:59:04 Также решил сделать скидку в 35% на курс Apache Airflow 2.0: практический курс.

Промокод BLACKFRIDAY, действует до 28.11 Открыть/Комментировать

2021-11-26 13:35:49 Всем привет!

Сегодня, в последнюю пятницу ноября, я решил сделать большие скидки на своей учебной платформе:

— Введение в Data Engineering: дата-пайплайны, по промокоду BLACKFRIDAY скидка 50%, 345 RUB
— Анализ медицинских изображений в Python по промокоду BLACKFRIDAY скидка 50%, 250 RUB

Промокод необходимо вводить в момент оформления заказа.
Всем приятной учебы и выходных! Открыть/Комментировать