Получи случайную криптовалюту за регистрацию!

DataEng

Логотип телеграм канала @dataeng — DataEng D
Логотип телеграм канала @dataeng — DataEng
Адрес канала: @dataeng
Категории: Технологии
Язык: Русский
Количество подписчиков: 2.37K
Описание канала:

Канал про Data Engineering & Distributed Systems.
Всё, что вы хотели знать про построение инфраструктуры для хранения, обработки и эффективного анализа гигантского объёма данных.
Автор @adilkhash

Рейтинги и Отзывы

2.50

2 отзыва

Оценить канал dataeng и оставить отзыв — могут только зарегестрированные пользователи. Все отзывы проходят модерацию.

5 звезд

0

4 звезд

0

3 звезд

1

2 звезд

1

1 звезд

0


Последние сообщения 4

2021-12-23 11:28:56 Запись докладов ранее анонсированной конференции:

556 viewsedited  08:28
Открыть/Комментировать
2021-12-22 19:48:11 https://hakibenita.com/postgresql-unknown-features
749 views16:48
Открыть/Комментировать
2021-12-20 15:00:21 #вакансия

Аналитик DWH (от Junior до Senior)
Москва
Accenture

В IT-компании Accenture, входящей в список 500 крупнейших компаний и 100 лучших работодателей мира, открыта позиция аналитика DWH.

Обязанности:
— выявлять требования к данным, сценарии их использования и анализа в корпоративном хранилище данных и отчетности в тесном взаимодействии с бизнес-подразделениями;
— проектировать логическую модель данных корпоративного ХД (детальный слой и витрины данных) и ETL-процессы интеграции данных с различными системами-источниками;
— анализировать причины расхождений данных в различных витринах корпоративного хранилища данных, участвовать в определении эталонных данных;
— проводить тестирование и приемку готового функционала;
— реализовывать проверки качества данных, организовывать их исправление.

Требования:
— опыт работы в проектах по DWH;
— уверенные знания SQL;
— понимание теории баз данных;
— навыки проектирования схем данных для транзакционных и аналитических систем (3NF, Data Vault, «звезда», «снежинка», OLAP), ETL-процессов.

Условия:
— регулярное повышение дохода и достойный годовой бонус;
— уникальная команда из лучших экспертов на рынке;
— лучшая страховка для тебя и семьи с 1 рабочего дня;
— 33 дня отпуска в году;
— обучение, сертификации, международные тренинги за счет компании;
— новый iPhone как часть welcome pack.

Оплата: 130–250 тысяч рублей (Gross)

Контакты: @aliya861 или на почту aliya.kshtykenova@accenture.com
578 views12:00
Открыть/Комментировать
2021-12-20 08:00:46 Интересная статья про то как в Великобритании строили COVID-дэшборд на PostgreSQL, Citus и Microsoft Azure. В статье речь идёт про этот дэшборд.

Я был очень удивлён, что такой профессиональный подход к проектированию и построению отказоустойчивых систем есть у государственных органов. Более того, к сервису можно подключаться по API, есть даже официальные клиенты под разные языки. Например, вот python-клиент.

Статья полна технических деталей по реализации, и даже есть ER-диаграмма моделирования данных в БД. Несомненно крутой кейс и пример открытого государства. Нам о таком остаётся только мечтать
286 views05:00
Открыть/Комментировать
2021-12-17 11:11:15 Интересный движ намечается в январе 2022 года — Data Engineer Zoomcamp

Это 9 недельный курс в формате zoom-лекций и практических занятий по дата инжинирингу. Примечательно что он абсолютно бесплатный для всех, нужна лишь предварительная регистрация по ссылке.

У этой инициативы уже есть полупустой репозиторий на гитхабе: https://github.com/DataTalksClub/data-engineering-zoomcamp, там же можно ознакомиться подробнее с предстоящими темами для изучения.

Старт намечен на 17 января 2022 года
1.3K viewsedited  08:11
Открыть/Комментировать
2021-12-16 09:00:51
DWHard митап
21 декабря / вторник
17:00 - 20:00 (мск)

Три часа - три темы:
Data Mesh
Поговорим про применение микросервисной архитектуры в DWH. Как применяли данный подход в Яндекс Go, стоит ли это того, и как сохранить единообразие и управлять таким разрозненным гетерогенным хранилищем?

История озера данных, которое зацвело
Поговорим про адаптацию Vertica в Ozon как технологической основы для DataLake. Рассмотрим, какие шишки набивали, что получилось хорошо, а что - не очень. Обсудим нюансы поддержки пользователей и соблюдение границ применимости даталейка под их нужды.

Недетальный неслой хранилища
Поговорим про выбор модели для создания хранилища данных (Data Vault, Anchor modeling или 3-я нормальная форма), про создание детального слоя в Сибур Диджитал, разберём ключевые ошибки и поделимся выходом, который мы нашли.

Больше информации по ссылке внизу
Подробности и регистрация

Регистрируйся и уже сейчас задай вопросы спикерам митапа!
767 views06:00
Открыть/Комментировать
2021-12-15 20:16:02 В догонку про доклады. На канале конференции Hydra стали доступны доклады с прошедшей Hydra 2021

На конференции выступали именитые спикеры, например, есть доклад от Andy Pavlo про ретроспективу NewSQL баз данных за прошедшее десятилетие. Меня также заинтересовал доклад про распределённые транзакции, я не понимаю как возможно добиться транзакционности в распределённой среде, поэтому буду "курить".

Загляните в их плейлист, наверняка найдёте что-то интересное для себя.
597 views17:16
Открыть/Комментировать
2021-12-15 19:54:14 Вебинар от Astronomer про data lineage в Apache Airflow:

629 views16:54
Открыть/Комментировать
2021-12-10 15:01:07
Приглашаем дата-инженеров на demo-занятие 13 декабря в 20:00 «Написание коннекторов для Spark».

Открытый вебинар проведет Вадим Опольский. Вадим работает в Luxoft DXC Technology на Big Data проекте. Преподаватель разберет с вами подключение к внешним системам из коробки и создание кастомного коннектора для подключения к нестандартным БД.

Demo-занятие входит в программу онлайн-курса «Spark Developer» от OTUS и позволяет оценить качество материалов курса. Пройдите вступительное тестирование, чтобы попасть на мероприятие https://otus.pw/5FCC/
773 views12:01
Открыть/Комментировать
2021-12-09 14:11:51 Wes McKinney в рамках Database talks от CMU рассказывает про Apache Arrow:


Apache Arrow это новый вид колоночного in-memory формата данных. Более подробно про сам формат можно узнать из доклада или сайта https://arrow.apache.org/overview/
569 views11:11
Открыть/Комментировать