Адрес канала:
Категории:
Технологии
Язык: Русский
Количество подписчиков:
2.37K
Описание канала:
Канал про Data Engineering & Distributed Systems.
Всё, что вы хотели знать про построение инфраструктуры для хранения, обработки и эффективного анализа гигантского объёма данных.
Автор @adilkhash
Рейтинги и Отзывы
Оценить канал dataeng и оставить отзыв — могут только зарегестрированные пользователи. Все отзывы проходят модерацию.
5 звезд
0
4 звезд
0
3 звезд
1
2 звезд
1
1 звезд
0
Последние сообщения 11
2021-06-21 10:39:42
Мы опубликовали материалы митапа DE or DIE #7: https://deordie.org/meetups/07/ (видео докладов + презентации в формате PDF).
423 views07:39
2021-06-20 12:56:24
Подготовил конспект курса по Spark. Поможет освежить важное в памяти или сэкономить время на просмотре. Сам курс к изучению рекомендую.
#briefly #spark
Spark Starter Kit
https://telegra.ph/Udemy-Spark-Starter-Kit-part-1-06-19
What's inside:
— Hadoop and Spark comparison: storage, MapReduce, speed, resources management.
— Challenges Spark tries to address.
— How Spark achieves high efficiency.
— How Spark achieves fault-tolerance.
— What is RDD.
Ссылка на курс: Spark Starter Kit
570 views09:56
2021-06-19 19:00:59
Нашел видео про
Dagster от одного из его авторов:
Он у меня "на карандаше", хочу попробовать и написать небольшой туториал в блоге.
954 views16:00
2021-06-17 20:18:53
Сказка про Apache Kafka: https://www.gentlydownthe.stream/
716 views17:18
2021-06-16 18:22:40
Прямо сейчас идёт митап по dataeng:
404 views15:22
2021-06-14 17:24:46
Про новую роль Analytics Engineer:
618 views14:24
2021-06-11 19:40:39
Работаете с данными и аналитикой? 15 июня в OTUS для вас пройдет demo-занятие
«Практическое качество данных». Преподаватель Артемий Козырь разберет вопрос актуальности и своевременности данных. Поговорим про тесты схемы и бизнес-логики, получение статусов и уведомлений в Slack и многое другое.
Еще больше best practice ждет вас на курсе «Data Warehouse Analyst», а demo-урок в рамках курса позволит вам оценить формат обучения. Регистрируйтесь на вебинар и подключайтесь 15 июня, будет интересно и полезно https://otus.pw/qK4O/
475 views16:40
2021-06-08 14:18:37
DE or DIE #7
Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE!
Дата и время: 16 июня (среда) 18:00
Формат: Онлайн (трансляция на YouTube)
Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/
Темы:
18:00-19:00. Handling late data. How to make the right choice? - Дарья Буланова
19:15-20:15. Ingestion and historization in the Data Lake? - Илья Тодор
20:15-20:45. After Show - организаторы DE or DIE и спикеры
(*): Несмотря на англоязычные названия доклады будут на русском языке.
Ждем вас в следующую среду. Ссылку на трансляцию опубликуем за час до мероприятия.
1.6K views11:18
2021-06-06 22:46:18
8 июня Иван Трусов - Solution Architect Databricks в Берлине расскажет нам про платформу Databricks и Lakehouse.
У нас запланирована целая серия вебинаров с русскоговорящими архитекторами Databricks, stay tuned!
Хочу рассказать как со всеми ними познакомился. Так как я внедряю Azure Databricks в Microsoft Gaming/Xbox, то спустя какое-то время я устал париться с поддержкой Azure и ждать неделями их бесполезные ответы, я написал директору Azure Databricks в Microsoft и попросил помочь с CI/CD, в итоге наc соединили с командой архитекторов в Берлине и Амстердаме и я рассказал им про datalearn и попросил выступить. Мир тесен!
PS CI/CD pipeline уже работает!
1.1K views19:46
2021-06-05 09:00:54
Интересные, на мой взгляд, доклады
PyCON US 2021:
— Hacking Dask: Diving Into Dask Internals
— Dask-SQL: Empowering Pythonistas for Scalable End-to-End Data Engineering
— Event-driven applications: Apache Kafka and Python
— Python Performance at Scale - Making Python Faster at Instagram
— Data Processing on Ray
— Large Scale Data Validation with Spark and Dask
1.1K views06:00
D
