Инжиниринг Данных

2021-02-27 20:15:47 Что читать DE в телеге?

Сегодня подборка полезных TG-каналов для дата-инженера:

• Инжиниринг данных https://t.me/rockyourdata Канал Дмитрия Аношина, эксперта по BI. Автор также ведет курс datalearn.ru, где обучает дата-инжиниринг (бесплатно)
• Data Eng https://t.me/dataeng Всё, что вы хотели знать про построение инфраструктуры для хранения, обработки и эффективного анализа гигантского объёма данных.
• Moscow Spark https://t.me/moscowspark Чат московского community Apache Spark.
• DE or DIE Chat https://t.me/deordie_chat Чат сообщества DE or DIE, созданный дата инженерами. Поддерживают ребята из DoDo Engineering. Проводят митапы DE or DIE вместе с NewProLab
• Smart Data https://t.me/smart_data_channel Канал про Data Engineering, аналитику и данные.
• Я у мамы Data Engineer! https://t.me/ohmydataengineer
• Data online events & Moscow meetups https://t.me/data_events Очень полезный канал - все ивенты, связанные с данными
• Data jobs feed https://t.me/datajobschannel Канал с вакансиями в сфере обработки данных (инженеры, аналитики). Полезно для понимания тенденций на рынке и востребованных навыков

Если знаете еще полезные каналы - пишите в комментариях! Открыть/Комментировать

2021-02-27 09:02:34 работаю над задачкой парсинга результата API - JSON, в котором много уровней вложений. Хочу сделать плоскую таблицу. Использую HDInsight+Spark, и потом буду Databricks.

Накидайте пожалуйста в комменты книги, курсы, tutorial, статьи или ещё чего, как в python парсить JSON. Мне ещё потом телеметрию с Xbox предстоит разбирать, хочу поучиться как правильно делать. Открыть/Комментировать

2021-02-26 21:53:51 https://www.wired.com/review/stykka-stay-the-f-home-cardboard-desk/ Открыть/Комментировать

2021-02-25 22:30:49 Презенташка для сегодняшнего митапа, ничего нового для вас, кроме одного слайда, где-то в конце архитектура для моего решения на databricks/delta lake. https://docs.google.com/presentation/d/1HShF6AIghwlV_-0LlPoT1yWcBuglFzMCkU1H4jdDbFI/ Открыть/Комментировать

2021-02-25 19:31:07

Открыть/Комментировать

2021-02-25 09:53:54 А Анастасия опубликовал 4й урок курса ML&DS. В котором вы узнаете:

Build and Train ML model
Overfitting и Underfitting + Cross-Validation
Model Evaluation
Tuning hyperparameters
Submission of ‘.csv’ file Открыть/Комментировать

2021-02-25 09:50:43 Владимир Лагутинский, который делал супер вебинар про Data Teams, скинул очень классный ролик - Канбан для Data Science, Асхат Уразбаев

Открыть/Комментировать

2021-02-25 05:44:44 https://www.tableau.com/about/blog/2021/2/data-science-and-future-visualization-tools-reflection?utm_medium=powerbi Открыть/Комментировать

2021-02-24 10:01:36 Визуализация SLA, свежий блог от Airbnb https://medium.com/airbnb-engineering/visualizing-data-timeliness-at-airbnb-ee638fdf4710 Открыть/Комментировать

2021-02-24 09:03:53 Записал подкаст с Анастасией Кузнецовой, автором канала Настенька и графики (если ещё не подписаны, то очень рекомендую).

Поговорили про то, как дизайн помогает аналитикам в работе, посмотрели работы Насти и обсудили работы с Табло Паблика в новой рубрике «дашборд-рулетка». Было круто вместе обсудить визуализации, так как Настя тоже очень заморочена с дизайном и понятностью работы для зрителя.

Аудиоверсия
Текстовая версия

0:43 — Карьерный путь
7:12 — Про работу аналитика клиентских данных
8:34 — Зачем аналитику нужно знать основы дизайна
12:42 — Примеры работ
13:14 — Наука в северной Корее
20:25 — Граф для связей в ВК
23:50 — Музыка в ВК
30:15 — Сравнение пенсий
33:00 — Дашборд рулетка
1:05:22 — За чем следит и что почитать
1:07:20 — Блиц

Как вам совместные просмотры и разборы работ?

#подкаст Открыть/Комментировать