Инжиниринг Данных

2023-06-22 20:00:06 Классно видеть как 2 топ человека из Tableau Community создали семью. Именно они учили всех Tableau и запустили проект MakeOverMonday, на котором каждую неделю выдавали новый data set и каждый желающий строил dashboard. Я сам лично построил dashboard про объемы картофеля в Нидерладнах Открыть/Комментировать

2023-06-22 12:01:31 IT_One Data Meetup: обработка и хранение данных — бесплатный онлайн-митап при поддержке JUG Ru Group.

Митап пройдет на сайте IT_One — 29 июня в 18:00

В программе:
Анна Зверькова — «Как обойти грабли при очистке данных от дубликатов с помощью Apache Hive».
Анна расскажет о способах и проблемах дедупликации большого объема данных невысокого уровня качества, а также о методах решения проблем с помощью Apache Hive и других инструментов.

Сергей Мелекшаян — «Кэширование ответов с помощью JSONB для высоконагруженных сервисов».
Сергей покажет, как уменьшить количество промежуточных операций и отдавать данные быстрее — с помощью готовых данных в виде JSON.

Так же в программе дискуссии и розыгрыши призов

Участие бесплатное. Регистрация по ссылке на сайте мероприятия. Открыть/Комментировать

2023-06-22 09:15:09 Return to Office Enters the Desperation Phase - статья про возвращение сотрудников в офис, напоминает нам о том, что идея удаленной работы не очень хорошо ложится на финасовые показатели больших компаний. Отсюда и движ в сторону загнать всех в офис, а кто не хочет - "давай досвидание".

В Linkedin попался хороший комментарий на эту тему:

This article starts strong with this asinine CEO complaining that zoom calls are too polite and that he is much happier in person where you can interrupt people.

And it’s that kind of pathetic reaching that we hear over and over again when regressive CEOs struggle to justify RTO. But they are liars. Here are three reasons they want you back in the office:

1. Bonuses and EBIT: with long term leases, the cost of an office looks like a loss on their balance sheet. EVEN IN A PROFITABLE COMPANY this means bonuses get a bit lighter for the folks on top.

2. Quiet layoffs: if they can make a change that will force parents, distant workers and others to resign - that doesn’t look like a layoff on their balance sheet. Does it vastly discriminate against single moms and people with less family wealth? Sure. Is that racism with extra steps? Sure. But that’s fine. We can interrupt people in person!

3. Middle Management Failings: the incompetence and impotence of middle management has never been more obvious than the vast improvements in output that happened when they were no longer part of the equation with WFH. And once again, you can quiet lay off brown moms every day of the Shark Week, but try to fire middle management and you’ve got a lawsuit on your hands buddy.

RTO is a lie by liars and what comes next will be the scramble to invent proof of decreased productivity from home. But don’t pretend for a second that these racist liars aren’t ready to put their racist lying sleaze hands on the scale to make their points. They’ve already started.

То есть, несомненно, возможность всех заставить ходить на работу принесет выгоду владельцам бизнеса, но явно не на пользу сотрудникам, особенно у кого есть множестве личных дел. В мое случае ходить в офисе звучит как "зашквар", что-то из далекого прошлого. В любом случае не нам выбирать, где работать - дома или в офисе, кто платит, тот и музыку заказывает.

А как у вас настрой с удаленной работой и возвращение в офис? А может быть вы уже вернулись? Открыть/Комментировать

2023-06-21 21:16:16 #weeklydatanewsdump

И снова накопилась порция полезных ссылок.

Мне понравилось видео - God-Tier Developer Roadmap, в котором автор рассказывает о пирамиде языков программирования, начиная с таких простых как Scratch. Было бы классно сделать такую же пирамиду про Аналитику. Например, в моем понимании начинается с Excel->SQL->Python->Scala/Go и тп.

Другое видео I Tried Andrew Huberman's Morning Routine - [30 Days + Blood Tests] - в целом про дисциплину. Мы все знаем как быть успешными (для меня отчасти это синоним дисциплинированности), но очень мало людей имеют достаточно мотивации, чтобы следовать простым правилам, которые сделают вас более продуктивными, мотивированными, и как следствие более счастливыми и здоровыми. Это большой топик, у которого нет четкого решения.

Недавно увидел очень удобный плагин Fig, у которого нереальный autocompletion. Это open source. Другой классный плагин для CLI - fx, который умеет красиво форматировать JSON в командной строке.

Парочка ресурсов про PySpark Style Guides:
- PySpark Style Guide
- Palantir PySpark Style Guide - активно использовал его.

Вообще style guide необходим, чтобы вы не использовали, чтобы все было "по красоте".

Отличная статья, которая помогает разобраться в Presto\Trino терминологии - Introduction to Presto/Trino for Data Engineers. Кстати AWS Athena использует Presto query engine. Так же недавно мы общались с Trino/Presto основателями. Мой текущий DE менеджер (пригласил бывших коллег) был сокращен из Meta, где он проработал года 3, а до этого он много лет работал в Lyft, еще до IPO. Очень грамотный мужик, слушаю его и впитываю информацию. Вообще он сказал, что уже на пенсию собирается=) как я понял он грамотно распорядился стоками Lyft/Meta и владеет недвижимостью в Канаде и США, и в свободное время менеджер инженеров

Snowflake поделился - Monitoring your Snowflake Organization with Snowsight. Вообще, все что есть в снежинке для мониторинга стоимости сделано очень качественно и детально, можно все отслеживать и тем самым экономить и оптимизировать.

Хотя согласно этой маркетинговой статье REDUCING OUR DATA INFRASTRUCTURE COSTS BY 76% BY MIGRATING FROM SNOWFLAKE TO DATABRICKS в Databricks будет еще дешевле , и где то я видел, что в Trino будет еще дешевле, чем в Databricks и про миграцию из Trino/Presto на Snowflake. Круг замкнулся.

Пока мы топим за облака, есть компании, кто очень круто обходится без облаков, так как особо никаких нет преимуществ для них - Inside Agoda’s Private Cloud. Поэтому для большинства Российских компаний быть не в облаке это уже не значит, что компания динозавр, а наоборот осмысленный шаг.




Еще несколько Git Repos с полезными материалами по Software Engineering Foundations:
- 30-seconds-of-code
- Public APIs - Explore, discover and consume public APIs as simpler programmable building blocks all on one platform for a 10x developer experience.
- free-programming-books - The list was moved to GitHub by Victor Felder for collaborative updating and maintenance. It has grown to become one of GitHub's most popular repositories, with 271,000+ stars, about 9,700 watchers, more than 8,300 commits, 2,400+ contributors, and 54,000+ forks.
- The Algorithms - Open Source resource for learning Data Structures & Algorithms and their implementation in any Programming Language
- Tech Interview Handbook - free and curated technical interview preparation materials for busy engineers, brought to you by me, the author of Blind 75. Over 500,000 people have benefitted from this handbook!

PS И маленький бонус для Северо Американских (и не только) коллег - Insights про ипотеку, как начать экономить и перестать жечь деньги на ипотечный процент - Mortgages and Christmas Gifts и еще мне понравилось Understanding Money - это все личный блог Harley Hahn, автора книги про Unix, Emacs и множество других. Мужик просто гений. Открыть/Комментировать

2023-06-20 18:00:35 Любопытный кейс Fix Price с аналитикой данных о продажах.

Долгое время команда Fix Price использовала платформу с ассоциативной архитектурой. Данные обрабатывали в оперативной памяти. Поняли, что много времени тратят на построение витрин данных — по три часа в день.

Изменили подход к построению структуры данных и внедрили СУБД на базе ClickHouse с предварительной обработкой xml-файлов с помощью Yandex Cloud Functions. Результат — теперь на один отчет тратится несколько секунд

Подробности по ссылке. Открыть/Комментировать

2023-06-20 00:00:27 Оказывается в Ванкувере проводится крупнейшая конференция - EEE/CVF Conference on Computer Vision and Pattern Recognition 2023 о которой я узнал из канала эйай ньюз

Автор канала Артем оказался в Ванкувере и после нескольких сообщений получилось организовать классную встречу на крыше с шикарным видом и bbq в самом центре Ванкувера на которую пришли все желающие среди его подписчиков.

Несмотря на то, что некоторым не продали алкоголь , мы отлично провели время, обсуди непростую жизнь иммигрантов и ИТишников, зарплаты, жизнь в Европе/Северной Америке и много другое. Открыть/Комментировать

2023-06-17 21:52:37 Я решил изучить Emacs, стал читать книгу Harley Hahn's Emacs Field Guide

И в первой главе сразу:

Generally speaking, here is what we can say about the type of people who like to use Emacs (and because you are reading this book, I am assuming that these three statements apply to you):

1.  Emacs users are smart.
2.  Emacs users like to use computers.
3.  Emacs users enjoy teaching themselves how to use complicated, powerful tools.

Ну вы поняли

PS Emacs — один из наиболее мощных и широко распространённых редакторов, используемых в мире Unix. По популярности он соперничает с редактором vi и его клонами. В зависимости от ситуации, Emacs может быть:

- текстовым редактором;
- программой для чтения почты и новостей Usenet;
- интегрированной средой разработки (IDE);
- операционной системой;
- всем, чем угодно.

Всё это разнообразие достигается благодаря архитектуре Emacs, которая позволяет расширять возможности редактора при помощи языка Emacs Lisp. На языке C написаны лишь самые базовые и низкоуровневые части Emacs, включая полнофункциональный интерпретатор языка Lisp. Таким образом, Emacs имеет встроенный язык программирования, который может использоваться для настройки, расширения и изменения поведения редактора. В действительности, большая часть того редактора, с которым пользователи Emacs работают в наши дни, написана на языке Lisp.

Первая версия редактора Emacs была написана в 70-х годах 20-го столетия Richard Stallman (Ричардом Столманом) как набор макросов для редактора TECO. В дальнейшем, уже будучи основателем Фонда Свободного программного обеспечения Free Software Foundation и проекта GNU, Столман разработал GNU Emacs в развитие оригинального Emacs и до сих пор сопровождает эту программу. (источник https://alexott.net/ru/writings/altlinux-emacs/#sec1 - самое интересное, что я общался с этим человеком, когда внедрял Databricks в Xbox, а теперь мне Bing выдал его пост сверху)

PPS Классное выступление How Emacs made me appreciate software freedom Открыть/Комментировать

2023-06-17 09:59:01 Главная в России конференция про Kubernetes

22 июня 2023 года состоится Kuber Conf — конференция для всех, кто работает с Kubernetes . Вас ждёт 9 докладов, 12 спикеров, 180 минут техноконтента:

технические доклады, продуктовые обзоры, лучшие практики от разработчиков и экспертов по контейнерным технологиям;
создание сервисов и решение бизнес-задач с помощью Kubernetes в финтехе, e-commerce, HoReCa и не только;
неформальное общение с профессиональным сообществом, встреча старых друзей и новые знакомства.

Регистрируйтесь по ссылке, чтобы получить доступ к онлайн-трансляции Kuber Conf’23! Открыть/Комментировать

2023-06-17 09:01:18 Пример решения на Azure Databricks для крупнейшего Северо-Американского телеком оператора. Так получилось, что я слегка помогают сразу двум операторам, один на AWS EMR+Spark и витрины в Snowflake, а другой на Azure Databricks (Delta Lake). Открыть/Комментировать

2023-06-11 21:53:46 Привет, друзья!

Завтра (12 июня) в 20:00 по мск вебинар.

[Тема вебинара]: Game Changer: Переход из BI в мир игр

Спикер раскроет перед вами свою новую главу жизни, когда она решила покинуть мир BI и основать свою собственную студию настольных игр. Вы услышите о ее вдохновении, столкновениях с трудностями и экономической стороне ведения бизнеса. И самое интересное, вы узнаете, как ее знания и опыт в аналитике помогли ей успешно применить их в новой и увлекательной сфере.

Ссылка на вебинар: https://youtube.com/live/7byO0N-aIJY?feature=share

До встречи на вебинаре!
#вебинар #datalearn Открыть/Комментировать