Труба данных

2022-03-24 08:33:09 Всем привет!
С 28 числа в этом канале не было сообщений. Сами знаете почему.
Тут недавно в твиттере проскакивало две фразы, которые мне сильно зацепились.

“Ребята, если хотите сохранить кукуху - найдите для себя свой, личный способ выхода энергии. Нестерпимая ситуация рождает боль, боль рождает желание её уменьшить.“

и

"Может ли булочник печь булки во время войны?".

Так вот, у меня есть продолжить желание писать сюда в канал. Мне нужен этот выход энергии.
Странно, конечно, спрашивать “А вы не против, если я продолжу писать сюда?”, ведь это мой канал

Но я понимаю, что есть люди, которые могут не разделить мою позицию, мол “Почему ты продолжаешь писать про айтишку, когда идет специальная военная операция война?”
Наша жизнь продолжается, в каком-то новом измерении, и в этом измерении я все еще хочу быть дата инженером и заниматься своими любимыми вещами. Поэтому я хочу продолжить писать про DE и вокруг.

Поэтому если вы не разделяет мою позицию по прекращению тишины в канале, сейчас самое время отписаться. Я буду скучать по вам, я люблю каждого своего подписчика.

Если вам есть что сказать, приходите в комментарии, там можно меня даже послать куда подальше за такое, никаких репрессий за это не будет =) Открыть/Комментировать

2022-02-28 10:00:25 Так, среди всех новостных подписок и ресурсов мне очень нравится The Pragmatic Engineer. Это тот самый, который про 3-modal компании (tier 1, tier 2, tier 3) популярный пост писал и видео снимал.
У него очень много полезного материала в его рассылке, и часть из них платная. Подписка стоит $15 в месяц (12, если платить за год сразу), но если ему написать на почту hello at pragmaticengineer dot com, чесно признаться, что вы из России, то можно получить скидку в 55%.
Вот такой вот хороший оффер! Подписку честно советую!

Можете в письме мягко упомянуть “Hello from Simon” =) Открыть/Комментировать

2022-02-25 17:37:00 Да, трудное и очень дурацкое время, мы все все понимаем. Но все же…

Ребята из CityMobil проводят очередной Data Meetup.

Темы снова две:

- Сбор и валидация субъективных данных на примере заказов по пути домой

- Антифрод на рынке такси. Определение мошеннических действий через анализ связности графа поездок

Регистрация доступна по ссылке тут Открыть/Комментировать

2022-02-17 12:50:56 Ребята из Тинькофф на своем недавнем митапе IT's Tinkoff Data Meetup говорили про устройство и процессы Data warehouse, а так же про инструменты в Data Governance.
Две темы:
- Data Governance в Тинькофф
- Подходы к внедрению платформы управления данными в крупной компании

https://meetup.tinkoff.ru/event/tinkoff-data-meetup/
Записи презентаций и слайды по ссылке выше. Открыть/Комментировать

2022-02-14 09:38:29 В прошлых сериях: я написал заметку о том, что в современном потоке контента, который генерирует интернет становится очень сложно понимать, где что-то новое, полезное и интересное, а где - набор булшита и баззвордов. К сожалению, автор удалил статью и нам не удалось подискутировать.

Но ничего, я принес новое)
https://techcrunch.com/2022/02/09/census-confirms-it-has-raised-a-60m-series-b-on-630m-valuation

Итак, из заголовка видно, что очередной data стартап поднял 60 миллионов на раунде при оценке в 630 миллионов. Что можно прочитать про этот стартап?
“А startup building a data layer between business operations and a company’s data warehouse”

Ничего не понятно, но очень интересно. Почитаем дальше..

CEO Boris Jabes said that from the start he wanted to build something that would allow mostly nontechnical users to build queries that made sense to them and get back data that would help them do their jobs without a middleman driving that access.
Мне казалось, что все кто хоть как-то касается данных, знает SQL, а если нет (какой-нибудь CEO), то все отчеты и данные сделают для него.


Business operations people can pull data from various sources based on data types and build a kind of application to deliver that data to them.
Еще одна тулза в итак набитом до отказа modern data stack? Сколько уже таких, подключашек?


The company reports it has now raised over $80 million, including a $4.3 million seed in 2020 and a $16 million A round in 2021.
80 миллионов, за 2 года, команда в 40 человек и интерес от инвесторов из A-list (ну типа крутых и умных).


Что я не понимаю, чего понимают они?
Это ведь очередная тулза, которая призвана remove the middleman, но на самом деле она становится им. Неужели эти все инвестиции ради игры “вдруг выйдем на IPO и акции выростут или кто-нибудь купит, мы окешимся”?
Это и так красный океан уже (модное слово из биздева), куда еще то?
Вот и сидишь, как с NFT (я не могу отпустить эту шутку, да ): понимаешь, что вроде бы это бред и истерия с обезьянами, но надо бы потрогать, вдруг за этим будущее, которое оставит тебя без работы?

Сам стартап - https://www.getcensus.com/
Искренне не понимаю, поясните в комментариях, чем это будет полезно пользователю и компании. Как среди этого всего не упустить следующий dbt? Или просто не переживать, хорошие инструменты набирают популярность и ты узнаешь про них естественным путем? Открыть/Комментировать

2022-02-04 17:31:52 Какая тема вам более интересна?
anonymous poll

dbt – 80
59%

Trino (оно же Presto) – 30
22%

Prefect – 20
15%

Другое (напишите в комментариях) – 5
4%

135 people voted so far. Открыть/Комментировать

2022-02-04 17:31:41 Ребята, привет!
Тут понял, что хочется написать большой, качественный материал в виде обзора и гайда на какой-нибудь фреймворк / тулзу из мира инженерии данных.

Ибо качественных материалов на русском мало, мне хочется нанести пользу и причинить добро, а вот фигачить контент ради контента не хочется. Не делать же очередное видео на тему: «Junior / Middle / Senior. В чем разница?» ( pun intended).

Поэтому нужна ваша помощь! У меня есть наброски для пары тем, но вы можете посоветовать что-нибудь в комментариях) Открыть/Комментировать

2022-01-25 13:24:25 25 января в 18:30 у нас пройдет онлайн Citymobil Data Meetup #6.

Олег Стрельников из Ситимобил расскажет, как выбирали фреймворк для DataQuality, что от него ждали и почему остановились на GreatExpectations. Покажет, как встроили его в архитектуру DWH, с какими проблемами столкнулись и как их побороли.
Максим Шевченко из MTS BigData расскажет про интересный и одновременно простой способ проверки некоторых гипотез валидности таргетинга в наружной рекламе и о том, как его можно использовать в других реальных задачах.

Расписание:
18:30 - 18:40 – Вступительное слово
Алексей Чернобровов | Head of Data Science | Ситимобил
18:40 - 19:10 – Как мы качество данных проверяем
Олег Стрельников | Руководитель команды Data Quality | Ситимобил
19:10 – 19:40 – Проверка гипотезы валидности таргетинга в наружной рекламе
Максим Шевченко | Ведущий ML разработчик | MTS BigData
19:40 – 20:10 – Дискуссия со спикерами.

Участие бесплатное.

РЕГИСТРАЦИЯ.

Ждем вас! Открыть/Комментировать

2022-01-25 13:24:25 Хехе, я прошляпил тут. Уже сегодня в 18-30.

У ребят уже 6 митап будет. Очень хочу послушать про Greate Expectations ибо пайплайны строить все научились и DQ сейчас - одна из основных проблем. Открыть/Комментировать

2022-01-21 10:00:13 Да-да, я в последнее время много читаю разных статей, поэтому вот вам еще одна замечательная.

https://erikbern.com/2021/07/07/the-data-team-a-short-story.html

Хороший рассказ, основанный на реальных событиях, про то, как выглядят многие Data Teams в компаниях, какой творится беспорядок и как это все превратить в более-менее работающую машину.
Скажем так, отличное чтиво для тех, кто планирует становиться CDO или что-то в этом роде. Оч похоже на книжку "Проект Феникс" (кстати, тоже советую прочитать).

#инженерные_практики Открыть/Комментировать