Труба данных

2022-06-10 14:33:01



Год назад у Netflix была вот такая реклама для поиска DE инженеров.

Отсюда вопросик: если бы вы знали про Netflix поверхностно, что это стриминговая компания, там сериальчики можно смотреть, да и платят вроде хорошо, вас такая реклама смогла бы заинтересовать настолько, чтобы вы пошли и посмотрели Careers раздел и свой CV закинули?

Или это все не работает, пожалуйста, напишите мне в LinkedIn что-то в стиле:
“Делаем ретейл-сервис. Команда 8 человек, один лид, один менеджер и 6 инженеров. Стек: Python, Airflow, AWS, Redshift, Tableu. Платим 8000 зеленых” Открыть/Комментировать

2022-06-08 15:34:01 I expect a “senior” engineer to be a mature engineer

Тысячи копий было сломано на тему 19-летних лидов и 17-летних архитекторов (если что, это две сестры ) и вообще, кто может себя именовать сеньором и когда. Этот срач будет таким же бесконечным, как и треды айтишников в твиттере про зарплаты и собесы. Собственно, поэтому ничего особенного в той должности, что у меня сейчас - нет. Это всего лишь название, зона ответственности и влияния гораздо больше имеют значения как для собственной реализации, так и для карьеры.

Мне на глаза попалась прекрасная статья “On being senior engineer” и я согласен со всеми принципами, которые в ней написаны. А следовать этим принципам можно в любом возрасте.

- seek out constructive criticism of their designs
- understand the non-technical areas of how they are perceived
- do not shy away from making estimates and are always trying to get better at it
- have an innate sense of anticipation, even if they don’t know they do
- understand that not all of their projects are filled with rockstar-on-stage work
- lift the skills and expertise of those around them
- understand the difference between mentorship and sponsorship, and develop a habit of the latter
- make their trade-offs explicit when making judgments and decisions
- don’t practice CYAE (“Cover Your Ass Engineering”)
- are empathetic.
- don’t make empty complaints
- are aware of cognitive biases

Сама статья вот: https://www.kitchensoap.com/2012/10/25/on-being-a-senior-engineer/ Открыть/Комментировать

2022-06-06 09:30:55 Так, я тут понял, что я так и не рассказал, где я работаю, хотя часть людей знает про это.

С января этого года я работаю в Gett. Ага, том самом Gett, который 31 мая окончательно ушел из России (у нас даже в слаке есть канал #ru-shuthdown).
Причины, почему я уходил из Semrush я уже описывал вот тут, а вот причины, по которым я пошел в Gett:

- Платформенная команда. Теперь рядом со мной и вокруг меня другие DE, а значит можно выкачать опыт из них.
- Распределенная, международная команда. У нас ребята из РФ, Израиля, Болгарии, UK, а значит постоянное общение на английском
- Размер и нагрузка данных. Данных стало гораздо больше, а значит сложней и интересней решения
- Новый стек, новые тулзы. Теперь я знаю больше, а значит $$$

Вообще весь путь в Gett был забавным и с неожиданными поворотами, собесами в несколько компаний одновременно, HR, которые обещали “мы за тебя поборемся =)”, которые вылились в salary negotiation, смены приоритетов среди компаний и вот это все. В итоге все вышло вот так и я рад, что так вышло.
Кстати, fun fact: за весь процесс собеседования я не написал ни строчки кода. И никаких leetcode не было. И в Semrush, кстати, тоже

Что по стеку?
Python, SQL, Trino, K8S & Docker, Spark, Jenkins, GitHub, Jira/Confluence

Что классного?
Довольно много свободы и простора, относительно свободный график, оба моих менеджера клевые ребята и у меня с ними наладился контакт.

Что не оч?
Куда ж без этого, немножко страдают процессы, косяки в коммуникации и в целом, Israeli-style ведения бизнеса и коммуникаций требует привыкания. Еще иногда непрофильное использование тулзов, но да ладно. Какая компания без косяков?
Ах, да, еще есть лайтовые on-call.


Я приходил как Senior Data Engineer, но в результате сами знаете чего + небольшого изменения бизнес целей и KPI компании, нас покинули люди, поэтому мне предложили подхватить одно направление.
Поэтому со вчерашнего дня я ML & Data Ops Lead , буду выгребать теперь еще и тут, кроме дата инженерных задач.

Как вы мб не знаете, лычки для меня не имеют значения, я всегда придерживался позиции Дяди Бена из Человека-Паука: “With great responsibility power comes great money responsibility”. Открыть/Комментировать

2022-06-06 09:30:55 Открыть/Комментировать

2022-06-03 12:17:01 - Код чаще читается, чем пишется!
- Важней не код, а как ты коммуницируешь с людьми!
- Да я свой билд жду по 40 минут, потому что на М1 не пересел!


Мы тратим время на написание кода, его чтение, дебаг и тушение пожаров, общение с коллегами в зуме и с коллегами на кухне с кофе. Не одна сотня копий сломана на теме “На что разработчики тратят время?”.
Ребята из ReTool (клевый low-code инструмент для создания внутренних инструментов) провели опрос под названием “The State of Engineering Time”, в котором пытались понять, на что больше всего тратится времени у инженеров.

https://retool.com/reports/state-of-engineering-time-2022/

Не подсматривая в статью, есть идеи, что больше всего кушает времени? Встречи и созвоны? Открыть/Комментировать

2022-06-01 09:04:01 https://platformcon.com/

Вот тут еще наткнулся на виртуальную конференцию для тех, кто делает платформы.

Есть парочка интересных докладов, но очень не хочется завышать ожидания от них. На DRECon тоже так было, а в итоге такой воды налили…. =( Открыть/Комментировать

2022-05-30 09:38:01 https://github.com/DataTalksClub/mlops-zoomcamp

Новость с опозданием небольшим, ну простите

Ребята из DataTalks Club, те самые, которые проводили DE Zoomcamp https://t.me/ohmydataengineer/172, сейчас проводят ML Ops Zoomcamp.
То, что новость с опозданием не очень страшно, можно ж в self-paced проходить, если вам не очень важно, чтобы вашу домашку проверяли, а главное - получить знания.
Zoomcamp`ы у ребят клевые, дают базовые и фундаментальные понимания того что и куда.

ML & Data Ops упало в мои обязанности на работе, поэтому лично для меня это очень вовремя. Открыть/Комментировать

2022-05-26 09:48:01 Капец я актуальный, конечно.
Тут Мета фризит найм, а Нетфликс, Болт, Better, Klarna, Robinhood и еще куча компаний увольняют людей, в том числе разработчиков, а я вам принес статью про… онбоардинг!

https://leadership.garden/onboarding-engineers/

На самом деле это капец как важно! Пока на своем не очень большом и длинном пути я не встречал компанию, которая делает все классно. Частички и даже большие куски полезных и качественных процессов присутствуют в той или иной степени в каждой компании, что чтобы прям все как по маслу - редкость.
Статья о том, как онбордить и как онбордиться за 90/150 дней. Открыть/Комментировать

2022-05-23 11:24:16 В продолжении разговоров про блоги и статьи…

https://roundup.getdbt.com/p/avoiding-traps

У DBT, кстати, кроме подкаста, есть очень хороший дайджест - The Analytics Engineering Roundup. Раз в недельку они собирают интересные статьи и интервью.
На этой неделе в подкасте был Justin Borgman, CEO Starbust (SaaS поверх Trino), и ребята обсуждали работу Data Teams.
Краткая выдержка и не только по ссылке выше, а выпуск подкаста доступен тут -> https://roundup.getdbt.com/p/ep-27-to-move-or-not-to-move-data

Мой глаз зацепился за вот эту "пропискую" истину:

Conventional wisdom in software engineering suggest that teams should be spending roughly:
- 50% of their time on net new capabilities
- 20% on “KTLO” (keeping the lights on…scaling systems, incident response)
- 20% on quality improvements
- 10% on internal tooling

Фактически, почти 50% - это работа над техническим долгом команды. Хочется узнать, а какое распределение у вас в команде? Открыть/Комментировать

2022-05-22 15:11:07 https://www.getlago.com/blog/why-billing-systems-are-a-nightmare-for-engineers


Работа с биллингом - боль. В смысле, это очень сложно и mission critical, любая ошибка стоит дофига денег.
По ссылке выше прекрасная статья о сложностях, с которыми приходится сталкиваться при работе над биллингом. Открыть/Комментировать