Инжиниринг Данных

2024-04-29 00:58:28 Уже все хорошо осведомлены про Generative AI и LLMs. Вот только не очень понятно как это относится к традиционными специальностям, таким как Data Engineer, Analytics Engineer, BI Engineer, Data Analyst (думаю так-же относится и к Data Scientist, ML engineer в большей степени даже).

Для меня всегда самый лучший источник “правильных” знаний - best practices и use cases - являются курсы вендоров, и конечно, далеко ходить не надо, нужно выбрать самых топовых вендоров Snowflake и Databricks и простой найти время на ознакомление с их курсами, множество из которых, могут быть бесплатными.

Тут важно понимать, что нужны фундаментальные знания и опыт в вашей специализации, тогда вам будет проще понять, какие преимущества несет новый функционал и как можно красиво его запаковать в резюме или просто продать себя подороже.

До сих пор, в требованиях к традиционным дата вакансиям не требуются знания новых инструментов, но это лишь вопрос времени. Поэтому смело можете добавить в закладки тренинги вендоров, где рассказывается не только теория, но нужно еще ручками что-то делать.

Snowflake выпустил свою модуль LLM - Acrtic - Snowflake Launches Arctic: The Most Open, Enterprise-Grade Large Language Model

И конечно уже есть немножко тренингов - SNOWFLAKE ARCTIC COOKBOOK

Databricks уже давно запустил свой LLM - Introducing DBRX: A New State-of-the-Art Open LLM

И уже выпустил тренинги на Edx:
- Databricks: Large Language Models: Application through Production
- Databricks: Large Language Models: Foundation Models from the Ground Up

На coursera тоже есть:
- Databricks to Local LLMs - целая специализация.

И на самом сайте Databricks:
- Generative AI and large language models (LLMs) on Databricks

Дополнительные разделы:
- Databricks Vector Search
- Evaluate large language models with MLflow
- Retrieval Augmented Generation (RAG) on Databricks Открыть/Комментировать

2024-04-27 09:57:07 Вышел новый подкаст с хэдом е-ком сервисов Яндекса и СЕО Яндекс Маркета Романом Маресовым. Success story - от консультанта в McKinsey до руководителя в корпорации. Можно узнать про принципы управления командой, must have для управленцев любых уровней.

А еще у Ромы есть свой ТГ-канал, где он делится внутренней кухней Яндекса, собственными инсайтами, трендами е-ком отрасли, карьерными советами и да, тему управления тоже периодически поднимает.

Канал тут. Открыть/Комментировать

2024-04-26 21:12:00 Я давно подписан на бывшего VP Amazon Ethan Evans, кто пишет про карьеру и продает консультации. Хороший пример FIRE, чувак свалил из Amazon и теперь зарабатывает на контенте. У него огромный опыт и он открыто говорит про + и - корпораций. Если кратко, + то нет, если только хорошая зарплата, как недавно Netflix повесил вакансию на 300-720k $ за L5 Analytics Engineer.

Мне понравилось его последняя заметка - I "lied" to my teams about work expectations. Итан как продвинутый менеджер называет вещи своими именами:

Companies boil people slowly.
Thus, while I truthfully did not care how long a project took, I did have to care if I was getting all I could from an individual.

That is part of a normal manager's job - maximize productivity and output.

Tech companies expect "full-time" employees to work at least 50 hours a week.

Thus, an employee getting all their work done in less time is ultimately considered "underutilized" and the manager's job is to get more work from them.

То есть вообще не важно как вы работаете. Вас будут медленно “варить, как лягушку”. Будете хорошо работать и быстро все закрывать, насыпят еще. Будете в 10% плохих работников уволят (у многих ежегодные квоты на сокращение неэффективных сотрудников).

Вообще работать на корпорацию все больше похоже на игру в кошки мышки. Или кто кого. Как говорится “пионер инженер и аналитик всегда готов” Открыть/Комментировать

2024-04-25 23:16:23 Недавно я познакомился с командой канала Выше Вилки.

И мы решили записать вебинар и подискутировать про зарплаты в ИТ и про стратегии их увеличения, заодно сравнили рынок Нидерландов и Северной Америки. Мне понравился результат. Поговорили по делу, про работу, лояльность работодателя, FIRE, job security. Сошлись на мнении, что ходить на собеседование нужно, не когда “жопа горит”, а когда все хорошо.

Паша рассказал классные life hacks про рост внутри компании. Я относился всегда очень скептически к росту внутри компании, но это реально рабочий метод, и судя по их каналу Выше Вилки, они прям фокусируются на этих кейсах. У них даже есть курс по этой тематике (не реклама), в котором они рассказывают и показывают про навык повышения зарплаты внутри компании или на переговорах.

Ссылка на подкаст - Как рос мой доход в IT?| Как правильно торговаться за оффер?| Павел Филонов и Дмитрий Аношин Открыть/Комментировать

2023-07-06 23:32:08 Прошлый пост вызвал много дебатов. Я его написал не для того, чтобы показать - "смотри какой я хитрый", а для того, чтобы это помогло кому-нибудь, как и весь контент в канале или в том же бесплатном datalearn. И я знаю, что многим помогло и еще многим поможет. Новый мир, новые инструменты и подходы.

Отличное видео - My 20 Year Career Is Tech Debt про то как наши навыки deprecated и потом нас layoff, role eliminated или еще чего. У меня у самого есть список инструментов и навыков, которые уже deprecated. Из полезного осталось - кататься на велосипеде


На самом деле хотел рассказать про другой случай, который меня косвенно коснулся. В Канаде обычно есть 2-3 компании которые владеют всем рынком, и это применимо к телекому, интернету, сотовой связи, продуктовым сетям и тп.

Остановимся на примере телекома, было 2 больших компании:

Shaw Communications Inc. was a Canadian telecommunications company which provided telephone, Internet, television, and mobile services. The company was founded in 1966 as Capital Cable Television Company, Ltd. by JR Shaw in Edmonton.

Rogers Communications Inc. is a Canadian communications and media company operating primarily in the fields of wireless communications, cable television, telephony and Internet, with significant additional telecommunications and mass media assets.

The company was acquired by and amalgamated into Rogers Communications in 2023

Лично я был контрактником ETL developer в Shaw. Именно там я архивировал сотни терабайтов данных в AWS S3 использую EMR. Работа была не пыльная.

Дальше было интересно (могу говорить только о data направлении):
- в мае уволили всех топов из shaw
- в июне (на прошлой недели) уволили всю команды из Denver офиса и его закрыли, включая всех моих full time коллег и моего менеджера

Ребята там были умные, и работали по 6-7 лет, причем работали хорошо. Возможно раньше не обжигались и думали, что они незаменимые (для меня реально они такие), high performers, да еще супер лояльные, и еще индустрия достаточно консервативная.

Но как обычно бывает, пришли большие дяди и тети и решили, что нужно eliminate overlapping roles. И пошло поехало.

Далее, CIO rogers всем написал, что с 1го Августа, все ходят в офис. И потом - Rogers launches voluntary departure program to eliminate 'overlap' after Shaw merger. Наверно это значит увольняйтесь сами по хорошему, а то потом будет по плохому Ну а с контакторами вообще разговор короткий

Когда такие вещи происходят сплошь и рядом, когда множество знакомых теряют работу, остается только надеяться на взаимопомощь и поддержку своих родных и друзей. И такая мелочь как списать на собеседовании должна волновать вас меньше всего. Открыть/Комментировать

2023-07-06 19:21:49 Вчера помогал проходить собеседование товарищу, и мы реально SEND IT. Эх мне бы этот метод в прошлом когда я валил собеседования в Facebook/Amazon.

Рассказываю:
1. Важно, чтобу у помошника был доступ к вашему монитору. В нашем случае у нас было 2 варианта:
1а. Используя google meet товарищ расшарил мне вкладку с live coding
1б. Он использовал сервис, чтобы стримить свой экран на другую машину, что было не лишне, так как я слышал все аудио и мог отвечать на ad-hoc вопросы.

2. Как только я увидел вопрос с кодом, сразу делаю скриншот и извлекаю текст в сервисе https://ocr.space/

3. chatgpt дает мне ответ и я его отправляю в телеграмм.

4. После кода, я уже могу писать ответы на вопросы интервьювера про system design и тп.

Как результат 1й раунд прошли на easy=) Открыть/Комментировать

2023-07-06 13:14:01 Типы баз данных Открыть/Комментировать

2023-07-06 09:13:01 Открыть/Комментировать

2023-07-05 20:28:08 Делая всякие внутренние тренинги по Databricks, мне попалась интересная лаба - имитация Databricks/Spark среды с вопросами.

Вот пример:

У вас есть notebook и вы можете кликать на доступные элементы в UI - https://www.databricks.training/spark-ui-simulator/experiment-0000/v003-P/index.html

Для этой лабы есть секция с вопросами - https://www.databricks.training/spark-ui-simulator/experiment-0000/v003-P/lab.html

Вы можете попробовать, много Spark терминологии. Как я понял, это самая базовая лаба. Можно еще полазить тут https://www.databricks.training/spark-ui-simulator/index.html

Из комментария - https://www.dbdemos.ai/ Demos for Databricks. Открыть/Комментировать

2023-06-30 04:16:36 Буквально перед конференцией читал статью - Building A Million Dollar Data Analytics Service - идея в том, что можно собирать любые данные, приводить их в порядок и продавать insights. Есть огромное количество стартапов, кто так делает. Одни insights для wildberries чего стоят!

Можно например не только продавать insights, но и "брать" данные у клиента и загружать их к себе облако, и потом тоже, продавать insights.

Теперь Snowflake может делать все сразу, загружаем данные к себе, создаем нативное приложение с помощью streamlit и раздаем доступ всем желающим через snowflake data cloud.

Сегодня был как раз на презентации Real Time Analytics for Marketing with Stremlit. (добавил фотки в коммент), очень классное решение, snowflake использует его у себя внутри, там BI + прогнозирование, и самое главное, можно писать сегменты обратно в хранилище.

Утром еще была мощная дискуссия среди SVP Product Snowflake, VP of applied research at NVIDIA, VP Microsoft Azure AI Platform. Они поговорили о будущем, настоящем и прошлом в области AI. Самое важное из разговора нам необходим grow mindset. Вы сами видите с какой скоростью развиваются технологии. VP Azure буквально посоветовал учиться и развиваться по выходным, вечерам и ночам.

Недавно вышел курс на курсере - Generative AI with Large Language Models на AWS. И уже известные курсы на deeplearning.ai, google generative AI training

PS пока ехал в аэропорт, водитель Uber, мужичок лет 55-60 рассказал, что они с женой переехали в Вегас из Техаса, их основная работа - играть в казино в кости. Они с женой играют каждый день, обычно в день получается около тысячи, иногда больше, иногда меньше. uber он водит от скуки, дети выросли, а жена еще работает ради страховки. В год это 365т US$ без налогов. Он рассказал, что они ходят только в определенные казино, где одинаковые кости, покрытие, размер стола. У них есть своя техника как бросать кости и стратегия игры, они занимаются этим всю жизнь.

То ли мы учим?

Далее планирую углубится в databricks новинки и сравнить с snowflake. Эти ребята меняют индустрию. Уже видел, что databricks - Introducing English as the New Programming Language for Apache Spark

Из смешного - во время мировой премьеры Microsoft Fabric, text-to-query штука сделала кривой запрос. Пока еще сыровата технология. В этом посте - LLM Is Not Enough (For Self-Service Analytics) автор обсуждает этот вопрос.

Ну и в заключении ждем подобных штуковин от yandex, vk облаков! Я же отслеживают все их тренды через рекламные посты Открыть/Комментировать