Получи случайную криптовалюту за регистрацию!

Инжиниринг Данных

Логотип телеграм канала @rockyourdata — Инжиниринг Данных
Адрес канала: @rockyourdata
Категории: Технологии
Язык: Русский
Количество подписчиков: 19.21K
Описание канала:

Делюсь новостями из мира аналитики и вредными карьерными советами;)
8 лет в FAANG, инвестиции в недвижимость, компании и акции, angel investor.
Контакты и реклама: @dimoobraznii (сам не предлагаю купить рекламу или взаимопиар за деньги).

Рейтинги и Отзывы

2.00

2 отзыва

Оценить канал rockyourdata и оставить отзыв — могут только зарегестрированные пользователи. Все отзывы проходят модерацию.

5 звезд

0

4 звезд

0

3 звезд

1

2 звезд

0

1 звезд

1


Последние сообщения 9

2023-05-05 19:00:40 Спасибо большое курсу Data Learn и ребятам в чате!:)
Благодаря вам я нашёл работу в зарубежной компании и могу жить за границей, там, где мне нравится :)
Я начал проходить модули в октябре 2022г и в марте 2023 получил оффер!:) к этому моменту было пройдено 4.5 модулей, все были очень полезные, сыграли основную роль в трудоустройстве.
Потратил на рассылку резюме около 2х месяцев, в сумме выслал 230шт + Cover Letters :) было всего 3 отклика, но с третьего меня взяли и все получается отлично, навыков хватает :))


Может, это кому-то поможет:
1) До Data Learn я изучил Python (по книгам) и SQL (тренажёр на степик), на это ушло примерно 4 месяца. Мой опыт поиска вакансий говорит о том, что это необходимые навыки.
2) Не рекомендую изучать Python таким образом, как я :)) это долго и неэффективно, лучше пройти пару курсов на степике.
3) для конкретно той вакансии, по которой меня взяли, я изучил подробно их требования, вписал их в Резюме и дополнительно вкратце посмотрел уроки по MongoDB, оптимизации SQL-запросов (индексы), хранимым процедурам. Именно по этим вещам задавались вопросы, это было решающим.
+ проходил курс по Airflow, не закончил его, хотя указывал уже в резюме :))
4) Ещё я занимался всё это время английским с репетитором. У меня был уже довольно Хороший разговорный уровень (наверное, В1), нужно было подтянуть конструкции итп. Это необходимый навык, которым желательно начать заниматься как можно раньше.
5) теперь поработав есть идея для проекта, который, как мне кажется, должен помочь в поиске работы: взять какой-либо датасет. Загрузить его в MongoDB, как будто это сырые данные, поступающие с сайта или ещё откуда-либо. И с помощью Python написать ETL-процессы, которые будут:
А) брать данные из этого датасета
Б) трансформировать их с помощью pandas (или ещё как-то)
В) загружать, либо в SQL, либо в другую коллекцию MongoDB.
Г) на основе этого можно сделать дашборды
Нужно постараться сделать все красиво, по канонам программирования, написать документацию.
В итоге получится база данных, в которой будут храниться удобные таблицы для отчетности. Это то, чем я сейчас в принципе и занимаюсь на работе (кроме дашбордов) :)
Всем удачи, все получится, главное стараться и набраться немного терпения :)
Если хотите, пишите вопросы, помогу, чем смогу :)
6.9K viewsDmitry, 16:00
Открыть/Комментировать
2023-05-04 08:58:58
Мир не будет прежним - "ETL in Power BI", дальше будет Big Data in Excel, Dashboards in Notepad, Streaming in Bathroom, Sleeping in Kitchen and so on.

Тортики они пекут в Power BI ... а потом пойди разгреби эти "пирожки" когда у вас будет 200 дашбордов, десятки показателей и 5-10из них будут "Revenue".

Забыли книгу рецептов добавить - ChatGPT
7.9K viewsDmitry, 05:58
Открыть/Комментировать
2023-05-03 22:34:48 Решил помочь найти спикера для курса в университете в Тюмени, возможно даже онлайн вести уроки. Если бы не мои собственные работы и дела, с удовольствием бы провел время в Тюмени. Вдруг кто-то хочет применить свои знания и есть желание поделится опытом, преподавать в университете (можно удаленно). По оплате и условиям в личку у Гузель.

Здравствуйте, меня зовут Гузель, я занимаюсь развитием практико-ориентированной (ориентация на нефтегазовую отрасль) магистерской программы: Разработка интеллектуальных систем в Тюменском государственном университете. Ищу преподавателя(ей) на 2 дисциплины: "Методы распределенной обработки больших объемов данных" и "Методы распределенной обработки потоковых данных". На каждую из дисциплин запланировано по 40 пар (по 80 ак.часов). Это примерно по 3 пары в день на 5 недель. У нас модульная система обучения. Эти дисциплины запланированы на конец мая - июнь. Желательно конечно приехать к нам в Тюмень (тогда можно и плотнее поставить пары - по 4-5-6 пар в день, как будет удобно), но можно и онлайн на платформе MS Teams. Проезд и проживание оплачивается, как в принципе и проведение занятий, подробнее можно в личку: https://t.me/gn_chaparova, или на почту g.n.chaparova@utmn.ru.

Верхнеуровнево, что хотим видеть в дисциплинах:
1) Хранение Big Data, Распределенные и параллельные вычисления, Связь Data Science и Инжиниринга данных, Архитектура Hadoop, HDFS, MapReduce, Hive, Hbase, Архитектура Apache Spark, Spark Core, Data Streaming, Управление данными, ETL/ELT, Облачные решения, Адаптация ML-алгоритмов к распределенной среде и инструментам big data, Spark ML компоненты и модели, ML Engineering, Инструменты развертывания ML решений, Визуализация больших данных и BI инструменты.
2) Система реального времени, Различия между системами реального времени и потоковыми системами, Типичные паттерны взаимодействия, Масштабирование, Отказоустойчивость, Транспортировка данных из звена сбора данных, Анализ потоковых данных, Архитектуры распределённой обработки потоков, Алгоритмы анализа потоковых данных, Сохранение результатов сбора и анализа потоковых данных, Фильтрация потока, Инструменты: Apache Flink, Apache Storm, Apache Kafka, Apache Nifi, Apache Airflow, DBT Tool, Apache Sqoop. Буду рада сотрудничеству.
7.8K viewsDmitry, edited  19:34
Открыть/Комментировать
2023-04-29 06:08:13
9.3K viewsDmitry, 03:08
Открыть/Комментировать
2023-04-27 23:35:27
Попался список сайтов для удаленной работы. Зайдя на первый, там сразу просят денег при регистрации . Про другие не знаю. Для меня всегда работал LinkedIn. Покидайте в комменты ресурсы, которые помогают искать удаленную работу с дата вакансиями.
9.4K viewsDmitry, 20:35
Открыть/Комментировать
2023-04-26 22:10:44
Хотите детям привить аналитические навыки? Попалась интересная и простая игра - Дата Детектив для детей 6-12 лет.
8.7K viewsDmitry, 19:10
Открыть/Комментировать
2023-04-26 10:00:00
Станьте специалистом широкого профиля в работе с данными — научитесь разрабатывать архитектуру данных на курсе Яндекс Практикума.

Выпускники смогут:
проектировать хранилища и пайплайны;
использовать инструменты DE: оркестраторы, контейнеры и не только;
работать со стриминговой обработкой данных и облачными хранилищами;
создавать хранилища Data Warehouse и Data Lake.

Что будет на учёбе:
— Реальные рабочие задачи и командные проекты.
— Код-ревью и персональные советы от действующих инженеров данных.
— Вебинары и продакшн-опыт от экспертов в инженерии данных.

→ Приходите учиться, если хотите развить свои компетенции или перейти на должность Data Engineer.

#реклама
8.6K viewsDmitry, 07:00
Открыть/Комментировать
2023-04-25 22:21:09
Сегодня на одном проекте наш менеджер создал закрытый слак канал и пригласил всех инженеров, будет нас учить как нужно карьерно расти.

На минуточку, чувак был BI инженером (на самом деле и за всю жизнь работал в 2х компаниях и я бы его назвал python разработчиком). После инвестиций в X сотен млн в стартап, он стал директором инжиниринга данных, но без опыта создания хранилищ данных и управления людьми.

Жалко, что в компаниях нет Trial периода. Вот хочешь уйти на новое место, но не уверен, что там будет хорошо. Как бы хорошо было 3 месяца поработать в новом месте и если не понравилось, то вернуться обратно на старое. Но нет, если ты ушел, то “терпеть” придется целый год, чтобы не портить резюме. Ну либо вообще не добавлять компанию в резюме.

По опыту от менеджера зависит климат внутри команды, вам может повести, а может нет - 50 на 50, и если не повезло то

А если вы вдруг менеджер, будьте душкой для ваших коллег и не забывайте всем поднимать зп на 30% ежегодно, а лучше ежеквартально!
6.6K viewsDmitry, edited  19:21
Открыть/Комментировать
2023-04-23 19:01:28
3.5K viewsDmitry, 16:01
Открыть/Комментировать
2023-04-22 17:50:10 Я зарегистрировался на Snowflake Summit 26-29 июня в Лас Вегасе. Цена удовольствия 2000$ + отель + билеты. Но я сам не платил. Если кто еще отправится, сделайте чатик и в комментарии напишите, чтобы уже на месте встретиться и выпить за здоровье data
4.2K viewsDmitry, 14:50
Открыть/Комментировать