Новости Newprolab

2023-02-10 10:31:01 И еще одна #вакансия от Сбера:

Data Engineer
> 200 тыс р
https://rabota.sber.ru/search/4120854/

Команда занимается разработкой внутреннего аналитического инструмента для топ-менеджмента и сотрудников, отвечающих за планирование и анализ ресурсов Банка.

Команда, разрабатывающая продукт состоит из 9 человек (PO, DE, DA, Back-end, Front-end, QE). Предполагается взаимодействие с другими продуктовыми командами Блока и командой DataCore.

Обязанности
- анализ и уточнение технических требований;
- реализация скриптов предобработки и загрузки данных в БД (Python, стандартные библиотеки для работы с данными);
- подготовка Python-скриптов к использованию в серверном окружении (REST API);
- реализация логики обработки данных в БД Postgres (PL/pgSQL);
- в перспективе: организация интеграций с Централизованным ХД (Greenplum) в рамках ETL-пайплайнов, а также определение архитектурного ландшафта ЦХД Блока «Стратегия и развитие».

Требования
- образование в техническом ВУЗе в сфере компьютерных наук, прикладной математики или статистики. Наиболее приоритетны: ВШЭ, МГУ, МИФИ;
- проектирование DB, DWH (Star/Snowflake Schema, Data Vault 1.0/2.0, Anchor Modelling), ER-моделирование;
- OLTP, OLAP;
- SQL (DDL, DML), в т.ч. диалекты: T-SQL, PL/SQL, PL/pgSQL. Реализация сложных запросов и подзапросов, функций/процедур/джобов и представлений, использование аналитических функций;
- SMP СУБД: MS SQL Server, MySQL, Oracle, Postgres;
- MPP СУБД (опционально): Teradata, GreenPlum;
- знание ETL/ELT и опыт работы с ETL-инструментами: Apache NiFi/Airflow, Ab Initio, Informatica;
- знание ЯП Python: базовые библиотеки (os, gc, datetime, re, tqdm) + библиотеки для анализа данных и визуализации (numpy, pandas, matplotlib, seaborn, plolty).

Условия
· стабильный оклад и социальная поддержка сотрудников;
· работа в лучшем офисе страны по версии Best Office Awards 2022;
· расширенный ДМС с первого дня и льготное страхование для близких;
· регулярное корпоративное и внешнее обучение;
· бесплатная подписка СберПрайм+ и скидки на продукты компаний- · партнеров;
· спортзал прямо в офисе;
· корпоративная пенсионная программа;
· ипотека выгоднее на 4% для каждого сотрудника. Открыть/Комментировать

2023-02-09 18:31:36 #вакансия

Тут ищут дата-инженера. Контакты внизу

----

Data Engineer
Формат работы: Гибридный
Уровень заработной платы: до 450 000 рублей на руки.

Мы занимаемся внедрением CDP для проведения маркетинговых исследований, сегментации пользователей на аудитории, прогнозирования оттока и решения других важных бизнес-задач. С прошлого года активно развиваем новую область компетенций - рекомендательные ML системы, уже успешно реализовав проект для крупного заказчика в сфере кино и медиа.

Мы единственная IT компания в РФ, которая смогла собрать в единой платформе данные 70% российской интернет коммерции.

Иcпользуемые технологии:
Python, SQL, Spark, Airflow, ClickHouse, Yandex.Cloud.

Мы гарантируем будущему коллеге:

- Конкурентоспособный уровень полностью белой заработной платы;
- Официальное оформление в рамках ТК РФ в аккредитованную IT-компанию (Так же рассмотрим вариант с ИП);
- Максимально удобный гибридный формат работы;
- График работы 5/2 с плавающим началом дня;
- Широкий социальный пакет с ДМС (со стоматологией);
- Помощь с релокацией в Москву, если проживаете в другом регионе;
- Тренажерный зал, капсула для медитаций, библиотека прямо в офисе;
- Мощное железо для комфортной работы при любом формате работы;
- Минимум бюрократии на проектах, адекватные руководители и открытая коммуникация с ними;
- Интересные и большие проекты в сотрудничестве с лидирующими бизнесами РФ;
- Работу в дружном коллективе настоящих профи Data Science отрасли.

Чем предстоит заниматься:

- Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных;
- Обеспечивать SLA и качество данных;
- Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с Data Science командой;
- Разрабатывать продукт в команде и развивать отдел Data Engineer.

Мы ожидаем от кандидата:

- Коммерческий опыт разработки от 6-ти лет;
- Хорошие знания технологий из стека: Python, SQL, Spark, Airflow;
- Опыт работы на проектах с Big Data, понимание принципов распределенной обработки данных;
- Опыт управления и постановки задач;
- Опыт работы с облаками, особенно, с Яндекс.Облаком.

Если вас заинтересовало мое предложение, обязательно напишите мне в ответном письме или телеграме (ссылки ниже)!

Telegram: t.me/andrewithr
Mail: andreyserzhenkoithr@gmail.com Открыть/Комментировать

2023-01-30 19:42:34 28 февраля – старт 5-го потока «Apache Spark и Scala для дата инжиниринга»

Программа подойдет дата-инжинерам, аналитикам и разработчикам, которые хотят начать работать с данными.

На курсе вы научитесь:
→ создавать проекты и работать в IntelliJ IDEA
→ формировать витрины данных с помощью Apache Spark, Kafka, Elasticsearch, Cassandra, PostgreSQL и HDFS для послующего анализа
→ создавать и запускать real-time приложения
Пройдете путь от получения данных из Kafka до подготовки и обновления расширенной матрицы признаков

Мы предлагаем:
* Расширить скиллсет
* Структурировать знания
* Научиться работать со Spark и Scala на типичных задачах дата-инжиниринга

Преподают практикующие специалисты из Сбермаркета, Qvant и Aligned Research Group – Сергей Гришаев, Егор Матешук и Николай Марков

Когда: 28 февраля-11 апреля
* 11 онлайн-занятий в зуме
* 5 лабораторных работ
* Облачный кластер
* Автоматическая проверка и разборы от преподавателей

Для успешного прохождения программы и получения нашего сертификата нужно выполнить любые четыре лабы из пяти. По итогам прошлых потоков сертификаты получают 60% участников!

@&A c координатором и участниками прошлых потоков:




До 1 февраля действует промокод friends20 на скидку 20%

Оставляйте заявку https://newprolab.com/ru/spark-de Открыть/Комментировать

2023-01-14 11:28:01 Всем привет! Сегодня – кратко о ChatGPT. Интересно, вы уже попробовали возможности для дата инжиниринга?

Вообще очень вхдохновляющая штука. Кто-то говорит, что это начало конца и всех нас скоро заменит ai, а кто-то уже использует его в работе.

Расскажите о своем опыте и вообще что думаете об этом?

И вот отличный пост на эту тему: https://medium.com/towards-data-engineering/a-conversation-with-chatgpt-on-data-engineering-5e9434d0f4bc Открыть/Комментировать

2022-12-29 20:10:52 Привет! Мы тут хотели создать постер о дата-инженере в Midjourney, но что-то пошло не так. Зато можно создавать мемы

Но сегодня не только об этом. Во-первых, хотим всех поздравить с наступающим Новым Годом и желаем всем хорошо отдохнуть, чтобы потом с новыми силами погрузиться в работу и обучение вместе с нами!

Во-вторых, весной мы планируем провести новые потоки трех программ – Spark Scala, Spark Advanced и Data Engineer.

Это наши основные программы, которые пройдут в привычном синхронном формате – занятия в зуме с преподавателями, тесты и лабы, доступ к облачному кластеру.

Spark Scala for Data Engineering
5 недель, 11 занятий в зуме с преподавателями, 5 инструментов и 5 лаб.
Старт – 28 февраля.

В программе есть 3 составляющих – Scala API, витрины данных, real-time:
1. Scala API – научитесь создавать проекты и работать в IntelliJ IDEA.
2. Витрины данных – чтение и запись Parquet/ORC, работа с ElasticSearch, Cassandra, PostgreSQL через JDBC-коннектор, с Data Frames иDataSets API для создания витрин данных.
3. Real-time – запуск агрегаций и джойнов на потоковых данных, output modes, watermarks, windows. Создание кастомного источника данных и синка с использованием Datasource V1 API.
https://newprolab.com/ru/spark-de

Spark Advanced
4 недели, 8 занятий в зуме с преподавателями, 4 лабы, старт 20 марта.

Это продвинутый курс для дата-инженеров, имеющих практический опыт работы с Apache Spark 2 и желающих изучить внутреннюю архитектуру проекта.
https://newprolab.com/spark-advanced

Data Engineer
8 недель, 6 лаб, 10+ инструментов.
Старт – 27 марта.

После программы вы сможете решать типичные задачи дата-инжиниринга и научитесь использовать основные инструменты и практики.
https://newprolab.com/ru/dataengineer

Новогодние промокоды
В честь Нового Года – до 1 января даем промокод friends30, по которому вы получите скидку 30% на все наши открытые программы, а со 2 января по 31 января – промокод friends20, который дает скидку 20%!

До встречи на наших программах! Открыть/Комментировать

2022-12-23 11:22:01 We are seeking a highly qualified and experienced Project manager with excellent English language skills or Native English.

The successful candidate will be responsible for managing the development and implementation of educational programs, including translation of materials into English in collaboration with experts and our team. This position is remote and requires strong communication and organizational skills.

Key responsibilities include:
- Collaborating with experts to develop and translate educational materials and programs into English
- Coordinating and managing the development and delivery of educational programs and materials
- Ensuring that all programs and materials are accurate, up-to-date, and in line with current best practices
- Providing ongoing support and guidance to experts and other stakeholders as needed
- Maintaining accurate records and documentation related to the development and delivery of educational programs
- Project management management during the programs

The ideal candidate will possess the following qualifications:
- A minimum of 3 years of experience in project management, educational program development and management
- Fluency in English, with excellent written and verbal communication skills
- Strong organizational skills and attention to detail
- The ability to work independently and manage multiple projects simultaneously
- Familiarity with main project management online tools

If you are a qualified and experienced Project manager with strong English language skills, we encourage you to apply for this exciting opportunity. Please submit your resume and cover letter to be considered for this position: a.nitsa@newprolab.com Открыть/Комментировать

2022-12-20 11:15:28 Небольшие итоги 2022

Привет! У нас завершились все программы в этом году и хочется подвести небольшие итоги: всего за год мы провели 16 программ, выпускниками стали более 500 человек. Каждый участник прошел путь героя и мы уверены, что все навыки и знания вам пригодятся в работе уже сейчас

И благодарим всех преподавателей и координаторов, с кем вместе мы прошли этот путь

Еще мы запустили несколько программ в асинхронном формате – когда занятия даются в записи, а в выполнении лаб и тестов помогает координатор. По отзывам, формат зашел! Так что в следующем году распространим такой вариант на все наши программы.

И сейчас самое время дать нам фидбек – если вы проходили наши программы в 2022 году, напишите в комментариях, как для вас это было и как пригодилось или нет в работе. Можно даже голосовыми сообщениями или кружочками с видео! Это будет полезно как нам, так и будущим участникам наших программ. Открыть/Комментировать

2022-11-17 11:15:31 Приветствуем! Сегодня хотим поделиться с вами новостью – мы запускаем 3-й поток онлайн-программы Spark Advanced. Подойдет курс дата-инженерам, имеющим практический опыт работы с Apache Spark 2 и желающих изучить внутреннюю архитектуру проекта. Старт 17 ноября… Открыть/Комментировать

2022-10-21 16:50:01 Приветствуем!
Сегодня хотим поделиться с вами новостью – мы запускаем 3-й поток онлайн-программы Spark Advanced. Подойдет курс дата-инженерам, имеющим практический опыт работы с Apache Spark 2 и желающих изучить внутреннюю архитектуру проекта.
Старт 17 ноября
Записаться на программу

Что входит в программу?
8 занятий – в Zoom в прямом эфире два раза в неделю и видеозаписями в личном кабинете.
4 лабы – каждую неделю вам нужно будет решать лабораторную работу – практическую задачу, максимально приближенную к реальным задачам дата-инженера.

Чему вы научитесь?

- Dataframe API
Разработка коннекторов в Dataframe API с использованием Datasource v1 API

- Spark Structured Streaming API
Разработка коннекторов в Spark Structured Streaming API с использованием Datasource v1 API

- org.apache.spark.sql.Row
Работа с org.apache.spark.sql.Row

- py4j в pyspark
Работа с py4j в pyspark

- Scala UDF в pyspark
Scala UDF в pyspark

- Scala UDF в pyspark
Управление параллелизмом задач

Если у вас появились вопросы или вы хотите узнать о программе подробнее – пишите в комментариях к этому посту Открыть/Комментировать

2022-10-12 17:16:35 Обработка изображений, видео и текстов с помощью нейронных сетей становится все актуальнее. Поэтому мы решили запустить 10-й поток онлайн-программы Deep Learning, которая разработана для дата-сайентистов, технических руководителей и ML-инженеров.
Старт 15 ноября
Записаться на программу

В программе – 8 занятий (онлайн в зуме) и 2 проекта, которые выполняются в рамках домашнего задания (7−10 часов в неделю) и основаны на реальных кейсах.

На курсе вы научитесь:
COMPUTER VISION – решать задачи из активно развивающихся областей компьютерного зрения.
NATURAL LANGUAGE PROCESSING – задачам генерации и классификации текстов с использованием Deep Learning и машинному переводу.

Запись эфира с преподавателями Deep Learning 8-го потока - можно узнать подробнее о программе и ее формате



Если у вас есть вопросы – задавайте их в комментарии к этому посту, с удовольствием обо всем расскажем Открыть/Комментировать