Data science | Machinelearning [ru]

2023-05-17 20:07:12 ​​ Лучшие практики при работе с мастер-данными

В этой статье автор расскажет, почему основная цель управления мастер‑данными — сформировать единое представление об объектах, над которыми компания осуществляет свою деятельность, и почему когда офлайн‑компании начали запускать онлайн‑сервисы, управление мастер‑данными потребовало своевременной модернизации для соответствия новой реальности, а также вы узнаете почему если вы рассылаете изменения в мастер данных, то обязательно нужно реализовать метод инициализации нового потребителя.

Читать... Открыть/Комментировать

2023-05-17 15:07:51 ​​ Big Data в облаках

В этой статье автор расскажет, почему данные, к которым не требуется быстрый доступ, часто предпочитают “охладить”, их удаляют с дорогих дисков основной платформы хранения (DWH или Data Lake) и перемещают в архив, и почему технически архив может быть устроен как массив устройств хранения, а также вы узнаете почему в качестве платформы для DWH или Data Lake может быть выбрана одна из MPP-систем, часто разворачиваемых on-prem.

Читать... Открыть/Комментировать

2023-05-16 20:07:37 ​​ DevOps для данных: как ускорить обработку и передачу информации за счет принципов DataOps

В этой статье автор расскажет, почему для создания продукта данных приходится использовать более крупные наборы технологий, чем в случае с отдельным программным продуктом, и почему данные обычно поступают из разных источников и часто перемещаются по системе нелинейно, а также вы узнаете как DataOps помогает упростить проектировании системы с помощью концепции центрального репозитория, который служит единым источником истины для любого кода и конфигурации в вашей системе.

Читать... Открыть/Комментировать

2023-05-16 15:07:06 ​​ Новые горизонты в оценке рисков: как источники данных помогают создать точные модели

В этой статье автор расскажет, для чего вообще нужны скоринговые модели в банке, и как скоринговые модели и модели оценки вероятности дефолта заемщика (PD модели) оказывают существенное влияние на все процессы банка и его доход, а также вы узнаете почему такие модели используются как при принятии решений по заемщикам в качестве Cut-off при одобрении сделки, так и в подходах Risk Based Limit (RBL), Risk Based Pricing (RBP).

Читать... Открыть/Комментировать

2023-05-16 11:07:04 Присоединяйтесь к нашему сообществу Data Analyst REBRAIN, если вы интересуетесь аналитикой данных, управлением проектами или маркетингом. 

У нас для вас есть множество открытых онлайн-практикумов каждый месяц, которые проводят профессиональные аналитики. В рамках практикумов мы разбираем реальные кейсы анализа данных с использованием самых актуальных инструментов, таких как Python, SQL, Tableau, бизнес-метрики и визуализация данных, статистика, теория вероятностей и другие. 

Уровень сложности и направление каждого практикума подобраны таким образом, чтобы каждый мог найти для себя интересные задачи и развиваться в соответствии с уровнем своей компетенции. 

Подключайтесь к нам уже сегодня и начинайте развивать свои навыки в области анализа данных совершенно бесплатно! Открыть/Комментировать

2023-05-15 20:07:51 ​​ PySpark для аналитика. Как правильно просить ресурсы и как понять, сколько нужно брать

В этой статье автор расскажет, как правильно задавать параметры Spark-сессии, чтобы получить ресурсы, и почему аналитику нужно не только учиться писать код на Spark, но и важно уметь правильно инициализировать сессию и запрашивать ресурсы, а также вы узнаете почему драйвер в Spark выполняет две основных задачи: планирование расчётов и сбор результатов.

Читать... Открыть/Комментировать

2023-05-15 15:07:49 ​​ Как структурировать проекты машинного обучения с помощью GitHub и VS Code

В этой статье вы узнаете, как хорошо продуманный процесс структурирования проектов машинного обучения поможет быстро создавать новые репозитории GitHub и с самого начала ориентироваться на элегантную программную архитектуру, и почему когда пишешь код на Python в VS Code, многое зависит от анализатора кода и инструмента форматирования, а также вы узнаете почему в качестве диспетчера среды для Python лучше использовать Miniconda.

Читать... Открыть/Комментировать

2023-05-14 20:07:55 ​​ Что нужно знать на позицию junior Data Science и как подготовиться к собеседованию

В этой статье авто расскажет, почему Data Science является одной из самых востребованных, высокооплачиваемых и перспективных профессий в современном мире, и почему каждый работодатель хотел бы, чтобы junior мог работать без постоянного контроля и развивался под руководством тимлида, а также вы узнаете зачем нужно изучить основы математического анализа, линейной алгебры и теории вероятностей.

Читать... Открыть/Комментировать

2023-05-14 15:08:03 ​​ Работа с научными данными в рамках data-driven подхода

В этой статье автор расскажет, Data-Driven подход используют для построения бизнес-модели или маркетинговой стратегии, при составлении плана продаж, в программировании и даже в дизайне, и почему после этапа сбора данных следует этап очистки данных, а также вы узнаете почему всегда проверять записи на наличие опечаток и, при их наличии, их исправлять.

Читать... Открыть/Комментировать

2023-05-13 20:07:20 ​​ Что ждёт дата-инжиниринг в 2023 году

В этой статье автор расскажет, почему команды дата-инженеров раньше делали упор на скорость и гибкость, чтобы выполнить наложенные на них исключительные требования, а основная часть их времени уходила на написание новых запросов или передачу новых данных, а не на оптимизацию тяжёлых/некачественных запросов, а также вы узнаете почему в этом году big data станут меньше и удобнее для управления.

Читать... Открыть/Комментировать