Путь до программиста | Python Development

2023-04-16 06:18:43 СКАЧАТЬ Открыть/Комментировать

2023-04-16 06:17:51 "#Apache_Airflow и конвейеры обработки данных" руководство для тех, кто хочет понять, как использовать Apache Airflow для создания и управления работой конвейеров обработки данных. Авторы книги - Бас Харенслак и Джордж де Руйтер - опытные специалисты в области Data Engineering и Data Science.

Книга разделена на две части: первая часть посвящена Apache Airflow, а вторая - созданию конвейеров обработки данных. Первая часть более теоретическая и знакомит читателя с компонентами Airflow, принципом работы DAGs и созданием собственных операторов. Вторая часть более практическая и описывает создание конвейеров обработки данных и ряд техник, которые можно использовать для оптимизации работы конвейера.

В книге рассматриваются такие темы, как:

- Архитектура Apache Airflow
- Использование DAG для создания конвейеров обработки данных
- Создание настраиваемых операторов в Apache Airflow
- Настройка методов выполнения задач
- Создание и работа с конвейерами обработки данных
- Лучшие практики при работе с Apache Airflow Открыть/Комментировать

2023-04-15 07:54:13 Информации на русском языке, к сожалению критично мало. Существует множество статьей, но они не дают исчерпывающей информации об этой технологии. Основными методиками изучения, являются:

1. Официальная документация Apache Airflow: https://airflow.apache.org/docs/ - Это первый и, возможно, самый важный источник информации о том, как работает Apache Airflow. Сайт содержит множество руководств, туториалов, историй успехов и многое другое.

2. Статьи собранные в этой ПУБЛИКАЦИИ (на данный момент она находится в стадии написания)

3. Книги:

3.1 Apache Airflow 2.0 Cookbook (Нow-to) by O'Reilly Media: эта книга посвящена Apache Airflow и сфокусирована на более сложных темах, связанных с архитектурой и масштабированием Airflow. Она позволит разобраться в тонкостях рабочих процессов для логистики и обработки данных.

3.2 Apache Airflow в действии: разработка, распределение и мониторинг рабочих процессов (In Action Series) by Josh Epstein: это книга оказывает исчерпывающую информацию о том, как работать с Apache Airflow, с теоретическими и практическими навыками. В книге описаны концепции и механизмы работы с Airflow такие как DAGs, Operators, Hooks, Sensors и многое другое.

3.3 Apache Airflow и конвейеры обработки данных. Харенслак Б., де Руйтер Дж. Вы изучите наиболее распространенные модели их использования, особенности ориентированных ациклических графов (ОАГ), которые обеспечивают работу Airflow, а также способы их настройки в соответствии с потребностями вашего конвейера.

#Apache_Airflow Открыть/Комментировать

2023-04-15 07:36:31 Apache Airflow - это открытая платформа для создания, планирования и мониторинга рабочих процессов. Эта система является одной из наиболее популярных платформ в области Data Engineering и Data Science и используется такими крупными компаниями, как Airbnb, Lyft и PayPal.

Некоторые функции, которые делают Apache Airflow уникальным и полезным:

1. DAG (Directed Acyclic Graphs) для создания рабочих процессов: DAG - это граф, в котором вершины соответствуют задачам, а ребра указывают порядок выполнения этих задач. Создание DAGs в Airflow гораздо удобнее, чем ручное создание скриптов и управление их выполнением.

2. Инструменты для создания настраиваемых Operator'ов: Airflow содержит большой набор готовых операторов, однако пользователь может создавать свои операторы из базового Operator'а и настраивать их под свои нужды.

3. Планировщик с поддержкой различных сред выполнения: Airflow позволяет выбрать метод выполнения задач, включая Bash, Python, Docker и многие другие.

4. Поддержка шаблонизации: Airflow поддерживает шаблонизацию, что позволяет использовать шаблоны для создания различных запросов к базам данных в проектах.

5. Интеграция с множеством персонализированных API: Airflow имеет библиотеки интеграции с многими API, такими как Slack, Google Cloud, Amazon Web Services, Kubernetes, и многими другими.

Airflow имеет строгое описание задач для разработчиков, давая каждому контроль даже над мельчайшими деталями. Кроме того, Airflow имеет открытый и активное сообщество, которое поможет вам решить проблемы, на которые вы можете столкнуться.

#Apache_Airflow Открыть/Комментировать

2023-04-14 08:51:56 Приветствую всех вас!

Рад сообщить вам, что ближайшую неделю мы будем посвящать посты Apache Airflow. Если вы занимаетесь Data Engineering, то вы наверняка уже знаете, что Apache Airflow - это открытая платформа для создания, планирования и мониторинга рабочих процессов. Эта платформа является одной из наиболее популярных в индустрии, и у нее есть множество гибких функциональных возможностей, которые помогают более удобно управлять задачами в рамках вашего проекта.

За эту неделю мы будем рассматривать, как работать с Apache Airflow, включая его основные понятия, инструменты и приложения. Вы получите поддержку и практические ответы на вопросы, чтобы можно было легко освоить эту программу. Кроме того, вы узнаете о примерах использования Airflow в реальных проектах.

Подписывайтесь на наш контент и оставайтесь на связи с нами, чтобы получать больше информации о Apache Airflow и его возможностях. До встречи! Открыть/Комментировать

2023-04-12 08:12:24 Вопрос к подписчикам, есть ли у кого-нибудь премиум доступ к coursehunter? Открыть/Комментировать

2023-04-12 07:14:41 Приветствую всех! Сегодня на повестке дня статья с хабра, в которой собранны наиболее полезные и практичные курсы по направлению Data Engineering. Там есть небольшое описание каждой вакансии, язык на котором представлена информация и примерная цена. (Примерная, потому что цены указаны на момент написания статьи)

ЧИТАТЬ Открыть/Комментировать

2023-04-10 07:35:03 Docker Compose для разработчика: Упростите разработку и оркестрацию многоконтейнерных приложений

Автор: Эммануил Гадзурас

Разработка программного обеспечения становится все сложнее из-за использования различных инструментов. Приложения приходится упаковывать вместе с программными компонентами, чтобы упростить их работу, но это усложняет их запуск. С помощью Docker Compose можно всего одной командой настроить приложение и необходимые зависимости. Вы познакомитесь с основами томов и сетей Docker, с командами Compose, их назначением и вариантами использования. Настроите базу данных для повседневной работы, доступную через сеть Docker, установите связь между микросервисами. Научитесь с помощью Docker Compose запускать целые стеки локально, моделировать промышленные окружения и расширять задания CI/CD. Кроме того, узнаете, как извлечь выгоду из Docker Compose при создании развертываний в промышленных окружениях, а также подготовите инфраструктуру в общедоступных облаках.

СКАЧАТЬ

#Docker Открыть/Комментировать

2023-04-08 03:14:13 Приветствую всех! Сегодня на повестке дня очень интересная и полезная статья для начинающих DE. Крайне рекомендую ознакомиться:

https://habr.com/ru/articles/727560/


#полезные_сайты Открыть/Комментировать

2023-04-02 15:18:05 "Основы Git для Python-разработчика"

Количество уроков - 6

Смотреть курс

Автор этого курса использует доступный язык и понятные примеры, чтобы помочь вам изучить и научиться работать с системой контроля версий Git, которая является важным инструментом для любого программиста.

#Git Открыть/Комментировать