Полезное чтение про данные: - дорожная карта развития dbt до 2 | Ivan Begtin

Полезное чтение про данные:
- дорожная карта развития dbt до 2023 года [1]. Главное, конечно, поддержка моделей на Python. Очень надеюсь что работать с NoSQL данными с помощью dbt станет куда проще.
- труба данных от Stripe [2], можно данные о платежах теперь получать напрямую в свой data warehouse. Довольно интересный подход и стратегия. Не подключать внешние ELT/ETL а самим складывать в базу клиента. Если такое будет развиваться, то весь ландшафт продуктов на данных поменяется.
- batch or stream [3] о том как работать с данными, выгрузками или потоками. Интересные размышления
- State of Workflow Orchestration 2022 [4] доклад о управлении потоками задач и данных. Много любопытного, я из него узнал про Temporal [5], движке для задач с JS внутри. Из минусов - читая доклад можно подумать что движков всего 5-6, а это совсем не так

Ссылки:
[1] https://github.com/dbt-labs/dbt-core/blob/main/docs/roadmap/2022-05-dbt-a-core-story.md
[2] https://stripe.com/en-gb-fr/data-pipeline
[3] https://medium.com/@bdjidi/batch-or-stream-8627b2cd9031
[4] https://www.prefect.io/lp/gradientflow/
[5] https://temporal.io

#datatools #datengineering #opensource #reading