SberProfi DWH/BigData

2022-08-31 12:43:08 Дорогие друзья!

Приглашаем вас на онлайн-митап SberProfi DWH/BigData, который состоится 6 сентября 2022 года.
Начало в 14:30.

Подключиться


Повестка:

1. Матыцин С.: «Фреймворк AT SDP Hadoop: пример использования при тестировании прикладных приложений» (подробнее – в Confluence)
2. Бирзнек М., Савин О.: «Cервис автоматизации XOps: полезный инструментарий для витрин и ML-моделей» (подробнее – в Confluence)
3. Радионов М.: «Тестирования HDFS на нескольких ДЦ» (подробнее – в Confluence)



Вопросы можно будет задать в чате во время выступления докладчиков.

До встречи на митапе!


С уважением,
DWH/BigData Открыть/Комментировать

2022-08-30 16:25:41 Друзья! 10 минут остается до начала нашей регулярной площадки по миграции на Hadoop 3 . Присоединяйтесь! Открыть/Комментировать

2022-08-30 14:50:11 Дорогие коллеги! Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на Hadoop 3. Для формирования повестки просим оставлять свои вопросы здесь. Мероприятие состоится 30 августа 2022 г. Начало в 15:00. Повестка: • Зленко И.… Открыть/Комментировать

2022-08-25 13:28:33 Дорогие коллеги!

Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на Hadoop 3.
Для формирования повестки просим оставлять свои вопросы здесь.

Мероприятие состоится 30 августа 2022 г. Начало в 15:00.

Повестка:

• Зленко И. (SberData): “Перфоманс фикс timestamp из Hive 4 в Hive 3”
• Орлов С. (SberData): “Релиз 3.5.3: состав, план тиража”
• Тутринов В. (SberData): “YARN Watchdog: демо и функциональность”


Ссылка для подключения

Во время выступления спикеров вопросы можно будет задавать в чате.


Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.

Спасибо и до встречи!


С уважением,
команда DWH/BigData Открыть/Комментировать

2022-08-22 17:23:03 #втренде #Выпуск6

⇶ Arrows.app ⎋ Вообще Arrows используется для визуализации labeled property graphs из домена графовых баз данных. Но выяснилось, что для визуализации моделей данных в терминах анкеров/атрибутов/линков тоже отлично подходит.

🆀 Debezium + Quarkus = решение распределенного CDC в k8s ⎋ Статья описывает как это сделать и с помощью каких паттернов избежать проблему Dual-Writes

  Ballerina ⎋ - язык для "Data-oriented programming" на тему недавно вышла книга ⎋. Интересно рассмотреть этот подход для преобразования данных на лету, напр в NRT или промышленных ML решениях.

  Remote Shuffle Service для Spark ⎋- Uber сделали внешний шафл менеджер сами и ускорили Spark в 2-5 раз. Месяц назад похожее решение Uniffle ⎋ было внесено коллегами из Китая в Apache инкубатор, но информации пока мало. Нащупали тренд )

Google Research на Youtube ⎋ - на днях запустили конент про последние тренды в AI/ML/Robotics/Algo/Quantum computing/... ждем контент дополняющий их отличный ресурс research.google

Обсуждаем в комментариях, что вам может пригодится в работе, о чем хотелось бы узнать в деталях . Открыть/Комментировать

2022-08-16 08:41:16 #втренде #Выпуск5

Matano ⎋ - Serverless Security Data Lake Platform, написанный на Rust для анализа логов. Для трансформации использует VRL, сохраняет в S3 в формате Iceberg и позволяет написать алерты на Python.

VRL ⎋ - Vector Remap Language, созданный Datadog  для парсинга и трансформации логов и метрик для мониторинга. Играет все большую роль в "Data Observability".

Osmos Data ⎋ - пример нового поколения бессерверных low-code сервисов по захвату внешних данных. Здесь фишка в автоматизации процесса с помощью AI: не нужно больше мэпить колонки руками, встроены правила проверки качества данных.

ClickHouse SuperSet connector ⎋ - обратите внимание, кто работает с этими продуктами - теперь появился поддерживаемый Opensource коннектор.

Обсуждаем в комментариях, что вам может пригодится в работе, о чем хотелось бы узнать в деталях . Открыть/Комментировать

2022-08-08 11:56:34 #втренде #Выпуск4

InfoQ Data Engineering Trends Report ⎋ - инновационные компании адаптируют Cloud agnostic computing for AI, Knowledge Graphs, AI pair programmer (like Github Copilot) and Synthetic Data Generation. Сбер в очередной раз #втренде Не хватает только сделать систему по дописыванию кода.

Stack Overflow Developer Survey ⎋ - SQL вернул себе 3 место в топе и скинул Python на 4 место; Julia обгоняет Python (а R уж тем более) в списке языков, которые люди больше любят, чем боятся.

wgpu-native ⎋ выглядит как отличная возможность делать multi-tenant serverless сервисы с GPU on-demand на WGSL. Лаборатория данных 5.0 ?

︎ SecretFlow ⎋ - представляет уровень абстракции таких технологий, как Secure Multiparty Computing, Homomorphic Encryption и поэтому упрощает анализ и ML на чувствительных данных.

Обсуждаем в комментариях, что вам может пригодиться в работе, о чем хотелось бы узнать в деталях. Открыть/Комментировать

2022-08-02 13:50:13 Дорогие друзья! Нашему сообществу исполняется целых 3 года, отметить которые мы хотим большим митапом . Приглашаем вас на онлайн-митап SberProfi DWH/BigData, который состоится 2 августа 2022 года. Начало в 14:00. Подключиться Повестка: 1. Кузнецов… Открыть/Комментировать

2022-08-01 12:25:50 #втренде #Выпуск3

Apache Attic - за июль ушли 3 проекта "на чердак". Причина у всех одна - отсутствие активности разработки. Один из них - Apache REEF - библиотека для ресурсных менеджеров типа YARN и Mesos. Означает ли это, что они следующие?!

 Hex.tech - решение претендует на роль “UI для современного дата-стека”. На первый взгляд напоминает смесь Jupyter, Zeppelin с элементами Datawrangling. Другими словами - горячая тема. link

 Apache ShardingSphere делает любую базу данных распределенной. Киллер SberDataFusion и SDP Hetero? link

 Apache InLong - это стриминговая платформа, доступная пользователям в виде SaaS-продукта. Real-time ETL и т.д. Ранее ее инициировал китайский гигант Tencent. Сейчас активно развивается. link

Apache SystemDS - новая версия 3.0. Это масштабируемая система для машинного обучения. Поддерживает Spark MLContext, Spark Batch, Standalone, и Java Machine Learning Connector (JMLC). Авто-оптимизация основанная на характеристиках кластера и данных. link

Обсуждаем в комментариях, что вам может пригодится в работе, о чем хотелось бы узнать в деталях. Открыть/Комментировать

2022-07-29 10:40:45 Коллеги, напоминаем о регулярной площадке по миграции на Hadoop 3, которая начнется через 15 минут Открыть/Комментировать