Грефневая Кафка (pro.kafka)

2021-12-17 20:09:59 ​​Пятничное чтиво - разбираемся с сегментами, retention, storage и вообще как все хранится на диске

https://strimzi.io/blog/2021/12/17/kafka-segment-retention/ Открыть/Комментировать

2021-12-09 17:24:15 ​​#партнерскийматериал

Приглашаем дата-инженеров на demo-занятие 13 декабря в 20:00 «Написание коннекторов для Spark».

Открытый вебинар проведет Вадим Опольский. Вадим работает в Luxoft DXC Technology на Big Data проекте. Преподаватель разберет с вами подключение к внешним системам из коробки и создание кастомного коннектора для подключения к нестандартным БД.

Demo-занятие входит в программу онлайн-курса «Spark Developer» от OTUS и позволяет оценить качество материалов курса. Пройдите вступительное тестирование, чтобы попасть на мероприятие https://otus.pw/1S8P/ Открыть/Комментировать

2021-12-07 09:00:29 ​​#партнерскийматериал

А знаете ли вы, какие инструменты должны быть в арсенале дата-инженера?

Подключайтесь к Demo Day онлайн-курса «Spark Developer» 8 декабря в 20:00. Преподаватель Егор Матешук, CDO AdTech-компании Квант, расскажет о своем профессиональном пути, представит программу и формат обучения в OTUS. Вы сможете задать свои вопросы и получите возможность занять место в группе по спец.цене.

Регистрируйтесь на вебинар, чтобы принять участие https://otus.pw/6g9G/ Открыть/Комментировать

2021-12-06 21:44:40 Вдогонку к предыдущему сообщению, тредик из Твитера Liz
- видео и код с прибаутками как запустить это дело на Graviton2
- в блоге еще сказано не юзать стоковую OpenJDK, а юзать Correto
- ZStandard compression можно юзать в проде Открыть/Комментировать

2021-12-06 21:37:58 Кафка с медом (простите):
О том как говорят Кафку в Honeycomb.io

- решили делать свое, так как не хотят ждать ответа от суппорта, если что-то сломается у их клиентов
- переехали из AK 0.11 в Confluent Community (5.3/AK 2.3)
- переехали на Confluent Platform 6.0 (enterprise): Tiered Storage (в их паттерне надо держать 24-48 часов в быстром доступе NVMe, чтобы можно было быстро replay. И Self-balancing Kafka (Cruise Control сразу зашит))
- так же Кафка нормально живет на arm-е (они используют graviton от AWS).
- много правильных рассуждений на тему sizing - выбор на каком instance type бежать еще пол беды, надо понять сколько это будет стоить.

Не знаю, кому будет полезно. Копировать as is не надо, но я рекомендую как минимум разобраться с их ходом мыслей Liz Fong-Jones и ее команды (из зафолловить ее).
Там много правильных идей на тему цена-производительность-заплатить вендору Открыть/Комментировать

2021-11-29 16:18:36 Время от времени спрашивают как делать приложения, чтобы при падении Кафки приложение не падало. Мне вспомнилась статья Jakub Korab как раз где он разбирается в различных подходах к решению этой задачи.

https://www.confluent.io/blog/how-to-survive-a-kafka-outage/ Открыть/Комментировать

2021-11-26 19:37:49 ​​#партнерскийматериал

Наши партнёры учебный центр OTUS приглашают 1 декабря в 20:00 на открытый урок «Оркестрация процессов обработки данных».
Вебинар проведет Максим Мигутин, специалист с опытом более 5 лет опыта в индустрии данных и аналитики. Вместе с преподавателем разберем назначение оркестраторов в ETL-процессах, поработаем с Apache Oozie и с Airflow.

Demo-занятие является частью онлайн-курса «Spark Developer» от OTUS. Для регистрации пройдите вступительный тест https://otus.pw/ppv4/ Открыть/Комментировать

2021-11-10 16:53:58 #партнерскийматериал

Разработка на Scala — набирающий обороты тренд.
Начните изучать ее с открытых уроков от OTUS:

11.11 — открытый урок «Scala коллекции». Познакомимся с основными Scala коллекциями, рассмотрим что у них общего и в чем отличия.
Регистрация: https://otus.pw/eF2s/

17.11 — открытый урок «Scala и парсер-комбинаторы». Познакомимся с парсер-комбинаторами на Scala. Будем парсить описание REST API написанное с помощью markdown.
Регистрация: https://otus.pw/lv3O/

Ведущий: Алексей Воронец, руководитель разработки в NAUMEN, 12 лет опыта профессиональной разработки

Проверьте, готовы ли вы к обучению, пройдя тест при регистрации. Также вы сможете познакомится с продвинутым онлайн-курсом «Scala Developer» от OTUS. Открыть/Комментировать

2021-11-10 08:57:23 Для любителей теоретического материала, отличная серия статей о Streaming SQL
- Readings in Streaming Database Systems
- Future of SQL
- 4 Key Design Principles and Guarantees of Streaming Databases
- How Do You Change a Never-Ending Query? Открыть/Комментировать

2021-09-27 08:00:26 ​​Как использовать Spark по максимуму?
Знают в NewProLab: ведущий провайдер курсов в области Big Data объявляет запуск сразу 2 онлайн-курсов по работе с фреймворком Spark.

"Apache Spark и Scala для дата инжиниринга": старт 5 октября https://clck.ru/XkxDT
Вас ждет: подготовка витрин данных, создание real-time приложений, работа со Scala API, Dataframes, Structured Streaming, Kafka, Elasticsearch, Cassandra, PostgreSQL, HDFS.

Преподает: Андрей Титов (NVIDIA) и Егор Матешук (Qvant).

"Apache Spark Advanced": начало 16 ноября https://clck.ru/XkxGS
Новый продвинутый курс для дата-инженеров и разработчиков, имеющих практический опыт работы со Spark. Курс позволяет отработать навыки, необходимые для ускорения обработки данных и усовершенствования архитектуры существующих проектов. Вы глубоко погрузитесь в Dataframe API, py4j в pyspark, Spark Structured Streaming, Scala UDF в pyspark, org.apache.spark.sql.Row, разработку коннекторов с использованием Datasource v1 API, параллелизм задач.

Преподает: Андрей Титов (NVIDIA).

Специально для подписчиков нашего канала действует дополнительная скидка 15% (от цены, указанной на сайте) по промокоду "awesomekafka_ru".

Выбирайте программу. Оставляйте заявку. Задавайте вопросы. Открыть/Комментировать