2022-08-31 11:54:22
Дедупликация 5 миллионов событий в секунду на YDB в АппМетрике – тема доклада Артема Исмагилова
⠀
https://bx.vc/3d15tm
⠀
Артем кратко расскажет про конвейер обработки событий аппметрики:
⠀
- какие задачи он решает;
- общая архитектура: примерно 50 микросервисов, передающие информацию через ClickHouse и ZooKeeper;
- нагрузка в числах — 250 миллиардов событий в день, до 7 миллионов RPS в пике;
- зачем нужен сервис дедупликации.
⠀
Про сервис дедупликации узнаем:
⠀
- как была устроена прошлая версия сервиса: физические сервера с состоянием в оперативной памяти, сохраняемым на диск и самодельной репликацией;
- подходы к реализации новой версии, которые рассматривали;
- почему выбрали именно YDB для реализации новой версии сервиса;
- с какими трудностями столкнулись и как их преодолели;
- как уменьшили нагрузку на YDB в 10 раз, добавив фильтр блума в виде отдельной таблицы YDB;
- что еще предстоит сделать.
⠀
Программа конференции и билеты здесь – https://bx.vc/v8qdsb
⠀
До встречи в Питере
844 views08:54