Брокер сообщений Kafka в условиях повышенной нагрузки / Артём Выборнов (Rambler&Co)

Приглашаем на Saint HighLoad ++ 2021
20 и 21 сентября 2021, Санкт-Петербург, DESIGN DISTRICT DAA in SPB
Программа, билеты и подробности - https://clck.ru/VmKaW
--------
РИТ++ 2017, Backend Conf

Тезисы:
http://backendconf.ru/2017/abstracts/2542.html

Kafka - распределённый брокер сообщений, нашедший широкое применение как универсальная шина для больших данных. Kafka позволяет как реализовать realtime-обработку большого числа событий, так и построить батчевый pipeline по доставке логов.

Почему мы используем Kafka? Если коротко - унификация. А если чуть подробнее - десятки поставщиков, терабайты логов каждый день, онлайн- и офлайн-pipeline'ы - без единой высокопроизводительной шины данных с этим крайне сложно совладать.

Из доклада вы узнаете о том, почему мы перешли на Kafka, и как она вписалась в наш pipeline. Поймёте, как обеспечить exactly once доставку данных. Узнаете о том, как из-за одной опечатки в несколько раз выросла нагрузка на Kafka, и что мы из этого выяснили. Выясните, какие метрики Kafka стоит мониторить и как по ним понять, что что-то идёт не так.

Видео Брокер сообщений Kafka в условиях повышенной нагрузки / Артём Выборнов (Rambler&Co) канала HighLoad Channel