Андрей Серебрянский — Грузим в Kafka из базы: с CDC и без

Ближайшая конференция: Joker 2023, 9–10 октября (Online), 13–14 октября (Offline, Санкт-Петербург)
Подробности и билеты: https://bit.ly/3UAk3V4
— —
Что, если каждое изменение из базы данных вам нужно транслировать в Kafka? Если в базе есть CDC — это отлично! А если нет? Какие подводные камни могут встретиться на пути? И даже если удалось настроить загрузку, как это правильно раскатать в большой организации с сотней команд?

Доклад будет сосредоточен на использовании Kafka Connect для забора данных из БД как с возможностью чтения WAL-логов, так и без нее. Посмотрим на неочевидные трудности, которые могут возникнуть в процессе:
— Что произойдет, если мастер-нода базы данных откажет?
— Как забрать данные из таблицы, если WAL-логи недоступны, а в ней даже нет тайм-стемпов?
— Как написать свой коннектор, если open source-вариантов недостаточно?

Обсудим особенности использования Kafka Connect на enterprise-уровне: как унифицировать метаданные, как деплоиться и откатываться из CI, как хранить секреты.

Как Platform Owner платформы потоковой обработки данных в Райффайзен Банке и дата-инженер с более чем пятилетним опытом, спикер поделится нюансами построения внутреннего PaaS-решения на больших объемах (десятки команд используют его, ежесекундно прогоняя тысячи сообщений).

Презентация к докладу: https://squidex.jugru.team/api/assets/srm/47cd2c0b-a2a8-46b5-8a00-5a5e965a0a97/andrei-serebryanskii-.pdf

Видео Андрей Серебрянский — Грузим в Kafka из базы: с CDC и без канала JPoint, Joker и JUG ru