Высоконагруженные приложения. Глава 11 Потоковая обработка / Stream processing

Все встречи проходят в онлайн формате и к ним может подключится кто угодно https://t.me/backend_megdu_skobkah

Обсудили "CHAPTER 10. Stream processing". Через решение задач разобрали такие моменты как stream processing, change data capture, event sourcing.

📍Нэлия Логинова - руководитель группы разработки. Больше 10 лет занимается разработкой высоконагруженных и распределенных систем, в том числе CDC, стриминговых приложений, отвечает за оперируемость и стабильность работы системы в облачных окружениях. Уважает Kafka🔥🔥🔥, симпатизирует Cassandra, верит в идемпотентность, инвестирует в отказоустойчивость.

📍Николай Голов - Head of data engineering at ManyChat, знает все о том как построить OLAP и OLTP систему, в деталях разбирается в построении аналитических систем.

Полезные ссылки:
* Метрика DAU https://www.unisender.com/ru/support/about/glossary/mau-dau-ili-osnovnye-metriki-mobilnyh-prilozhenij/
* HyperLogLog https://en.wikipedia.org/wiki/HyperLogLog
* https://en.wikipedia.org/wiki/Count-distinct_problem
* HyperLogLog в Redis https://redis.com/redis-best-practices/counting/hyperloglog/
* Так же про DAU https://topagency.com/glossary/daily-active-users-dau-definition
* KIP https://cwiki.apache.org/confluence/display/kafka/kafka+improvement+proposals
* Еще про hyperLogLog https://druid.apache.org/blog/2012/05/04/fast-cheap-and-98-right-cardinality-estimation-for-big-data.html
* Rabbit Streams https://www.rabbitmq.com/streams.html
* transactional outbox https://microservices.io/patterns/data/transactional-outbox.html
* wal decoding + connector
* https://debezium.io/
* https://debezium.io/documentation/reference/stable/connectors/postgresql.html
* https://maxwells-daemon.io/
* CDC https://www.keboola.com/blog/change-data-capture-cdc-tools-of-2021
* MS SQL CDC
* hiberbate listener
* Oracle Golden Gate
* https://www.oreilly.com/radar/the-world-beyond-batch-streaming-101/

Видео Высоконагруженные приложения. Глава 11 Потоковая обработка / Stream processing канала { между скобок }