Саттар Гюльмамедов, Максим Мартынов — Эволюция ETL-инструментов на примере отдельно взятой Big Data
Ближайшая конференция — SmartData 2024, 4 сентября (online), 8–9 сентября, (Москва + трансляция).
Подробности и билеты: https://jrg.su/KFFBS7
— —
Спикеры расскажут, как менялись пользовательские подходы к организации и реализации ETL-процессов, и как вслед за ними менялись инструменты для лучшего ответа на изменившиеся требования и условия работы. Один из интересных моментов доклада — рассказ о том, как в команде стали отказываться от использования нестандартных собственных инструментов Hadoop в пользу более стандартного Spark, что к этому подвигло и к каким результатам привело.
Доклад будет интересен дата-инженерам, специалистам по ETL, дата-сайентистам и всем, кому важно расширить свой кругозор или узнать об опыте других.
Видео Саттар Гюльмамедов, Максим Мартынов — Эволюция ETL-инструментов на примере отдельно взятой Big Data канала SmartData
Подробности и билеты: https://jrg.su/KFFBS7
— —
Спикеры расскажут, как менялись пользовательские подходы к организации и реализации ETL-процессов, и как вслед за ними менялись инструменты для лучшего ответа на изменившиеся требования и условия работы. Один из интересных моментов доклада — рассказ о том, как в команде стали отказываться от использования нестандартных собственных инструментов Hadoop в пользу более стандартного Spark, что к этому подвигло и к каким результатам привело.
Доклад будет интересен дата-инженерам, специалистам по ETL, дата-сайентистам и всем, кому важно расширить свой кругозор или узнать об опыте других.
Видео Саттар Гюльмамедов, Максим Мартынов — Эволюция ETL-инструментов на примере отдельно взятой Big Data канала SmartData
Показать
Комментарии отсутствуют
Информация о видео
Другие видео канала
Andy Pavlo — Lessons learned from using machine learning to optimize database configurations
Виктор Кесслер — Dremio SQL Lakehouse: Быстрые данные для всех
Николай Марков — Низкий уровень работы с данными
Юлия Волкова — Любовь и ненависть к Prefect 2.0 после Apache Airflow
Сергей Стороженко (SM Lab) — Нетипичное использование Kafka
Jeff Zhang — Flink + Zeppelin: Streaming data analytics platform
Александр Крашенинников — Hadoop high availability: опыт Badoo
Денис Ефаров — Hadoop 3: Erasure coding catastrophe
Дмитрий Бугайченко — Stateful streaming: Кейсы, паттерны, реализации
Бронислав Житников — NiFi-скрипты как элемент Less Code ETL
SmartDataCoffee
Ксения Томак, Максим Стаценко, Андрей Терехов — Разговор в телевизоре
Виталий Худобахшов — Имя — это фича
Ольга Татаринова, Алексей Махоткин — Как моделирование данных повышает качество работы аналитиков
Викторина «Наша игра»
Павел Якунин — Безопасные интерактивные большие данные в банке: Business intelligence на Clickhouse
Алексей Потапов — Глубокое обучение, вероятностное программирование и метавычисления
Jacek Laskowski — Apache Spark as an in-memory-only data processing engine?
Артур Хачуян — Построение кросс-ID для веб-аналитики
Владимир Озеров — Как устроено выполнение SQL-запросов в Presto/Trino