Юлия Волкова — Любовь и ненависть к Prefect 2.0 после Apache Airflow
Ближайшая конференция — SmartData 2024, 4 сентября (online), 8–9 сентября, (Москва + трансляция).
Подробности и билеты: https://jrg.su/KFFBS7
— —
Доклад про то, как создатели Prefect хотели (или не хотели) сделать лучшую версию Apache Airflow, а создали совсем другой инструмент. Что произошло с Prefect в версии 2.0?
Спикер расскажет, чего не хватает в Prefect, но есть в Apache Airflow, рассмотрит разные парадигмы, стоящие за инструментами, объяснит, почему нельзя просто взять и переехать с одного инструмента на другой без переосмысления пайплайнов.
Юлия более двух лет плотно работала с Apache Airflow версий 1.7–1.9, успела немного туда законтрибьютить, написать пару внутренних курсов и несколько статей на Medium. Так что весь этот доклад — предвзятое отношение к Prefect через призму Apache Airflow.
Видео Юлия Волкова — Любовь и ненависть к Prefect 2.0 после Apache Airflow канала SmartData
Подробности и билеты: https://jrg.su/KFFBS7
— —
Доклад про то, как создатели Prefect хотели (или не хотели) сделать лучшую версию Apache Airflow, а создали совсем другой инструмент. Что произошло с Prefect в версии 2.0?
Спикер расскажет, чего не хватает в Prefect, но есть в Apache Airflow, рассмотрит разные парадигмы, стоящие за инструментами, объяснит, почему нельзя просто взять и переехать с одного инструмента на другой без переосмысления пайплайнов.
Юлия более двух лет плотно работала с Apache Airflow версий 1.7–1.9, успела немного туда законтрибьютить, написать пару внутренних курсов и несколько статей на Medium. Так что весь этот доклад — предвзятое отношение к Prefect через призму Apache Airflow.
Видео Юлия Волкова — Любовь и ненависть к Prefect 2.0 после Apache Airflow канала SmartData
Показать
Комментарии отсутствуют
Информация о видео
Другие видео канала
Andy Pavlo — Lessons learned from using machine learning to optimize database configurations
Виктор Кесслер — Dremio SQL Lakehouse: Быстрые данные для всех
Николай Марков — Низкий уровень работы с данными
Сергей Стороженко (SM Lab) — Нетипичное использование Kafka
Jeff Zhang — Flink + Zeppelin: Streaming data analytics platform
Александр Крашенинников — Hadoop high availability: опыт Badoo
Саттар Гюльмамедов, Максим Мартынов — Эволюция ETL-инструментов на примере отдельно взятой Big Data
Денис Ефаров — Hadoop 3: Erasure coding catastrophe
Дмитрий Бугайченко — Stateful streaming: Кейсы, паттерны, реализации
Бронислав Житников — NiFi-скрипты как элемент Less Code ETL
SmartDataCoffee
Ксения Томак, Максим Стаценко, Андрей Терехов — Разговор в телевизоре
Виталий Худобахшов — Имя — это фича
Ольга Татаринова, Алексей Махоткин — Как моделирование данных повышает качество работы аналитиков
Викторина «Наша игра»
Павел Якунин — Безопасные интерактивные большие данные в банке: Business intelligence на Clickhouse
Алексей Потапов — Глубокое обучение, вероятностное программирование и метавычисления
Jacek Laskowski — Apache Spark as an in-memory-only data processing engine?
Артур Хачуян — Построение кросс-ID для веб-аналитики
Владимир Озеров — Как устроено выполнение SQL-запросов в Presto/Trino