- Популярные видео
- Авто
- Видео-блоги
- ДТП, аварии
- Для маленьких
- Еда, напитки
- Животные
- Закон и право
- Знаменитости
- Игры
- Искусство
- Комедии
- Красота, мода
- Кулинария, рецепты
- Люди
- Мото
- Музыка
- Мультфильмы
- Наука, технологии
- Новости
- Образование
- Политика
- Праздники
- Приколы
- Природа
- Происшествия
- Путешествия
- Развлечения
- Ржач
- Семья
- Сериалы
- Спорт
- Стиль жизни
- ТВ передачи
- Танцы
- Технологии
- Товары
- Ужасы
- Фильмы
- Шоу-бизнес
- Юмор
How to submit Spark jobs to EMR cluster from Airflow
In this video we go over the steps on how to create a temporary EMR cluster, submit jobs to it, wait for the jobs to complete and terminate the cluster, the Airflow-way.
Blog: https://www.startdataengineering.com/post/how-to-submit-spark-jobs-to-emr-cluster-from-airflow/
Видео How to submit Spark jobs to EMR cluster from Airflow канала StartDataEngineering
Blog: https://www.startdataengineering.com/post/how-to-submit-spark-jobs-to-emr-cluster-from-airflow/
Видео How to submit Spark jobs to EMR cluster from Airflow канала StartDataEngineering
Комментарии отсутствуют
Информация о видео
26 октября 2020 г. 1:54:41
00:14:38
Другие видео канала
Friday pipeline fun
Spark SQL Workshop: Advanced join & group by techniques
what is data warehousing
what are Common Table Expressions(CTEs)?
Advanced data processing in SQL
How to Prevent Missing Data With Referential Integrity Checks
Building data projects with step-by-step instructions
Why, When and How to use Apache Kafka
Data Engineering Roadmap For 202*
Data Wrangler Visual Studio Code Extension
Data engineering workshop: Live Q&A
Free Live Airflow Webinar (April 11th, 1PM EST)
data engineering project - stream edition
How to Transition from Data Analyst to Data Engineer (June 20th, 1PM EST)
How to use nested data types effectively in SQL
Beginner Data Engineering Project
3 Key techniques, to optimize your Apache Spark code
How to do CDC using debezium, kafka and postgres
what is staging ?
how to unit test sql transforms in dbt
