Паша Финкельштейн — Магия Spark: Как высокоуровневые конвейеры становятся распределенным хардкором
Ближайшая конференция: JPoint 2024, 17 апреля (online), 24–25 апреля (offline, Москва)
Подробности и билеты: https://cutt.ly/AwDEziay
— —
Spark — самый популярный инструмент для построения конвейеров данных. Каждый дата-инженер знает Spark, бла-бла-бла... Отлично, но Spark всего лишь распределенные Java Streams, так? Но тогда, как это работает? Получается, что нельзя просто вызвать «flatMap» или «groupBy» на удаленную машину. Вступает Codegen! Заинтересовались? Приходите и узнайте больше!
Посмотреть презентацию: https://spark-codegen.netlify.app
Видео Паша Финкельштейн — Магия Spark: Как высокоуровневые конвейеры становятся распределенным хардкором канала JPoint, Joker и JUG ru
Подробности и билеты: https://cutt.ly/AwDEziay
— —
Spark — самый популярный инструмент для построения конвейеров данных. Каждый дата-инженер знает Spark, бла-бла-бла... Отлично, но Spark всего лишь распределенные Java Streams, так? Но тогда, как это работает? Получается, что нельзя просто вызвать «flatMap» или «groupBy» на удаленную машину. Вступает Codegen! Заинтересовались? Приходите и узнайте больше!
Посмотреть презентацию: https://spark-codegen.netlify.app
Видео Паша Финкельштейн — Магия Spark: Как высокоуровневые конвейеры становятся распределенным хардкором канала JPoint, Joker и JUG ru
Показать
Комментарии отсутствуют
Информация о видео
Другие видео канала
Mark West — Building a Smart Security Camera with Raspberry Pi Zero, Java and AWSCay Horstmann — Feature evolution in Java 13 and beyondInterview and Q&A with Ted NewardThomas Wuerthinger — Maximizing performance with GraalVMCharles Nutter — Going Native: Foreign Functions on the JVMSimon Ritter — Getting the most from modern JavaAndres Almiray — JReleaser — releasing at the speed of lightThomas Wuerthinger, Oleg Šelajev — Workshop: GraalVM (part 1)Дмитрий Бундин — Повышаем производительность файлового I/O для JVM на LinuxЧто такое JokerАлексей Рагозин — Как и зачем эмулировать распределённый кластер в JVMJiří Holuša — Intel Optane DC and Java: Lessons learned in practiceShelley Lambert — Dismantling technical debt and hubrisTobi Ajila — The Eclipse OpenJ9 JVM a deep dive!Григорий Кошелев — Интеграция виртуальных машин NET и JavaГригорий Кошелев — Когда всё пошло по Кафке 2: Разгоняем продьюсеровАлександр Христофоров — Дешевле, надёжнее, проще: хранение петабайтов видео и фото в ОдноклассникахЛеонид Старцев — Как эволюционировать свою библиотеку на Kotlin безболезненно для клиентовGeoffrey De Smet — AI maintenance scheduling with OptaPlanner on QuarkusНикита Поваров, Роман Поборчий — Самопишущийся кодSteve Poole — Practical steps for creating safer software (Code included)