Денис Ефаров — Hadoop 3: Erasure coding catastrophe
Ближайшая конференция — SmartData 2024, 4 сентября (online), 8–9 сентября, (Москва + трансляция).
Подробности и билеты: https://jrg.su/KFFBS7
— —
Представьте себе картину: ваши HDFS кластера близятся по объему к 100 Pb, вы каждый год заказываете машин на десяток петабайт, заводите их, месяцами балансируете и повторяете эту процедуру раз за разом. Затем выходит Hadoop 3, который обещает экономию места в два раза при тех же гарантиях — хочется немедленно применить это. Но вы опытны, не бросаетесь в latest сразу, дожидаетесь версии 3.1+, тестируете, последовательно выкатываете, еще раз тестируете. Но через полгода начинаете наблюдать за тем, как ваши данные превращаются в тыкву и далеко не только в полночь. Представляете себе исчезновение 100 Pb данных? Это очень больно!
Команда прошла практически по краю этой пропасти и многое узнала. Этот доклад о находках и ошибках, новом опыте при работе с Hadoop и о том, как можно избежать подобных ситуаций.
Аудитория: инженеры и разработчики в BigData, использующие экосистему Hadoop или планирующие на нее переходить.
Скачать презентацию: https://assets.ctfassets.net/oxjq45e8ilak/3vPN1K82TYTSaEqpXMpMt7/6332940cb1f21efc6cd7cb3bf88dbd6d/Hadoop_3-_Erasure_Coding_Catastrophe.pdf
Видео Денис Ефаров — Hadoop 3: Erasure coding catastrophe канала SmartData
Подробности и билеты: https://jrg.su/KFFBS7
— —
Представьте себе картину: ваши HDFS кластера близятся по объему к 100 Pb, вы каждый год заказываете машин на десяток петабайт, заводите их, месяцами балансируете и повторяете эту процедуру раз за разом. Затем выходит Hadoop 3, который обещает экономию места в два раза при тех же гарантиях — хочется немедленно применить это. Но вы опытны, не бросаетесь в latest сразу, дожидаетесь версии 3.1+, тестируете, последовательно выкатываете, еще раз тестируете. Но через полгода начинаете наблюдать за тем, как ваши данные превращаются в тыкву и далеко не только в полночь. Представляете себе исчезновение 100 Pb данных? Это очень больно!
Команда прошла практически по краю этой пропасти и многое узнала. Этот доклад о находках и ошибках, новом опыте при работе с Hadoop и о том, как можно избежать подобных ситуаций.
Аудитория: инженеры и разработчики в BigData, использующие экосистему Hadoop или планирующие на нее переходить.
Скачать презентацию: https://assets.ctfassets.net/oxjq45e8ilak/3vPN1K82TYTSaEqpXMpMt7/6332940cb1f21efc6cd7cb3bf88dbd6d/Hadoop_3-_Erasure_Coding_Catastrophe.pdf
Видео Денис Ефаров — Hadoop 3: Erasure coding catastrophe канала SmartData
Показать
Комментарии отсутствуют
Информация о видео
Другие видео канала
Andy Pavlo — Lessons learned from using machine learning to optimize database configurations
Виктор Кесслер — Dremio SQL Lakehouse: Быстрые данные для всех
Николай Марков — Низкий уровень работы с данными
Jeff Zhang — Flink + Zeppelin: Streaming data analytics platform
Александр Крашенинников — Hadoop high availability: опыт Badoo
Саттар Гюльмамедов, Максим Мартынов — Эволюция ETL-инструментов на примере отдельно взятой Big Data
Дмитрий Бугайченко — Stateful streaming: Кейсы, паттерны, реализации
Бронислав Житников — NiFi-скрипты как элемент Less Code ETL
SmartDataCoffee
Ксения Томак, Максим Стаценко, Андрей Терехов — Разговор в телевизоре
Виталий Худобахшов — Имя — это фича
Ольга Татаринова, Алексей Махоткин — Как моделирование данных повышает качество работы аналитиков
Викторина «Наша игра»
Павел Якунин — Безопасные интерактивные большие данные в банке: Business intelligence на Clickhouse
Алексей Потапов — Глубокое обучение, вероятностное программирование и метавычисления
Jacek Laskowski — Apache Spark as an in-memory-only data processing engine?
Артур Хачуян — Построение кросс-ID для веб-аналитики
Владимир Озеров — Как устроено выполнение SQL-запросов в Presto/Trino
Михаил Марюфич — Надежные и масштабируемые пайплайны в OK
Евгений Ненахов (MTC Digital) — Организация потоковой обработки данных для Big Data