[6일차] Apache Iceberg는 왜 차세대 테이블 포맷이 되었을까? | Iceberg 기초 완전 이해

🏗️ 데이터 레이크하우스 엔지니어링 20일 집중 과정
DAY 6 — Apache Iceberg 기초: 왜 Iceberg인가

이번 영상에서는
차세대 데이터 레이크 테이블 포맷인
“Apache Iceberg”의 핵심 구조를 이해합니다.

✔ Hive 테이블 방식의 한계
✔ Partition Metadata 병목 문제
✔ ACID 미지원 문제
✔ Snapshot 기반 테이블 구조
✔ Iceberg Metadata 계층 구조
✔ Manifest / Snapshot / Metadata 동작 원리
✔ Iceberg Catalog 종류
✔ Spark + Iceberg 연동
✔ Optimistic Concurrency Control

기존 Hadoop/Hive 기반 데이터 레이크는
대규모 환경에서 여러 구조적 한계를 가집니다.

Apache Iceberg는
이 문제를 해결하기 위해 등장한
차세대 Open Table Format 입니다.

이번 강의에서는
Iceberg가 왜 중요한지,
그리고 내부 메타데이터 구조가 어떻게 동작하는지를
아키텍처 중심으로 설명합니다.

📌 이런 분들에게 추천합니다
- 데이터 엔지니어
- Spark 개발자
- 플랫폼 엔지니어
- MLOps 엔지니어
- Lakehouse 구축 담당자
- Hadoop/Hive 운영 경험자

🔥 이번 영상 핵심 내용
- Hive Metastore 병목 구조
- Snapshot Isolation 이해
- ACID 기반 데이터 레이크
- Iceberg Metadata Layer
- REST Catalog & Nessie 구조
- Spark SQL 기반 Iceberg 실습

🧪 실습 내용
- Spark + Iceberg REST Catalog 구성
- MinIO 기반 Lakehouse 환경 구축
- Bronze → Silver Iceberg 마이그레이션
- Iceberg 테이블 생성 및 데이터 삽입

#ApacheIceberg
#Iceberg
#Spark
#DataEngineering
#Lakehouse
#BigData
#Hadoop
#Hive
#MLOps
#데이터엔지니어
#AI인프라
#클라우드

Видео [6일차] Apache Iceberg는 왜 차세대 테이블 포맷이 되었을까? | Iceberg 기초 완전 이해 канала AI-Trendy