DENG-255: Building an Open Data Lakehouse using Apache Iceberg

과정 코드 변경되었습니다.
기존 : DENG-251: Building an Open Data Lakehouse Using Apache Iceberg
변경된 과정명 : DENG-255: Building an Open Data Lakehouse using Apache Iceberg

Open Data Lakehouse는 클라우드 네이티브 오브젝트 스토어 내의 스트리밍 및 저장 데이터를 대상으로 다양한 분석을 가능하게 하는 최신 데이터 아키텍처입니다. 이 아키텍처는 하이브리드 및 멀티 클라우드 환경 전반에 걸쳐 확장될 수 있습니다.

본 과정에서는 HDFS의 한계를 해결하기 위한 하이브리드 스토리지 서비스인 Apache Ozone을 소개합니다. 또한, 페타바이트 규모의 데이터셋에 최적화된 오픈 테이블 포맷인 Apache Iceberg도 함께 다룹니다. Iceberg의 주요 이점, 아키텍처, 읽기/쓰기 작업, 스트리밍 처리, 그리고 시간 여행, 파티션 진화, Data-as-Code와 같은 고급 기능을 학습합니다.

총 25개 이상의 실습 과제와 캡스톤 프로젝트를 통해, 수강자는 자신만의 환경에서 효율적이고 성능 높은 Open Data Lakehouse를 구축할 수 있는 실무 역량을 갖추게 됩니다.

강의내용

Day 1
- Iceberg 소개
- DataLake 개념
- Open Lakehouse
- Hive 아키텍처 및 테이블
- Ozone 소개 및 작업
- HDFS와 Ozone 간 데이터 전송
- Ozone 애플리케이션 통합
- Iceberg 아키텍처
- Iceberg Spark, SQL 설정
- Iceberg 카탈로그 검토
- Iceberg 테이블: 관리형 및 외부형
- 테이블 설계 및 연습
- 읽기 및 쓰기를 위한 Iceberg 테이블 튜닝

Day 2
- Schema Evaluation, 마이그레이션 중 Hive와 Iceberg 간의 다양한 데이터 유형 문제 이해
- 숨겨진 파티션: Iceberg 테이블에서 파티션이 작동하는 방식.(Hive와 Iceberg 파티션 비교)
- Time Travel. arious ways of Time Travel and How it helps for testing.
- WAP를 포함한 Data-As-Code - ETL, 분기 및 태그용 -QA 및 ML 테스트를 위한 Zero Copy Clone용
- 유지 관리를 위한 Iceberg 메타데이터.

Day 3
- 변경 데이터 캡처 CDC
- 롤백 데이터
- 마이그레이션 (다양한 Hive to Iceberg 마이그레이션 연습)
- Shallow Migration
- 인플레이스 마이그레이션
- 하이브리드 마이그레이션

Day 4
- 테스트를 위한 스냅샷 마이그레이션
- Late Late-arriving data migration
- RunBook 빌드
- 테이블 유지 관리
- 스트리밍

기타

Skills You Will Gain

오픈 데이터 레이크하우스 기본
- 오픈 데이터 레이크하우스의 핵심 개념과 이점을 이해합니다.
- Apache Ozone과 CDP 에코시스템 내 통합에 대한 소개.

Apache Ozone 마스터리
- Ozone을 구성하고, CLI 명령을 사용하고, HDFS와 Ozone 간에 데이터를 전송합니다.
- Ozone을 애플리케이션에 통합합니다.

Apache Iceberg 전문 지식
- Iceberg와 CDP, 아키텍처, 데이터 레이크하우스 설계 원칙의 통합을 살펴봅니다.
- 데이터 관리, 거버넌스, 최적화 모범 사례를 마스터합니다.
- 스냅샷과 시간 이동 쿼리를 이해합니다.
- 전략적으로 테이블을 설계합니다(외부/관리, 쓰기 시 복사, 읽기 시 병합).
- 고급 기능 사용: 변경 데이터 캡처(CDC), 스키마/파티션 진화, 숨겨진 파티션.

Data-as-Code 및 규정 준수
- QA, ML 모델 및 감사를 위해 제로 복사 복제, 테이블 분기 및 태그 지정을 구현합니다.
- Iceberg의 쓰기-감사-게시(WAP)를 통해 ETL/ELT 데이터 로딩을 최적화하고 GDPR 규정을 준수합니다.

Hive에서 Iceberg로 마이그레이션
- 카탈로그 차이점과 마이그레이션 전략을 이해합니다.
- 늦게 도착한 데이터를 효과적으로 관리합니다.

Iceberg 관리
- 테이블 유지 관리 작업을 수행합니다.
- 액세스 제어 설정을 구성하고 관리합니다.

Capstone 프로젝트
- CDP에서 Open Data Lakehouse 사용 사례를 구현하여 모든 개념을 적용합니다.
- 포괄적인 Open Data Lakehouse 구현 런북을 개발합니다.

자주 묻는 질문

DENG-255: Building an Open Data Lakehouse using Apache Iceberg 과정은 어떤 내용을 다루나요?

과정 코드 변경되었습니다. 기존 : DENG-251: Building an Open Data Lakehouse Using Apache Iceberg 변경된 과정명 : DENG-255: Building an Open Data Lakehouse using Apache Iceberg Open Data Lakehouse는 클라우드 네이티브 오브젝트 스토어 내의 스트리밍 및 저장 데이터를 대상으로 다양한 분석을 가능하게 하는 최신 데이터 아키텍처입니다. 이 아키텍처는 하이브리드 및 멀티 클라우드 환경 전반에 걸쳐 확장될 수 있습니다. 본 과정에서는 HDFS의 한계를 해결하기 위한 하이브리드 스토리지 서비스인 Apache Ozone을 소개합니다. 또한, 페타바이트 규모의 데이터셋에 최적화된 오픈 테이블 포맷인 Apache Iceberg도 함께 다룹니다. Iceberg의 주요 이점, 아키텍처, 읽기/쓰기 작업, 스트리밍 처리, 그리고 시간 여행, 파티션 진화, Data-as-Code와 같은 고급 기능을 학습합니다. 총 25개 이상의 실습 과제와 캡스톤 프로젝트를 통해, 수강자는 자신만의 환경에서 효율적이고 성능 높은 Open Data Lakehouse를 구축할 수 있는 실무 역량을 갖추게 됩니다.

DENG-255: Building an Open Data Lakehouse using Apache Iceberg 교육 대상은 누구인가요?

- 데이터 엔지니어, Hive/Impala SQL 개발자, Kafka Streaming 엔지니어, 데이터 과학자 및 CDP 관리자

DENG-255: Building an Open Data Lakehouse using Apache Iceberg 교육 기간은 얼마나 되나요?

4일 과정입니다. 상세 일정은 교육 페이지에서 확인하실 수 있습니다.

DENG-255: Building an Open Data Lakehouse using Apache Iceberg 수강료는 얼마인가요?

수강료는 3,073,000원(VAT 별도)입니다. 고용보험 환급 및 기업 할인 혜택이 적용될 수 있으니 자세한 내용은 트레이노케이트로 문의해 주세요.

DENG-255: Building an Open Data Lakehouse using Apache Iceberg 다음 교육 일정은 언제인가요?

가장 가까운 교육 일정은 2026년 07월 07일입니다. 최신 일정은 https://trainocate.co.kr/v1/training/detail.php?sn=1563 에서 확인하실 수 있습니다.

트레이노케이트는 Cloudera 공인 교육 기관인가요?

트레이노케이트(Trainocate Korea)는 Authorized Cloudera Training Partner(ACTP)로서, Cloudera 공인 커리큘럼 기반의 빅데이터·데이터 플랫폼 전문 교육을 제공합니다.