기타

Skills You Will Gain

오픈 데이터 레이크하우스 기본
- 오픈 데이터 레이크하우스의 핵심 개념과 이점을 이해합니다.
- Apache Ozone과 CDP 에코시스템 내 통합에 대한 소개.

Apache Ozone 마스터리
- Ozone을 구성하고, CLI 명령을 사용하고, HDFS와 Ozone 간에 데이터를 전송합니다.
- Ozone을 애플리케이션에 통합합니다.

Apache Iceberg 전문 지식
- Iceberg와 CDP, 아키텍처, 데이터 레이크하우스 설계 원칙의 통합을 살펴봅니다.
- 데이터 관리, 거버넌스, 최적화 모범 사례를 마스터합니다.
- 스냅샷과 시간 이동 쿼리를 이해합니다.
- 전략적으로 테이블을 설계합니다(외부/관리, 쓰기 시 복사, 읽기 시 병합).
- 고급 기능 사용: 변경 데이터 캡처(CDC), 스키마/파티션 진화, 숨겨진 파티션.

Data-as-Code 및 규정 준수
- QA, ML 모델 및 감사를 위해 제로 복사 복제, 테이블 분기 및 태그 지정을 구현합니다.
- Iceberg의 쓰기-감사-게시(WAP)를 통해 ETL/ELT 데이터 로딩을 최적화하고 GDPR 규정을 준수합니다.

Hive에서 Iceberg로 마이그레이션
- 카탈로그 차이점과 마이그레이션 전략을 이해합니다.
- 늦게 도착한 데이터를 효과적으로 관리합니다.

Iceberg 관리
- 테이블 유지 관리 작업을 수행합니다.
- 액세스 제어 설정을 구성하고 관리합니다.

Capstone 프로젝트
- CDP에서 Open Data Lakehouse 사용 사례를 구현하여 모든 개념을 적용합니다.
- 포괄적인 Open Data Lakehouse 구현 런북을 개발합니다.