기타

Skills You Will Gain 오픈 데이터 레이크하우스 기본 - 오픈 데이터 레이크하우스의 핵심 개념과 이점을 이해합니다. - Apache Ozone과 CDP 에코시스템 내 통합에 대한 소개. Apache Ozone 마스터리 - Ozone을 구성하고, CLI 명령을 사용하고, HDFS와 Ozone 간에 데이터를 전송합니다. - Ozone을 애플리케이션에 통합합니다. Apache Iceberg 전문 지식 - Iceberg와 CDP, 아키텍처, 데이터 레이크하우스 설계 원칙의 통합을 살펴봅니다. - 데이터 관리, 거버넌스, 최적화 모범 사례를 마스터합니다. - 스냅샷과 시간 이동 쿼리를 이해합니다. - 전략적으로 테이블을 설계합니다(외부/관리, 쓰기 시 복사, 읽기 시 병합). - 고급 기능 사용: 변경 데이터 캡처(CDC), 스키마/파티션 진화, 숨겨진 파티션. Data-as-Code 및 규정 준수 - QA, ML 모델 및 감사를 위해 제로 복사 복제, 테이블 분기 및 태그 지정을 구현합니다. - Iceberg의 쓰기-감사-게시(WAP)를 통해 ETL/ELT 데이터 로딩을 최적화하고 GDPR 규정을 준수합니다. Hive에서 Iceberg로 마이그레이션 - 카탈로그 차이점과 마이그레이션 전략을 이해합니다. - 늦게 도착한 데이터를 효과적으로 관리합니다. Iceberg 관리 - 테이블 유지 관리 작업을 수행합니다. - 액세스 제어 설정을 구성하고 관리합니다. Capstone 프로젝트 - CDP에서 Open Data Lakehouse 사용 사례를 구현하여 모든 개념을 적용합니다. - 포괄적인 Open Data Lakehouse 구현 런북을 개발합니다.