Data Engineering with Databricks

이 과정은 Databricks를 활용한 데이터 엔지니어링 학습을 위한 적절한 입문 과정입니다.
아래에서는 본 과정에 포함된 4개의 4시간 모듈을 각각 설명합니다.

1. Lakeflow Connect를 활용한 데이터 인제스트
본 과정은 다양한 데이터 소스에서 Databricks로 데이터를 인제스트하기 위한 확장 가능하고 간소화된 솔루션인 Lakeflow Connect에 대한 포괄적인 소개를 제공합니다. Lakeflow Connect 내의 다양한 커넥터 유형(표준 및 관리형)을 살펴보고, 배치, 증분 배치, 스트리밍 등 다양한 인제스트 기법을 학습한 후, 델타 테이블과 메달리온 아키텍처의 주요 이점을 검토하게 됩니다.
이후 CREATE TABLE AS(CTAS), COPY INTO, Auto Loader 등의 방법을 활용하여 Lakeflow Connect 표준 커넥터로 클라우드 객체 저장소에서 데이터를 효율적으로 수집하는 실무 기술을 습득하고, 각 접근 방식의 장점과 고려 사항을 알아봅니다. Databricks 데이터 인텔리전스 플랫폼으로 데이터를 인제스트할 때 브론즈 레벨 테이블에 메타데이터 컬럼을 추가하는 방법을 학습합니다. 이어서 브론즈 테이블 스키마와 일치하지 않는 레코드를 처리하는 ‘구출된 데이터(rescued data)’ 컬럼을 다루며, 이 구출된 데이터를 관리하는 전략을 익힙니다.
본 과정에서는 반구조화 JSON 데이터의 인제스트 및 플랫닝 기법과 Lakeflow Connect 관리형 커넥터를 활용한 엔터프라이즈급 데이터 인제스트 기술도 소개합니다.
마지막으로 학습자는 MERGE INTO 작업 및 Databricks Marketplace 활용을 포함한 대체 인제스트 전략을 탐구하며, 현대적인 데이터 엔지니어링 인제스트를 지원하기 위한 기초 지식을 습득하게 됩니다.

2. Lakeflow Jobs를 통한 워크로드 배포
Lakeflow Jobs를 활용한 워크로드 배포 과정에서는 Lakeflow Jobs를 사용하여 데이터, 분석 및 AI 워크플로를 오케스트레이션하고 자동화하는 방법을 가르칩니다. 유연한 스케줄링, 고급 오케스트레이션, 안정성과 효율성을 위한 모범 사례를 통해 Databricks 데이터 인텔리전스 플랫폼 내에서 원활하게 통합된 견고하고 생산 환경에 적합한 파이프라인을 구축하는 방법을 배우게 됩니다. Databricks, Python 및 SQL에 대한 사전 경험이 권장됩니다.

3. Lakeflow Spark Declarative Pipelines을 활용한 데이터 파이프라인 구축
이 과정은 Databricks의 Lakeflow Spark Declarative Pipelines을 사용하여 증분 배치 또는 스트리밍 수집 및 처리를 위해 여러 스트리밍 테이블과 구체화된 뷰를 통해 데이터 파이프라인을 구축하는 데 필요한 핵심 개념과 기술을 소개합니다. Spark Declarative Pipelines을 처음 접하는 데이터 엔지니어를 위해 설계된 이 과정은 증분 데이터 처리, 스트리밍 테이블, 구체화된 뷰, 임시 뷰와 같은 핵심 구성 요소에 대한 포괄적인 개요를 제공하며, 각각의 특정 목적과 차이점을 강조합니다.

다루는 주제:
- SQL을 사용한 Spark Declarative Pipelines의 다중 파일 편집기로 ETL 파이프라인 개발 및 디버깅 (Python 코드 예제 제공)
- 파이프라인 그래프를 통해 Spark Declarative Pipelines이 파이프라인 내 데이터 종속성을 추적하는 방법
- 파이프라인 compute 리소스, 데이터 자산, 트리거 모드 및 기타 고급 옵션 구성

이어서 본 과정은 Spark Declarative Pipelines에서의 데이터 품질 기대치를 소개하며, 데이터 무결성을 검증하고 강제하기 위해 이러한 기대치를 파이프라인에 통합하는 과정을 안내합니다. 학습자는 스케줄링 옵션 포함 파이프라인을 프로덕션 환경에 배포하는 방법과 파이프라인 성능 및 상태 모니터링을 위한 이벤트 로깅 활성화 방법을 탐구하게 됩니다.
마지막으로, 본 과정은 Spark Declarative Pipelines 내에서 AUTO CDC INTO 구문을 사용하여 변경 데이터 캡처(CDC)를 구현하는 방법을 다루며, 이를 통해 느리게 변경되는 차원(SCD Type 1 및 Type 2)을 관리하고 사용자가 자신의 파이프라인에 CDC를 통합할 수 있도록 준비시킵니다.

4. 데이터 엔지니어링을 위한 DevOps 기본
이 과정에서는 Databricks를 사용하여 작업하는 데이터 엔지니어를 위해 특별히 설계된 소프트웨어 엔지니어링 모범 사례와 DevOps 원칙을 살펴봅니다. 참가자는 코드 품질, 버전 제어, 문서화, 테스트와 같은 핵심 주제에 대한 강력한 기반을 구축하게 됩니다. 이 과정에서는 DevOps를 강조하여 핵심 구성 요소, 이점, 데이터 엔지니어링 워크플로 최적화에서 지속적인 통합 및 배포(CI/CD)의 역할에 대해 다룹니다.
PySpark에서 모듈성 원칙을 적용하여 재사용 가능한 구성 요소를 만들고 효율적으로 코드를 구성하는 방법을 학습합니다. 실습 경험에는 pytest 프레임워크를 사용하여 PySpark 함수에 대한 단위 테스트를 설계하고 구현하는 것과 DLT 및 Workflows를 사용하여 Databricks 데이터 파이프라인에 대한 통합 테스트를 수행하여 안정성을 보장하는 것이 포함됩니다.
또한 이 과정에서는 Databricks Git 폴더를 사용하여 지속적인 통합 관행을 통합하는 것을 포함하여 Databricks 내에서 필수적인 Git 작업도 다룹니다. 마지막으로 REST API, CLI, SDK, Databricks Asset Bundles(DAB) 등 Databricks 자산에 대한 다양한 배포 방법을 간략하게 살펴보고 파이프라인을 배포하고 관리하는 기술에 대한 지식을 얻습니다.
과정을 마치면 소프트웨어 엔지니어링과 DevOps 모범 사례에 능숙해져서 확장 가능하고 유지 관리가 가능하며 효율적인 데이터 엔지니어링 솔루션을 구축할 수 있게 됩니다.