Cloudera > Developer

DOPS-242: Ingesting with Cloudera DataFlow

과정명이 변경되었습니다 기존 : Cloudera Data Flow powered by Apache NiFi 변경된 과정명 : DOPS-242: Ingesting with Cloudera DataFlow 데이터 중심 기업의 가장 중요한 기능 중 하나는 복잡한 생태계 전반에서 수집 및 데이터 흐름을 관리하는 기능입니다. NiFi를 사용하여 데이터의 입력, 흐름, 변환 및 출력을 자동화하는데 필요한 기본 개념과 환경을 제공합니다. 또한 이 과정에서는 데이터 흐름 프로세스를 조정, 문제 해결 및 모니터링하고 Cloudera CDP Hybrid 에코시스템과 외부 시스템 내에서 데이터 흐름을 통합하는 방법에 대해서도 다룹니다.

2,634,000 원 (면세)

수강대상

개발자, 데이터 엔지니어, 데이터 과학자, 데이터 스튜어드

선수지식

리눅스 기본 경험 빅데이터 개념 및 애플리케이션에 대한 기본 이해

교육목표

본 과정을 수료하면 아래의 교육 목적을 달성할 수 있습니다. - 데이터 흐름 정의, 구성, 구성 및 관리 - 데이터가 대상으로 이동할 때 변환 및 추적 - NiFi 레지스트리를 사용하여 데이터 흐름 변경 추적 - NiFi Expression Language를 사용하여 데이터 흐름 제어 - 데이터 흐름을 최적화하여 성능 및 유지보수 향상 - Apache Kafka, Apache Hive 및 HDFS와 같은 다른 시스템과 데이터 흐름 연결 - 데이터 흐름 서비스 활용

강의내용

1. Cloudera Flow Management 소개
- Cloudera Data-in-Motion 개요
- NiFi 사용자 인터페이스
- DataFlow Catalog
- ReadyFlows

2. 프로세서
- 프로세서 개요
- 프로세서 표면 패널
- 프로세서 구성

3. Connections
- 연결 개요
- 연결 구성
- Connector Context Menu

4. 데이터 흐름(Dataflows)
- 데이터 흐름의 명령 및 제어
- 프로세서 관계
- Back Pressure
- Prioritizers
- Labels

5. 프로세스 그룹
- Anatomy of Process Group
- 입력 및 출력 포트

6. FlowFile Provenance
- Data Provenance Events
- FlowFile Lineage
- Replaying a FlowFile

7. Parameters
- Parameter Contexts
- Referencing Parameters
- Managing Parameters
- Migrating from Variables

8. Flow Definitions and Templates
- Flow Definition Overview
- Creating a Flow Definition
- Importing and Deploying a Flow
- Using (migrating from) Templates

9. Apache NiFi Registry
- Apache NiFi egistry Overview
- Using the Registry

10. FlowFile Attributes
- FlowFile Attribute Overview
- Routing on Attributes

11. NiFi Expression Language
- NiFi Expression Language Overview
- Syntax
- Expression Language Editor
- Setting Conditional Values

12. Controller Services
- Controller Services Overview
- Common Controller Services

13. Record-based Components
- Record-oriented data
- Record-based Processors
- Avro Schema Registry
- Schema Format

14. Reading and Writing Record Data
- Querying Record Data
- QueryRecord Processor
- Writing Record Data

15. Enriching Record Data
- ETL Operations
- Split and Join Processor
- Update Record Processors
- Wait and Notify Processors

16. NiFi Architecture Overview
- NiFi Architecture Overview
- Public Cloud Architecture
- Private Cloud Architecture

17. DataFlow Functions
- Overview
- Serverless functions

18. Dataflow Optimization
- Dataflow Optimization
- Control Rate
- Managing Compute

19. Monitoring, Reporting, and Troubleshooting
- Monitoring from NiFi
- Reporting
- Examples of Common Reporting Tasks

20. NiFi Security
- NiFi Security Overview
- Securing Access to the NiFi UI
- Metadata Management

21. Integrating NiFi
- NiFi Integration Architecture
- Available ReadyFlows
- A Closer Look at NiFi and Apache Hive