Cloudera Training for Apache Kafka

본 과정은 Apache Kafka를 소개하고 주요 개념과 아키텍처를 설명하며 몇 가지 일반적인 사용 사례를 논의하는 것으로 시작됩니다. 이러한 기반을 바탕으로 Kafka 배포를 계획하는 방법을 배우고, Cloudera Data Platform (CDP)에서 Kafka를 실행하는 클라우드 기반 다중 노드 클러스터를 설치하고 구성하는 실습 경험을 할 수 있습니다.
그런 다음 만들어진 클러스터를 사용하여 Kafka 주제, 제작자 및 소비자를 만드는 방법부터 다양한 필수 기술을 다루는 20 개 이상의 실습을 진행합니다. 그런 다음 확장성, 안정성 및 성능 문제와 관련된 Kafka 운영 및 개발 고급 기술들을 학습합니다. 이 과정을 통해 Cloudera Manager, Schema Registry, Streams Messaging Manager 및 Cruise Control을 포함하여 Kafka 작업을 위한 Cloudera의 권장 도구를 배우고 사용하게 됩니다.

교육목표

본 과정을 수료하면 아래의 교육 목적을 달성할 수 있습니다.
- Kafka 클러스터 계획, 배포 및 운영
- 주제(topics) 생성 및 관리
- 생산자와 소비자 개발
- 복제를 사용하여 내결함성(fault tolerance) 향상
- 파티셔닝을 사용하여 확장성(scalability) 향상
- 일반적인 문제 및 성능 문제 해결

강의내용

1. Kafka Overview
- High-Level Architecture
- 일반적인 사용 사례
- Cloudera의 Apache Kafka 분포

2. Apache Kafka 배포
- 시스템 요구 사항 및 종속성
- 서비스 역할
- Kafka 서비스 구축 계획
Exercise: Preparing the Exercise Environment
Exercise: Cloudera Manager를 사용하여 Kafka 서비스 설치
Exercise (optional): 메트릭 대시보드 생성
Exercise (optional): CM API 사용

3. 카프카 명령줄 기본 사항
- 항목 만들기 및 관리
- Running Producers and Consumers

4. 스트림 메시징 관리자사용(SMM)
- 스트림 메시징 관리자 개요
- 생산자, 주제 및 소비자
- Data Explorer
- Brokers
- Topic Management
Exercise: CLI를 사용하여 항목 관리
Exercise: Connecting Producers and Consumers from the Command Line

5. Kafka Java API Basics
- Kafka의 API 개요
- Java API를 통한 주제 관리
- Exercise (optional): Java API를 사용하여 Kafka 항목 관리
- Using Producers and Consumers from the Java API
- Exercise: Developing Producers and Consumers with the Java API

6. 복제를 통한 가용성 향상
- Replication
Exercise: 브로커 장애로 인한 다운타임 관찰
- Considerations for the Replication Factor
Exercise: 가용성 향상을 위한 복제본 추가

7. 애플리케이션 확장성 향상
- 파티셔닝
- 메시지 분할 방법
Exercise: 파티셔닝이 성능에 미치는 영향 관찰
- Consumer Groups
Exercise: 소비자 그룹 구현
- 소비자 재조정
Exercise: Using a Key to Control Partition Assignment

8. 애플리케이션 안정성 향상
- Delivery Semantics
- 데모(선택 사항) : ISRs vs. ACKs
- Producer Delivery
Exercise: Idempotent 프로듀서
- Transactions
Exercise: 트랜잭션 생산자 및 소비자
- 소비자 오류 처리
- 간격띄우기 관리
Exercise: 중복 메시지 탐지 및 억제
Exercise: 잘못된 레코드 처리
- 생산자 오류 처리

9. SMM을 이용한 카프카 클러스터 분석
- End-to-End 대기 시간
- 알림자
- 경고 정책
- 사용 사례

10. Monitoring Kafka
- 모니터링 개요
- Cloudera Manager를 사용한 모니터링
- CM의 차트 및 보고서
- 모니터링 권장 사항
- 문제 해결을 위한 메트릭
- 서비스 오류 진단
Exercise: Monitoring Kafka

11. Managing Kafka
- Kafka 주제 저장소 관리
- 데모(선택 사항): 메시지 보존 기간
- 로그 정리 및 수집
- 파티션 재조정
- 크루즈 컨트롤
Exercise : 크루즈 컨트롤 설치
Exercise : 카프카 문제 해결 항목
- 부정한 지도자 선거
Exercise : 부정한 지도자 선거
- 브로커 추가 및 제거
Exercise : 브로커 추가 및 제거
- 모범 사례

12. 메시지 구조, 형식 및 버전 관리
- 메시지 구조
- Schema 레지스트리
- Schema 정의
- Schema 진화 및 버전 관리
- Schema 레지스트리 클라이언트
Exercise : Avro Schema 사용

13. 애플리케이션 성능 향상
- 메시지 크기
- 배치
- 압축
Exercise : 압축이 성능에 미치는 영향 관찰

14. Kafka 서비스 성능 향상
- 관리자를 위한 성능 조정 전략
- 클러스터 크기 조정
Exercise : 사용 사례에 필요한 용량 계획

15. 카프카 클러스터 확보
- 암호화
- 인증
- 허가
- Auditing

자주 묻는 질문

Cloudera Training for Apache Kafka 과정은 어떤 내용을 다루나요?

본 과정은 Apache Kafka를 소개하고 주요 개념과 아키텍처를 설명하며 몇 가지 일반적인 사용 사례를 논의하는 것으로 시작됩니다. 이러한 기반을 바탕으로 Kafka 배포를 계획하는 방법을 배우고, Cloudera Data Platform (CDP)에서 Kafka를 실행하는 클라우드 기반 다중 노드 클러스터를 설치하고 구성하는 실습 경험을 할 수 있습니다. 그런 다음 만들어진 클러스터를 사용하여 Kafka 주제, 제작자 및 소비자를 만드는 방법부터 다양한 필수 기술을 다루는 20 개 이상의 실습을 진행합니다. 그런 다음 확장성, 안정성 및 성능 문제와 관련된 Kafka 운영 및 개발 고급 기술들을 학습합니다. 이 과정을 통해 Cloudera Manager, Schema Registry, Streams M...

Cloudera Training for Apache Kafka 교육 대상은 누구인가요?

시스템 관리자, 데이터 엔지니어, 개발자

Cloudera Training for Apache Kafka 과정을 통해 무엇을 배울 수 있나요?

본 과정을 수료하면 아래의 교육 목적을 달성할 수 있습니다. - Kafka 클러스터 계획, 배포 및 운영 - 주제(topics) 생성 및 관리 - 생산자와 소비자 개발 - 복제를 사용하여 내결함성(fault tolerance) 향상 - 파티셔닝을 사용하여 확장성(scalability) 향상 - 일반적인 문제 및 성능 문제 해결

Cloudera Training for Apache Kafka 교육 기간은 얼마나 되나요?

4일 과정입니다. 상세 일정은 교육 페이지에서 확인하실 수 있습니다.

Cloudera Training for Apache Kafka 수강료는 얼마인가요?

수강료는 2,634,000원(VAT 별도)입니다. 고용보험 환급 및 기업 할인 혜택이 적용될 수 있으니 자세한 내용은 트레이노케이트로 문의해 주세요.

트레이노케이트는 Cloudera 공인 교육 기관인가요?

트레이노케이트(Trainocate Korea)는 Authorized Cloudera Training Partner(ACTP)로서, Cloudera 공인 커리큘럼 기반의 빅데이터·데이터 플랫폼 전문 교육을 제공합니다.