데이터 파이프라인 구축과 활용 실무

BigData

과정 요약

교육 기간: 3일
다음 개강: 일정 문의

목록보기

데이터 파이프라인 구축과 활용 실무

수강대상

- 데이터파이프라인 구축에 필요한 데이터 전처리가 필요한 데이터 실무자
- 데이터가 저장/처리/분석 단계를 거쳐 서비스로 만들어지는 전체 프로세스를 이해하고 싶은 사람
- 데이터 엔지니어로서의 (혹은 데이터 엔지니어가 되기 위해) 기초부터 실력을 쌓고 싶은 사람
- Hadoop 기반의 빅데이터 플랫폼을 업무에 환경에 맞게 설치와 운영이 필요한 데이터 엔지니어

교육목표

데이터 활용을 위해서는 데이터 파이프라인을 구축하고 운용할 수 있는 능력이 필요하다.
데이터 파이프라인을 제대로 구축하기 위해서는 빅데이터를 이해하고 데이터 수집, 저장, 처리, 분석에 필요한 주요 시스템 및 기술들을 이해하고 활용할 수 있어야 한다.
또한, 데이터를 분산처리 할 수 있는 Hadoop 기본 기능과 역할을 이해하여 데이터 수집 시스템을 구성하고, Flume/Kafka, Nifi와 같은 툴을 활용하여 데이터 수집 방법을 학습한다.
데이터 저장과 처리를 위해서 SQL On Hadoop 기술을 이해하여 Hive, Impala를 실습하고, 실시간 데이터 분석을 위한 Spark의 기본적인 사용법 및 배운 내용을 기반으로 데이터 수집, 처리, 분석까지 빅데이터 분석 전과정을 다루는 실습을 수행한다.

강의내용

Module 1. 데이터 수집 시스템 (Sqoop, Flume, Kafka)
- 데이터 파이프라인 이해
- 데이터 파이프라인 각 단계 프로세스와 패키지 이해
- 빅데이터 수집 (로그 기반, 관계형 데이터 기반, 인터넷 데이터 기반)
- 데이터 수집 도구 Sqoop 개념 및 아키텍처
- 데이터 수집 툴 Flume/Kafka/Apache Nifi 활용

Module 2. 데이터 저장 및 전처리 (NoSQL, HBase)
- 비정형 데이터베이스 분산 저장 시스템의 개념 및 특징(NoSQL)
- Hbase, Cassandra, MongoDB 개념 및 특징
- NoSQL의 데이터 모델링 패턴 및 데이터 모델링 절차

Module 3. 실시간/배치 데이터 처리 (Spark, Pig, Hive, Impala 등)
- Pig, Hive를 이용한 분산 데이터 처리 기술
- SQL질의 Impala를 이용한 실시간 대용량 처리
- 실시간으로 스트림 데이터를 빠르게 처리하는 Spark Streaming
- Spark기반으로 SQL을 사용하기 위한 개념
- Spark ML의 특징 및 모델 구축

자주 묻는 질문

데이터 파이프라인 구축과 활용 실무 교육 대상은 누구인가요?

- 데이터파이프라인 구축에 필요한 데이터 전처리가 필요한 데이터 실무자 - 데이터가 저장/처리/분석 단계를 거쳐 서비스로 만들어지는 전체 프로세스를 이해하고 싶은 사람 - 데이터 엔지니어로서의 (혹은 데이터 엔지니어가 되기 위해) 기초부터 실력을 쌓고 싶은 사람 - Hadoop 기반의 빅데이터 플랫폼을 업무에 환경에 맞게 설치와 운영이 필요한 데이터 엔지니어

데이터 파이프라인 구축과 활용 실무 과정을 통해 무엇을 배울 수 있나요?

데이터 활용을 위해서는 데이터 파이프라인을 구축하고 운용할 수 있는 능력이 필요하다. 데이터 파이프라인을 제대로 구축하기 위해서는 빅데이터를 이해하고 데이터 수집, 저장, 처리, 분석에 필요한 주요 시스템 및 기술들을 이해하고 활용할 수 있어야 한다. 또한, 데이터를 분산처리 할 수 있는 Hadoop 기본 기능과 역할을 이해하여 데이터 수집 시스템을 구성하고, Flume/Kafka, Nifi와 같은 툴을 활용하여 데이터 수집 방법을 학습한다. 데이터 저장과 처리를 위해서 SQL On Hadoop 기술을 이해하여 Hive, Impala를 실습하고, 실시간 데이터 분석을 위한 Spark의 기본적인 사용법 및 배운 내용을 기반으로 데이터 수집, 처리, 분석까지 빅데이터 분석 전과정을 다루는 실습을 수행한다.

데이터 파이프라인 구축과 활용 실무 교육 기간은 얼마나 되나요?

3일 과정입니다. 상세 일정은 교육 페이지에서 확인하실 수 있습니다.

데이터 파이프라인 구축과 활용 실무 수강료는 얼마인가요?

수강료는 1,320,000원(VAT 별도)입니다. 고용보험 환급 및 기업 할인 혜택이 적용될 수 있으니 자세한 내용은 트레이노케이트로 문의해 주세요.

트레이노케이트는 공인 교육 기관인가요?

트레이노케이트(Trainocate Korea)는 공인된 IT 전문 교육 기관으로서, 검증된 강사와 공식 커리큘럼을 통해 수준 높은 교육을 제공합니다.

Trainocate · Corporate Training

기업교육 레퍼런스

금융·통신·반도체·제조 등 여러 산업의 기업과 함께 AI·데이터·인프라 등 IT 전반의 임직원 역량 강화 교육을 진행해 왔습니다.

교육 사례 보기 ›

기업 교육 상담

교육 대상과 규모에 맞는 과정을
함께 설계해 드립니다

10명 미만 소규모 심화 과정부터 수백 명 규모의 온라인 교육까지 운영해 왔습니다.
AI·데이터·인프라 등 IT 전반에서 업종과 직책, 직무에 맞춰 커리큘럼을 제안합니다.

교육 문의하기

한국트레이노케이트(주) | 대표 : 김 효 용 | 사업자등록번호 : 709-88-02461 | 통신판매업신고번호 : 2024-서울금천-0771호

주소 : 서울시 금천구 가산디지털1로 168 우림라이온스밸리 B동 1206호 | 대표전화 : 02-558-1130 | 이메일 : help@trainocate.co.kr

한국트레이노케이트(주) 대표 : 김 효 용
사업자등록번호 : 709-88-02461
통신판매업신고번호 : 2024-서울금천-0771호
주소 : 서울시 금천구 가산디지털1로 168 우림라이온스밸리 B동 1206호
대표전화 : 02-558-1130
이메일 : help@trainocate.co.kr

이용약관 | 개인정보처리방침 | 찾아오시는길