Training
Contact
News
About Us
Member




BigData > BigData_Engineering

Data Processing with Spark

Spark를 활용한 빅데이터 분석 방법을 이해하고 실제 업무에 적용할 수 있는 방법 학습

1,200,000

선수지식

Data 요소기술/활용

강의내용

1 데이터수집/변환
ㆍHadoop HDFS
ㆍFlume으로 실시간 데이터 수집
ㆍSqoop으로 실시간 데이터 수집
ㆍ데이터 저장 형식
ㆍ데이터 압축

2 아파치 스파크 API
ㆍ아파치 스파크 아키텍처 기본 Statistics
ㆍSpark Shell - Pyspark
ㆍ아파치 스파크 Core API Statistics
ㆍ아파치 스파크 RDD 와 Pair RDD 연산
ㆍ아파치 스파크 Dataframe 과 Schema
ㆍDataframe Query/Spark SQL Query
ㆍ아파치 스파크 RDD 와 Dataframe 연결

3 분산병렬 처리 system
ㆍ아파치 스파크 application
ㆍ병렬처리
ㆍPersistence
ㆍ아파치 Spark Streaming 기본
ㆍSpark Streaming 데이터 수"