빅데이터 분석
분류
20.정보통신 > 01.정보기술 > 01.정보기술전략·계획 > 05.빅데이터 분석
NCS
직무의 정의
능력단위
| 순번 | 능력단위 |
|---|---|
| 1 | 빅데이터 분석 기획 |
| 2 | 빅데이터 수집 |
| 3 | 빅데이터 저장 |
| 4 | 빅데이터 처리 |
| 5 | 분석용 데이터 탐색 |
| 6 | 통계 기반 데이터 분석 |
| 7 | 머신러닝 기반 데이터 분석 |
| 8 | 텍스트마이닝 기반 데이터 분석 |
| 9 | 빅데이터 분석 결과 시각화 |
능력단위별 능력단위요소
| 순번 | 능력단위 | 능력단위요소 |
|---|---|---|
| 1 | 빅데이터 분석 기획 | 1. 도매인 이슈 도출하기 2. 분석목표 수립하기 3. 프로젝트 계획하기 4. 보유데이터 자산 확인하기 |
| 2 | 빅데이터 수집 | 1. 데이터 수집 계획 수립하기 2. 빅데이터 수집 시스템 구성하기 3. 내부 데이터 수집하기 4. 외부 데이터 수집하기 5. 데이터 변환하기 6. 수집 데이터 검증하기 |
| 3 | 빅데이터 저장 | 1. 빅데이터 저장 계획 수립하기 2. 빅데이터 저장 모델 설계하기 3. 빅데이터 저장 관리시스템 구성하기 4. 빅데이터 적재하기 5. 빅데이터 운영하기 |
| 4 | 빅데이터 처리 | 1. 빅데이터 처리 계획 수립하기 2. 빅데이터 처리 시스템 구성하기 3. 분산병렬 수행하기 4. 실시간 수행하기 5. 이벤트 처리 수행하기 |
| 5 | 분석용 데이터 탐색 | 1. 기본통계 확인하기 2. 데이터 분포 분석하기 3. 변수간 관계 확인하기 4. 데이터 정제하기 5. 데이터 변화 적재하기 6. 분석용 데이터 검증하기 |
| 6 | 통계 기반 데이터 분석 | 1. 가설 설정하기 2. 빅데이터 모델 개발하기 3. 빅데이터 모델 평가 검증하기 4. 빅데이터 모델 운영방안 마련하기 |
| 7 | 머신러닝 기반 데이터 분석 | 1. 머신러닝 수행방법 계획하기 2. 데이터셋 분할하기 3. 지도학습 모델적용하기 4. 자율학습 모델 적용하기 5. 모델 성능 평가하기 6. 학습결과 적용하기 |
| 8 | 텍스트마이닝 기반 데이터 분석 | 1. 텍스트마이닝 기반 텍스트 분석 실행방법 계획하기 2. 텍스트 변환하기 3. 단어사전 구축하기 4. 텍스트 분류 결과 분석하기 5. 정형 데이터 결합 분석 수행하기 |
| 9 | 빅데이터 분석 결과 시각화 | 1. 분석 결과 스토리텔링하기 2. 분석 정보 시각화하기 3. 분석 정보 시각표현하기 |
학습모듈 더보기 열기,닫기 | NCS 학습모듈은 교육훈련기관에서 출처를 명시하고 교육적 목적으로 활용할 수 있습니다. 다만 NCS 학습모듈에는 국가(교육부)가 저작재산권 일체를 보유하지 않은 저작물들(출처가 표기되어 있는 도표, 사진, 삽화, 도면 등)이 포함되어 있으므로 이러한 저작물들의 변형, 복제, 공연, 배포, 공중 송신 등과 이러한 저작물들을 활용한 2차 저작물의 생성을 위해서는 원저작자의 동의를 받아야 합니다. |
훈련기관명 : 에이콘아카데미 종로학원 담당자성명 :박미선홈페이지 : 담당자 연락처 : 02-2231-6412주소 : 서울특별시 종로구 돈화문로5길 24 하늘빌딩 3층,4층,5층 담당자 이메일 : kindgirl@hbilab.org훈련내용
-HDFS(Hadoop Distributed File System)의 이해
-대용량 분산/병렬 처리 프레임워크
-SQL on 하둡, 하둡2.0 이해
-OS 설치
-네트워크 등 설치
-하둡 Stand Alone 가상 서버를 활용한 하둡 설치
-Hadoop Cluster 설치 절차 이해
-Hadoop Cluster 설치,Hadoop 명령어 이해
- HDFS 활용,MapReduce 프로그래밍 이해
-MapReduce를 이용한 데이터 처리 실습
-Pig(데이터-흐름 기반의 스크립트 프로그래밍 언어) 실습
-Hive(SQL 기반 Data Warehouse) 실습
-HBase 실습
-컬럼 구조의 저장소 실습
-Zookeeper
-시스템 빅데이터 수집 프레임워크 Sqoop
-다양한 DBMS 자료를 HDFS로 입출력
-Pig 설치 절차 이해 및 설치
-Pig를 이용한 데이터 처리 실습
-Hive 설치 절차 이해 및 설치
-Hive를 이용한 데이터 처리 실습
-Zookeeper 활용 실습,HBase 설치 및 활용 실습
-Sqoop 설치 및 활용 실습
-Sqoop을 활용한 데이터 Import/Export 실습
-필수 하둡 생태계 심화 정리
-국내외 하둡 적용 사례
-데이터 유형별 하둡 아키텍처
-실제 구축을 위한 고급 활용
빅데이터 활용 사례 및 분석_마케팅 전략
[IP노믹스] 20대 총선 결과, 빅데이터로 미리 본다
