HIVE 기초+실무 강의 기초 부터 실무인강 알지오 IT전문교육

HIVE 기초+실무

강의구성
(20강) 전체 : 16시간 11분|평균 : 48분32초

이용기간/강사
2개월 / 알지오 R&D [IT]

수강료
330,000원
165,000원

HIVE 기초+실무 인강 평생교육원 교육 안내
HIVE 기초+실무 강의, 하이브 는 빅데이터에서 쓰이는 구조적 데이터 저장소로, 하둡에 저장된 데이터를 분산된 서버에 구조적으로 다루기를 원하는 분들이 이용하기 좋습니다. HIVE 는 데이터를 저장하고 실시간 저장기능을 실무 예제로 다루고 싶은분들에게 HIVE 기초+실무 교육을 권장합니다.

단기 습득!

2년 연속 IT교육 인강부분 1위 알지오 (근거자료)

2003년부터 운영해온 수많은 데이터베이스를 기반으로

단기 습득할 강의

로 제공합니다!
늦지 않았습니다. 알지오에서 지금부터 시작하세요!

01.50분 Hive의 특징과 구성요소
Hive 특성, Hive 구성요소, Hive 설치, Hive 실습

하둡의 구성 요소/맵 리듀스 아키텍처/셔플 단계/load data inpath//환경 변수 적용/디렉토리 생성/웨어하우스 디렉토리 권한 변경/테이블 확인
02.46분 하이브 명령과 인터페이스
하이브 명령, 명령행 인터페이스, 데이터형, 파일 인코딩

하이브 명령/명령 수행/테스트 테이블 조회/데이터 형과 파일 인코딩/주의할점/변형 예제/크리에이트 테이블 문 실행
03.45분 데이터 정의 언어
데이터베이스 생성, 삭제 및 변경, 테이블 생성, 테이블 파티셔닝, 테이블 삭제

데이터 정의 언어/하둡 파일 시스템에서 해당 디렉토리 생성 확인하기/구조는 동일하지만 이름이 다른 테이블 생성하기/데이터 삽입 확인/파티션 확인/stored as textfile/테이블 삭제 시 차이점
04.47분 데이터 정의 언어와 조작
테이블 변경, 데이터 로딩, INSERT문, 데이터 꺼내기

데이터 조작/테이블 생성/컬럼 명 변경/테이블 속성 변경/데이터 확인/데이터 확인/select 보기
05.47분 HiveQL 쿼리 part1
SELECT FROM 절, 쿼리 문법, 연산자, 함수, 쿼리 옵션

SELECT FROM 절에 대해 알아보기/컬렉션 필드 접근/배열의 인덱스를 벗어나는 접근을 할 경우/abs 함수//json_tuple 함수/regexp_replace 함수/SELECT FROM 절에서 옵션으로 사용할수 있는 기능/case, when, and
06.49분 HiveQL 쿼리 part2
WHERE 절, GROUP BY 절, 기타 절 (~BY, UNION ALL), 형변환 및 샘플링

where 절/where 절 기본 구문 보기/에러가 난 이유/중첩 쿼리문 실행/3.3이 포함되어 결과가 나타나는 이유/RLike 문/order by절/distribute by와 sort by 의 컬럼이 같은 경우/테이블 생성/쿼리문 입력/rand 함수
07.41분 HiveQL 쿼리 part3
내부 조인, 외부 조인, 세미 조인, 맵 사이드 조인

조인/내부 조인/쿼리문 실행시 에러가 나는 이유/데이터가 큰 테이블에 메모리에 올려질 경우/쿼리문 실행/주의점/카타시안 프로덕트 조인/현재 버전에서의 맵사이드 조인 사용방법/버킷된 테이블에 대한 최적화 설정 해줘야 되는 이유
08.50분 HiveQL 뷰
뷰의 특성, 뷰의 사용법, 스키마 설계, 스키마 설계 최적화 방법들

HiveQL 뷰/테이블과 뷰의 차이점/뷰에 쿼리 실행//결과 보기/hdfs의 특성 고려/예제 보기/값 입력/데이터 입력/버켓팅 속성 값/테이블 조회/압축하기
09.47분 HiveQL 색인
색인의 특성, 색인의 사용법, 튜닝, 튜닝 기법

색인/인덱스/익스플레인/file output operator/예시 보기/스트릭트 모드로 사용할수 없는 쿼리 세번째/자바 가상머신 재사용/투기적 실행/쿼리문 실행
10.49분 파일 압축 및 아카이빙과 NoSQL 스토리지 핸들러
파일 압축, 시퀀스 파일, 아카이빙, HBase, 카산드라, 다이나모디비

파일 압축 및 아카이빙 알아보기/파일 압축/하이브가 파일 포멧을 바라보는 관점1/예제를 통한 압축 수행/출력 파일 압축에 대한 코덱 변경/파티션 아카이빙/HBase 테이블 생성 예제/카산드라 매핑/쿼리문 보기
11.52분 보안과 개발
인증, 사용자, 그룹, 역할 권한, Hive 빌드 방법, 테스트 케이스 실행, 이클립스 연동

하이브 보안 및 개발 환경 설정/보안/hive.metastore.execute.setugi/권한 부분 살펴보기/테이블 생성/셀렉트문 실행/하이브 소스 빌드/테스트 케이스 실행 방법/소스 이클립스에 연동/hivetest.java 코드 보기/쿼리문 실행
12.52분 함수 part1
함수 종류 및 설명, UDF, 생년 월일로 만 나이를 찾아내는 함수 만들기 실습, GenericUDF, NULL 체크 및 기본값을 입력 받아 값을 출력하는 함수 만들기 실습

함수에 대해 알아보기/show functions 명령실행/명령 수행/대표적 테이블 생성 함수 예제/클래스 정의 보기/j유닛 테스트/컴파일 하고 자르로 묶기/실제 테스트/이니셜라이즈 메소드 역할/자르 카피/해당 자바 코드 보기
13.49분 함수 part2
UDAF, MsSQL의 GROUP_CONCAT 함수 만들기, explode 함수 기능 만들기, UDTF, 복합 데이터형 효과 만들기

udaf 함수//mysql 접속/로직 보기/쿼리문 실행/테스트/parseString 매소드/process 매소드 살펴보기/create 처리/쿼리의 결정성/매크로
14.54분 스트리밍과 하이브 쓰리프트 서비스
쉘 스크립트와 스트리밍, 파이썬 스크립트와 스트리밍, Generic MR 도구 활용, 그루비를 활용한 쓰리프트 서비스 실습

스트리밍과 하이브 쓰리프트 서비스에 대해 알아보기/스트리밍/항등 변환과의 차이점/셀렉트 문 만들기/쿼리 실행/identityMapper.java/하이브 서버에 연결/로직 보기/쓰리프트 메타스토어
15.49분 하이브의 포맷과 잠금 기능
파일 포맷, 레코드 포맷 및 SerDe, Zookeeper를 활용한 하이브 잠금 실습

하이브 포맷 사용자화 방법/테이블 생성/시퀀스 파일 포맷/쿼리 실행/getSplits 매소드 보기/데이터 입력/jar 파일 등록/저장 확인/하이브 접속 후 쿼리 수행/결과 확인
16.53분 Hive Workflow 관리와 공통의 메타 스토어 활용
Oozie 설치 및 활용 방법, HCatalog 프로그래밍, HCatalog 아키텍처, AWS의 EMR 간단 설명

oozie/oozie workflow job/셸 스크립터 실행/oozie에 대한 홈 디렉토리 잡기/query-table 살펴보기/workflow 실행/h 카탈로그를 활용한 맵 리듀스 구현 소스 살펴보기/리듀스 클래스 보기/hcatalog-명령행(지원하지 않는 명령)/task 인스턴스 그룹/S3에 MYSQL 덤프
17.44분 사례 연구 part1
m6d.com, NASA 제트 추진 연구소, 포토 버킷

m6d.com 사례 살펴보기/테이블 스키마 살펴보기/확인/새로 만든 함수를 통한 데이터 처리 확인/m6d.com-하둡 클러스터 간 하이브 데이터 복제/포토 버킷 사례/하둡과 하이브를 적용한 이유/포토 버킷의 데이터를 사용하는 곳
18.49분 사례 연구 part2
아웃 브레인, 심플리치, 카르마스피어

아웃 브레인 분석/사이트 내 유입 경로 식별/쿼리문 살펴보기/date 변수 활용 살펴보기/테이블 생성/중첩 쿼리문이 하는일/각 세션 페이지 뷰 별로 집계하기/카마스피어 관점/데이터 포맷팅 예제/쿼리 살펴보기
19.53분 오라클 마이그레이션 part1
데이터 변환조인 변환분석 함수

오라클 마이그레이션/sql과 hiveQL의 차이/지연 시간/date/문자열 형 데이터 변환/크로스 조인/디코드 함수/오라클의 분석함수 기본 변환규칙/MAX, MIN 함수/NOT EXISTS 쿼리
20.45분 오라클 마이그레이션 part2
스칼라 서브 쿼리, 고급 분석 함수, 오픈 소스 R하이브 소개

스칼라 서브 쿼리/쿼리문 실행/롤업 쿼리 살펴보기/쿼리문 실행//r하이브의 구조/rhive.list.tables/하둡 파일 시스템 지원 함수/파일 업로드/r 하이브와 유사 패키지의 비교

강의목록 다운로드

Since 2003 IT전문교육!