알지오 평생교육원

로그인|회원가입|고객센터
HOME>IT전문가>데이터베이스>Hive

Hive

Hive
20회차 속성과정
전체 : 16시간 11분|회차당 평균 : 48분32초

이용기간 2개월

전문강사 : 알지오 R&D [IT]

270,000165,000



Hive 인강 평생교육원 교육 안내
빅데이터에서 쓰이는 구조적 데이터 저장소로, 하둡에 저장된 데이터를 분산된 서버에 구조적으로 다루기를 원하는 분들이 이용하기 좋습니다. 데이터를 저장하고 실시간 저장기능을 실무 예제로 다루고 싶은분들에게 권장합니다.
  • 01.50분 Hive의 특징과 구성요소

    Hive 특성, Hive 구성요소, Hive 설치, Hive 실습

    책갈피 : [00:29] 하둡의 구성 요소/[01:38] 맵 리듀스 아키텍처/[06:12] 셔플 단계/[15:07] load data inpath//[24:06] 환경 변수 적용/[31:52] 디렉토리 생성/[41:43] 웨어하우스 디렉토리 권한 변경/[47:35] 테이블 확인

  • 02.46분 하이브 명령과 인터페이스

    하이브 명령, 명령행 인터페이스, 데이터형, 파일 인코딩

    책갈피 : [00:21] 하이브 명령/[06:16] 명령 수행/[12:01] 테스트 테이블 조회/[21:25] 데이터 형과 파일 인코딩/[30:22] 주의할점/[41:28] 변형 예제/[44:52] 크리에이트 테이블 문 실행

  • 03.45분 데이터 정의 언어

    데이터베이스 생성, 삭제 및 변경, 테이블 생성, 테이블 파티셔닝, 테이블 삭제

    책갈피 : [00:08] 데이터 정의 언어/[05:46] 하둡 파일 시스템에서 해당 디렉토리 생성 확인하기/[13:56] 구조는 동일하지만 이름이 다른 테이블 생성하기/[23:52] 데이터 삽입 확인/[33:36] 파티션 확인/[40:22] stored as textfile/[44:24] 테이블 삭제 시 차이점

  • 04.47분 데이터 정의 언어와 조작

    테이블 변경, 데이터 로딩, INSERT문, 데이터 꺼내기

    책갈피 : [00:10] 데이터 조작/[01:07] 테이블 생성/[06:15] 컬럼 명 변경/[12:48] 테이블 속성 변경/[27:52] 데이터 확인/[35:28] 데이터 확인/[42:52] select 보기

  • 05.47분 HiveQL 쿼리 part1

    SELECT FROM 절, 쿼리 문법, 연산자, 함수, 쿼리 옵션

    책갈피 : [00:12] SELECT FROM 절에 대해 알아보기/[03:36] 컬렉션 필드 접근/[07:11] 배열의 인덱스를 벗어나는 접근을 할 경우/[15:26] abs 함수//[24:07] json_tuple 함수/[30:03] regexp_replace 함수/[36:22] SELECT FROM 절에서 옵션으로 사용할수 있는 기능/[42:30] case, when, and

  • 06.49분 HiveQL 쿼리 part2

    WHERE 절, GROUP BY 절, 기타 절 (~BY, UNION ALL), 형변환 및 샘플링

    책갈피 : [00:26] where 절/[01:22] where 절 기본 구문 보기/[03:50] 에러가 난 이유/[05:15] 중첩 쿼리문 실행/[10:22] 3.3이 포함되어 결과가 나타나는 이유/[15:45] RLike 문/[25:14] order by절/[34:45] distribute by와 sort by 의 컬럼이 같은 경우/[40:00] 테이블 생성/[43:00] 쿼리문 입력/[47:15] rand 함수

  • 07.41분 HiveQL 쿼리 part3

    내부 조인, 외부 조인, 세미 조인, 맵 사이드 조인

    책갈피 : [00:09] 조인/[00:47] 내부 조인/[05:15] 쿼리문 실행시 에러가 나는 이유/[12:05] 데이터가 큰 테이블에 메모리에 올려질 경우/[19:51] 쿼리문 실행/[24:25] 주의점/[32:22] 카타시안 프로덕트 조인/[37:37] 현재 버전에서의 맵사이드 조인 사용방법/[40:07] 버킷된 테이블에 대한 최적화 설정 해줘야 되는 이유

  • 08.50분 HiveQL 뷰

    뷰의 특성, 뷰의 사용법, 스키마 설계, 스키마 설계 최적화 방법들

    책갈피 : [00:26] HiveQL 뷰/[00:44] 테이블과 뷰의 차이점/[08:03] 뷰에 쿼리 실행//[11:20] 결과 보기/[21:45] hdfs의 특성 고려/[29:07] 예제 보기/[33:04] 값 입력/[38:04] 데이터 입력/[43:00] 버켓팅 속성 값/[46:30] 테이블 조회/[49:19] 압축하기

  • 09.47분 HiveQL 색인

    색인의 특성, 색인의 사용법, 튜닝, 튜닝 기법

    책갈피 : [00:14] 색인/[05:24] 인덱스/[10:48] 익스플레인/[15:41] file output operator/[21:51] 예시 보기/[28:55] 스트릭트 모드로 사용할수 없는 쿼리 세번째/[34:45] 자바 가상머신 재사용/[40:22] 투기적 실행/[45:28] 쿼리문 실행

  • 10.49분 파일 압축 및 아카이빙과 NoSQL 스토리지 핸들러

    파일 압축, 시퀀스 파일, 아카이빙, HBase, 카산드라, 다이나모디비

    책갈피 : [00:16] 파일 압축 및 아카이빙 알아보기/[02:07] 파일 압축/[05:59] 하이브가 파일 포멧을 바라보는 관점1/[13:16] 예제를 통한 압축 수행/[21:37] 출력 파일 압축에 대한 코덱 변경/[30:33] 파티션 아카이빙/[40:13] HBase 테이블 생성 예제/[44:22] 카산드라 매핑/[48:34] 쿼리문 보기

  • 11.52분 보안과 개발

    인증, 사용자, 그룹, 역할 권한, Hive 빌드 방법, 테스트 케이스 실행, 이클립스 연동

    책갈피 : [00:05] 하이브 보안 및 개발 환경 설정/[00:15] 보안/[04:55] hive.metastore.execute.setugi/[06:00] 권한 부분 살펴보기/[12:22] 테이블 생성/[22:11] 셀렉트문 실행/[31:41] 하이브 소스 빌드/[38:37] 테스트 케이스 실행 방법/[41:19] 소스 이클립스에 연동/[47:00] hivetest.java 코드 보기/[50:42] 쿼리문 실행

  • 12.52분 함수 part1

    함수 종류 및 설명, UDF, 생년 월일로 만 나이를 찾아내는 함수 만들기 실습, GenericUDF, NULL 체크 및 기본값을 입력 받아 값을 출력하는 함수 만들기 실습

    책갈피 : [00:05] 함수에 대해 알아보기/[03:20] show functions 명령실행/[05:12] 명령 수행/[11:09] 대표적 테이블 생성 함수 예제/[19:00] 클래스 정의 보기/[29:41] j유닛 테스트/[32:04] 컴파일 하고 자르로 묶기/[39:00] 실제 테스트/[43:04] 이니셜라이즈 메소드 역할/[47:51] 자르 카피/[50:36] 해당 자바 코드 보기

  • 13.49분 함수 part2

    UDAF, MsSQL의 GROUP_CONCAT 함수 만들기, explode 함수 기능 만들기, UDTF, 복합 데이터형 효과 만들기

    책갈피 : [00:14] udaf 함수//[05:00] mysql 접속/[12:31] 로직 보기/[21:18] 쿼리문 실행/[29:33] 테스트/[32:52] parseString 매소드/[39:52] process 매소드 살펴보기/[42:14] create 처리/[45:52] 쿼리의 결정성/[47:46] 매크로

  • 14.54분 스트리밍과 하이브 쓰리프트 서비스

    쉘 스크립트와 스트리밍, 파이썬 스크립트와 스트리밍, Generic MR 도구 활용, 그루비를 활용한 쓰리프트 서비스 실습

    책갈피 : [00:08] 스트리밍과 하이브 쓰리프트 서비스에 대해 알아보기/[00:40] 스트리밍/[06:15] 항등 변환과의 차이점/[13:28] 셀렉트 문 만들기/[22:11] 쿼리 실행/[36:07] identityMapper.java/[43:22] 하이브 서버에 연결/[48:37] 로직 보기/[52:29] 쓰리프트 메타스토어

  • 15.49분 하이브의 포맷과 잠금 기능

    파일 포맷, 레코드 포맷 및 SerDe, Zookeeper를 활용한 하이브 잠금 실습

    책갈피 : [00:32] 하이브 포맷 사용자화 방법/[02:28] 테이블 생성/[05:30] 시퀀스 파일 포맷/[12:22] 쿼리 실행/[16:41] getSplits 매소드 보기/[23:52] 데이터 입력/[30:32] jar 파일 등록/[40:30] 저장 확인/[47:36] 하이브 접속 후 쿼리 수행/[48:46] 결과 확인

  • 16.53분 Hive Workflow 관리와 공통의 메타 스토어 활용

    Oozie 설치 및 활용 방법, HCatalog 프로그래밍, HCatalog 아키텍처, AWS의 EMR 간단 설명

    책갈피 : [00:51] oozie/[02:30] oozie workflow job/[05:43] 셸 스크립터 실행/[09:28] oozie에 대한 홈 디렉토리 잡기/[18:33] query-table 살펴보기/[23:14] workflow 실행/[32:00] h 카탈로그를 활용한 맵 리듀스 구현 소스 살펴보기/[38:45] 리듀스 클래스 보기/[42:07] hcatalog-명령행(지원하지 않는 명령)/[48:00] task 인스턴스 그룹/[50:07] S3에 MYSQL 덤프

  • 17.44분 사례 연구 part1

    m6d.com, NASA 제트 추진 연구소, 포토 버킷

    책갈피 : [00:39] m6d.com 사례 살펴보기/[05:15] 테이블 스키마 살펴보기/[13:26] 확인/[20:55] 새로 만든 함수를 통한 데이터 처리 확인/[29:07] m6d.com-하둡 클러스터 간 하이브 데이터 복제/[37:15] 포토 버킷 사례/[40:15] 하둡과 하이브를 적용한 이유/[42:29] 포토 버킷의 데이터를 사용하는 곳

  • 18.49분 사례 연구 part2

    아웃 브레인, 심플리치, 카르마스피어

    책갈피 : [00:14] 아웃 브레인 분석/[00:54] 사이트 내 유입 경로 식별/[05:57] 쿼리문 살펴보기/[14:03] date 변수 활용 살펴보기/[21:48] 테이블 생성/[29:37] 중첩 쿼리문이 하는일/[34:06] 각 세션 페이지 뷰 별로 집계하기/[39:52] 카마스피어 관점/[41:52] 데이터 포맷팅 예제/[46:08] 쿼리 살펴보기

  • 19.53분 오라클 마이그레이션 part1

    데이터 변환조인 변환분석 함수

    책갈피 : [00:05] 오라클 마이그레이션/[01:53] sql과 hiveQL의 차이/[05:23] 지연 시간/[10:13] date/[18:52] 문자열 형 데이터 변환/[27:56] 크로스 조인/[35:15] 디코드 함수/[43:00] 오라클의 분석함수 기본 변환규칙/[45:44] MAX, MIN 함수/[51:30] NOT EXISTS 쿼리

  • 20.45분 오라클 마이그레이션 part2

    스칼라 서브 쿼리, 고급 분석 함수, 오픈 소스 R하이브 소개

    책갈피 : [00:35] 스칼라 서브 쿼리/[03:14] 쿼리문 실행/[05:15] 롤업 쿼리 살펴보기/[11:07] 쿼리문 실행//[20:25] r하이브의 구조/[29:03] rhive.list.tables/[35:30] 하둡 파일 시스템 지원 함수/[39:45] 파일 업로드/[41:53] r 하이브와 유사 패키지의 비교





주소 : 경기 의정부시 시민로122번길 41-46, 2F|e-mail : help@alzio.co.kr|호스팅 제공자 : SK브로드밴드
회사명 : 알지오|대표 : 채명수|개인정보관리자 : 박진엽|사업자등록번호 : 217-90-17793|통신판매 제2008-0312호
SSL발급자 Equifax Secure Global eBusiness CA-1|Copyright since 2003ⓒalzio.co.,Ltd all rights reserved. SNS

* 중소기업진흥공단 신기술밴처지원

* 서울기술보증 제 20031501호