Hadoop

책갈피[00:59] 빅데이터의 정의/[01:38] 빅데이터의 특징/[01:49] 빅데이터의 3대 요소/[05:30] 비정형 데이타/[11:07] 하둡과 관련된 제품/[20:00] scribe/[32:22] 설치 파일 실행/[36:30] ssh 접속 시도

책갈피[00:03] 환경 설정 파일 수정/[05:46] hadoop classpath 옵션/[10:15] dfs.http.address/[16:22] jps로 하둡 실행 여부 확인/[22:45] 빌드 결과 확인/[32:37] 네임노드와 데이터노드

책갈피[00:13] 파일 저장에 대한 동작방식 그림/[02:23] 데이터 저장시 장애가 발생할 경우/[05:56] 에디트 로그와 파일 시스템 이미지의 동작방식/[10:41] HDFS 명령어 사용법/[23:21] mv 명령어/[31:03] stat 명령어/[37:22] Dead Nodes

책갈피[00:04] HDFS 입출력 예제/[06:43] 맵과 리듀스의 동작/[16:15] 잡 할당 과정/[22:00] Interface Writable/[28:22] 매퍼 클래스 소스코드 보기/[34:22] class OutputFormat/[36:15] class LazyOutputForma

책갈피[00:04] WordCount 맵리듀스 프로그램 만들기/[01:17] 자세한 소스 보기/[05:30] 리듀스 메소드 재정의/[2:31] 출력 로그 자세히 보기/[23:29] 필요한 데이터 다운/[31:48] 출력 데이터 생성 확인/[35:50] 사용자 정의 옵션 사용

책갈피[00:06] 사용자 정의 옵션/[01:25] GenericOptionsParser/[06:15] Interface Tool/[14:11] 로그 보기/[21:37] Class MultipleOutputs/[30:02] 매소드 보기/[31:52] 세번째 매퍼 설정할 경우

책갈피[00:06] 정렬 구현/[02:15] 보조 정렬 순서/[05:57] 복합키 비교기 보기/[12:09] 리듀서 소스 보기/[21:03] 맵 리듀스 파일 실행/[32:05] 전체 정렬 작동 방식/[37:06] 정렬 확인

책갈피[00:07] 조인/[05:00] Class DistributedCache/[13:09] 리듀스-사이드 조인/[22:44] 출력 경로 조회/[32:07] 리듀스/[39:34] 주의할 점

책갈피[00:05] 콤바이너 클래스 적용/[05:30] snappy/[06:46] ArrivalDelayCount에 snappy 적용/[12:43] 결과 비교/[21:56] 개별적인 잡에 대한 투기적 잡 실행/[30:48] 생성자 로그의 정보 보기/[38:45] -saveNamespace 옵션/[43:30] 파일 저장 용량 설정 방법

책갈피[00:02] 데이터 저장공간 관리/[04:30] 데이터노드 제거/데이터노드 추가/[06:15] hdfs-site.xml 파일 내용 보기/[12:35] 에러가 나는 이유/[22:36] 네임노드 메타데이타 이중화/[33:35] 하둡 부가기능/[41:20] 제너릭 옵션 설명/[43:00] -archives

책갈피[00:02] 하둡 스트리밍 구현/[01:07] 첫번째 job 구현/[05:56] 명령어 파이프라인 사용//[15:11] 하둡 스트리밍 실행/[24:06] 페어스케줄러/[33:28] 풀 설정 파일 정의/[36:09] 전체에 대한 속성 보기

책갈피[00:08] 페어 스케줄러 적용/[06:30] 커패시티 스케줄러/[11:31] 속성값 살펴보기/[18:26] 관리 화면에서 queue 조회/[23:56] 구성요소 보기/[33:19] 테이블 생성 내용/어/[38:22] drop 테이블

책갈피[00:09] 데이터 업로드/[00:39] 첫번째 라인 삭제한 이유/[06:42] 하이브 주요 내장함수/[14:07] 조인하기/[24:55] 스토리지 사용 추이 데이터 보기/[33:52] 확장성과 실시간성 확보/[37:37] sns 데이터 분석 시스템 구성

책갈피[00:05] 하둡 데이터의 이동/[06:00] 복구 가능성/[12:11] 하둡으로 데이터를 옮길때 쓸수 있는 주된 방법/[17:55] 플룸 노드 데몬 시작 화면/[21:55] 플룸 마스터에서 설정 변경하는 방법/[30:52] 장애극복 모드/[35:09] 출력 포맷 보기

책갈피[00:23] 반구조화된 데이터 및 바이너리 파일 집어넣고 가져오기/[01:32] 파일 슬러퍼/[06:00] 슬러퍼의 중요한 특징/[15:58] 실제 작업 흐름 보기/[26:14] DB 구조 살펴보기/[36:58] 두가지 예제 더 보기/[42:57] 맵 리듀스의 데이터 소스로서 HBase를 사용하는 경우

책갈피[00:08] 하둡 밖으로 데이터 옮기기/[05:45] input-fields-terminated-by/[10:03] HBase shell 에서 테이블 만들기/[16:29] 직렬화 및 역직렬화(SerDe)/[21:41] RegexSerDe 작동 보기/[30:11] 버킷 설정 두가지 방법/[37:00] udf 클래스 살펴보기/[39:45] description 보기

책갈피[00:05] 하이브 조인 튜닝/[05:15] Full outer join/[10:50] 세미 조인/[24:48] 피그 라틴 데이터 타입 보기/[33:52] 완전한 기능을 갖춘 로그 로더 제공 방법/[40:00] 로드 하기/[41:59] 커먼 로그 로드 펑션을 사용해 로드 하는 법 알아보기

책갈피[00:57] 필터링/[01:11] 투영/[02:07] 필터링 과정/[07:46] 필터 연산 결과로 ip 주소별로 로그 엔트리 그루핑하고 계산하기/[13:01] getfinal/[22:56] exec 메소드/[29:18] 스트리밍/[36:30] 시퀀스 파일로 저장하는 이유/[41:07] 커스텀 로드 펑션 실행

책갈피[00:57] 사용자 작업 흐름 최적화/[05:41] RandomSampleLoader 인자 보기/[12:01] Map Reduce Plan/[21:41] 피그에서 리듀서를 사용하는 연산자/[29:52] configure 메서드/[35:52] 크런치에서 완전한 맵 리듀스 잡 실행하기/[38:34] uniqueValues 메서드 살펴보기

책갈피[00:03] 로그에서 가장 인기있는 URL 찾기/[02:59] initialize를 통한 선언 초기화/[06:46] 크런치 조인 파이프라인/[15:33] 테스트 요소 살펴보기/[24:07] run 메서드/[32:06] 테스크 출력 값 보기/[40:14] 투기적 실행 경쟁 조건/[43:21] 지나치게 많은 카운터