環境
虛擬機:VMware 10
Linux版本:CentOS-6.5-x86_64
客戶端:Xshell4
FTP:Xftp4
jdk8
zookeeper-3.4.11
一、CDH
在商業應用中,對於企業成百上千的機器集群進行安裝hadoop一系列組件費時費力,而且hadoop各個開源組件版本混亂,管理升級也比較困難,對於企業日常的管理維護帶來極大不b便,現在商用的比較流行國外的是CDH(Cloudera’s Distribution Including Apache Hadoop),國內是星環、華為等公司,他們改造封裝了HADOOP生態組件來出售。
CDH,是Hadoop眾多分支中的一種,由Cloudera維護,基於穩定版本的Apache Hadoop構建,版本清晰,更新快,文檔全,安裝方式多(Yum、Rpm、Cloudera Manager、Tarball)
二、ClouderaManager
Cloudera Manager是一個管理CDH的端到端的應用。
作用:管理、監控、診斷、集成
Server
管理控制台服務器和應用程序邏輯
負責軟件安裝、配置
啟動和停止服務
管理服務運行的群集
Agent
安裝在每台主機上
負責啟動和停止進程,配置,監控主機
Management Service
由一組角色組成的服務,執行各種監視、報警和報告功能
Database:存儲配置和監控信息
Cloudera Repository:可供Cloudera Manager分配的軟件的存儲庫(repo庫)
Clients:用於與服務器進行交互的接口
Admin Console:管理員控制台
API:開發人員使用 API可以創建自定義的Cloudera Manager應用程序
CDH與CM下載:
CDH5.4
http://archive.cloudera.com/cdh5/
Cloudera Manager5.4.3:
http://www.cloudera.com/downloads/manager/5-4-3.html