目前啊,都知道,大數據集群管理方式分為手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)。
手工部署呢,需配置太多參數,但是,好理解其原理,建議初學這樣做,能學到很多。該方式啊,均得由用戶執行,細節太多,切當設計多個組件時,用戶須自己解決組件間版本兼容問題。
工具部署呢,比如Ambari或Cloudera Manger。(當前兩大最主流的集群管理工具,前者是Hortonworks公司,后者是Cloudera公司)使用工具來,可以說是一鍵操作,難點都在工具Ambari或Cloudera Manger本身部署上。
手工方式 工具方式
難易度 難,幾乎不可能成功 簡單,易行
兼容性 自己解決組件兼容性問題 自動安裝兼容組件
組件支持數 支持全部組件 支持常用組件
優點 對組件和集群管理深刻 簡單、容易、可行
缺點 太復雜,不可能成功 屏蔽太多細節,妨礙對組件理解
工具名 所屬機構 開源性 社區支持性 易用性、穩定性 市場占有率
Cloudera Manger Cloudera 商用 不支持 易用、穩定 高
Ambari Hortonwork 開源 支持 較易用、較穩定 較高
常見的情況是,Cloudera Manger 去部署CDH
Ambari去部署HDP,
當然,兩者也可以互相,也可以去部署Apache Hadoop
Cloudera Manager安裝之利用parcels方式安裝3節點集群(包含最新穩定版本或指定版本的安裝)(添加服務)
Ambari安裝之部署3個節點的HA分布式集群