體驗Hadoop3.0生態圈-CDH6.1時代的來臨
作者:尹正傑
版權聲明:原創作品,謝絕轉載!否則將追究法律責任。
我在公司使用的是CDH5.15.1這個發行版本,具體的部署文檔之前也有給大家分享過。Cloudera成立於2008年,在企業和大型機構在尋求解決棘手的大數據問題時,往往會使用開源軟件基礎架構Hadoop的服務。2018年10月,均為開源平台的Cloudera與Hortonworks公司宣布他們以52億美元的價格合並。
由於最近在學習DBA相關的知識技能,托更了關於CDH6.0的實戰部署筆記。不過沒關系,我會把CDH6.X的一些新特性和整個部署過程娓娓道來。其實部署方法和之前分享的筆記大同小異~安裝部署筆記,可參考官網:https://www.cloudera.com/documentation/enterprise/6/6.1/topics/installation_reqts.html#pre-install。
一.CDH6.1的新特性
1>.支持兩個以上的NameNode;
2>.
3>.
4>.
5>.
6>.
7>.
二.下載CDH和CM
1>.CDH的選擇
下載地址:https://archive.cloudera.com/cdh6/6.1.0/parcels/。
2>.CM的選擇
下載地址:https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/。
3>.cdh中的hadoop組件
cdh6.1中的組件 : https://archive.cloudera.com/cdh6/6.1.0/redhat7/yum/RPMS/x86_64/.
cdh5.15中的組件:https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.15.1/RPMS/x86_64/
三.安裝前准備
准備一台服務器10G內存左右即可。