Cloudera Manager安裝_搭建CDH集群

 

---

 

Cloudera Manager安裝_搭建CDH集群

cpu			內存16G	內存12G	內存8G
默認單核單線	CDH1_node9	Server  || Agent	10G	6G	5G
	CDH2_node10	Agent	2G	1-1.5G	1G
	CDH3_node11	Agent	2G	1-1.5G	1G

1. • 系統環境准備

1、網絡配置 

vi /etc/sysconfig/network  

vi /etc/hosts

 

2、SSH免密鑰登錄

1. 虛擬機的環境准備非常重要：免密鑰的master需要和slave免密鑰；那么cloudera manager的server需要和agent免密鑰；
2. 那么具體的軟件比如hdfs的namenode所在的節點就需要和它的datanode節點免密鑰；

全部會話 ：ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

ssh-copy-id node11/node12/node13

 

3、防火牆關閉

Service iptables  stop

Chkconfig iptables off

4、SELINUX關閉 setenforce 0

vi /etc/selinux/config (SELINUX=disabled) 

5.安裝JDK配置環境變量

三台機器都需要

將jdk上傳到node11的/home/tools目錄下

Node11執行：scp  jdk+Tab node12:`pwd`

 scp  jdk+Tab node13:`pwd`

全部會話：rpm -ivh jdk*

修改 vi /etc/profile 添加環境變量（一個一個添加）

source ./etc/profile

export JAVA_HOME=/usr/java/default  //注意java的路徑

export PATH=$JAVA_HOME/bin:$PATH

 

 

6. 安裝NTP

Yum install ntp -y

 設置開機啟動 chkconfig ntpd on

設置時間同步 – ntpdate -u s2c.time.edu.cn（全部會話）

7. 安裝配置mysql

yum install mysql-server -y

設置開機啟動：chkconfig mysqld on

啟動mysql：  service mysqld start

查看狀態：  service mysqld status

mysql 進入

use mysql

select host,user from user

修改 mysql 權限： GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;

刷新：flush privileges;

刪除多余會對權限造成影響的數據：delete from user where host !='%';

刷新權限

select host,user from user;

quit 退出

 

重新登錄：mysql -u root -p

密碼：123

8. 下載第三方依賴包

1. 最后一步安裝第三方依賴包的時候，主要針對的是centos，公司中還是要看使用的linux發行版缺少那些版本；

yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb -y

2. CM安裝

1. 安裝Cloudera Manager Server、Agent

上傳到/home/toolsx下 (三台機器都要安裝)

mkdir /opt/cloudera-manager

tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

 

2. 創建用戶cloudera-scm

全部會話：useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3. 配置CM Agent

1. cm的安裝包的server和agent都是同一個包，啟動的時候啟動命令指定為server還是agent；cm有一個工作目錄，需要
2. 我們來創建；創建一個用戶；修改agent的配置，給它指定server的位置；那個端口7182是server和agent通信的端口；
3. server_host配置為server的名字；

修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中 server_host(三台機器)

4. 配置CM Server數據庫

拷貝mysql jar文件到目錄 /usr/share/java/

注意jar包名稱要修改為mysql-connector-java.jar

 

mysql -u root -p

use mysql;

grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;

 

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/

 ./scm_prepare_database.sh mysql temp -h CDH1 -utemp -ptemp --scm-host CDH1 scm scm scm

格式：數據庫類型、數據庫、數據庫服務器、用戶名、密碼、cm server服務器

 

5. 創建Parcel目錄

1. 創建parcel目錄，這些目錄是server和agent用來接收和發送數據的目錄，server端的parcel-repo這個目錄會把所有
2. 的安裝文件全部下載到此目錄，而agent也需要安裝包，parcels就是用來存儲指定的安裝包的，當然需要有權限能操作
3. 這些目錄；

Server節點

 – mkdir -p /opt/cloudera/parcel-repo

– chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

Agent節點

– mkdir -p /opt/cloudera/parcels

– chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

 

 

6. 制作CDH本地源

下載好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json，將這兩個文件放到server節點的 /opt/cloudera/parcel-repo下。

實際上這個三個文件

 

打開manifest.json文件，里面是json格式的配置，找到與下載版本相對應的hash碼，新建文件，文件名與你的 parel包名一致，並加上.sha后綴，將hash碼復制到文件中保存。

 

7. 關機做快照。

    init 0 || power off

8. 啟動CM Server、Agent

2. 我們的系統需要預留內存；保證自己的系統能夠跑起來，關閉所有的安全衛士；保證第一台節點的內存很多，以后可以
3. 在cdh1有很多東西；虛擬機默認都采用單核單線，如果cpu可以，采用雙核雙線；老師使用的是16g內存，虛擬機在固態
4. 硬盤上面，啟動cloudera manager都需要幾分鍾，如果機器不好，可能需要啟動一節課；如果實在不行，就需要單台轉載
5. 所有節點的功能；

 

1. 當我們使用server start 會立馬返回一個ok，這個只是表明該命令提交成功而已；畢竟server會在linux和mysql中創建
2. 目錄和數據庫表，所以第一次啟動的時候如果時間很長，千萬不要關閉；不然下一次啟動的話，依舊會創建這些目錄
3. 然后就會沖突；啟動成功與否，可以通過一個日志文件來查看；當看到以下命令的時候，說明啟動完成：

 

先確保啟動了mysql  service mysqld start

全部會話：cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/

CDH1:執行./cloudera-scm-server start

CDH1,2,3執行：./cloudera-scm-agent start

 

 

觀察啟動server的日志

cd /opt/cloudera-manager/cm-5.4.3/log/cloudera-scm-server

tail -f 上面目錄下的log的文件

 

出現如下內容表明啟動成功

2017-02-22 19:57:04,638 INFO WebServerImpl:org.mortbay.log: Started SelectChannelConnector@0.0.0.0:7180

2017-02-22 19:57:04,638 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

 

 

進入web瀏覽器進行訪問，端口號：7180

 

 

至此。CM安裝成功。

 

 

 

9.關閉CDH

先關閉瀏覽器頁面的服務。

上下兩個一次關閉。

 

再關閉虛擬機命令行的服務。

 

 

 

 

 

 

 

搭建CDH集群

通過CM把CDH集群部署起來，部署的方式有四種：cm,yum,rpm,tarball,其中我們采用的是離線cdh

1. 下面所有的操作都是在web界面上操作的；9個步驟，
2. 如果不小心點擊了外網的版本，那么就會從外網下載，這個時候點擊返回，依舊會下載，那么唯一的解決辦法
3. 就是停掉server,進去之后會出現已下載，也就是我們早就下載好到了parcels-repo，當然會是100%；然后第二
4. 個步驟是分配，就是把parcels-repo里面的軟件分發到agent的parcel目錄去；
6. cloudera建議我們的/proc/sys/vm/swappiness交換內存為0，將這個文件設置為0即可；當然這樣修改只是本次開機
7. 下次開機依舊不會改成這樣；可以改另一個文件；
9. 我們后面看到的圖表，監控都是來自於CM service;從最開始那個ppt圖上面可以看到
11. 在使用cm配置cdh的時候，默認是沒有給我們做高可用，雖然我們使用的是cm版本五，使用的hadoop是2.x,但是
12. 還是會有snn，只有在做了高可用之后snn才會消失；當我們只在cm上面安裝hadoop的時候，有一個步驟，數據庫檢測
13. ，由於安裝hadoop不需要數據庫，所以會一閃而過；

以下利用CM搭建CDH

 

 

 

 

 

 

 

Jar包存放位置：

/opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27

 

 

 

查看任務管理器--觀察內存使用狀況