碼上歡樂
相關內容    簡體    繁體

超簡單的CDH6部署和體驗(單機版)

本文轉載自   查看原文   2020-10-18 11:14   723 

歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos

內容：所有原創文章分類匯總及配套源碼，涉及Java、Docker、Kubernetes、DevOPS等；

為什么會超簡單

借助ansible簡化了CDH6部署工作的大部分內容，也降低了手工操作失誤的概率，今天實戰的內容，是在一台安裝了ansible的電腦上(蘋果或Linux操作系統)運行ansible腳本，遠程操作一台CentOS服務器，在上面部署CDH6，並操作驗證本次部署是否成功。

ansible學習

如果您想了解ansible，請參考《ansible2.4安裝和體驗》

為什么要部署單機版CDH6

主要是用來做為大數據技術的學習和開發的環境，並不適合生產；

實戰簡述

本次實戰內容：部署、啟動、驗證，整個過程如下圖所示：

在這里插入圖片描述

全文大綱

本文由以下章節組成：

  1. 環境信息；
  2. 下載文件；
  3. 文件擺放；
  4. CDH機器設置；
  5. ansible參數設置；
  6. 部署；
  7. 重啟CDH服務器
  8. 啟動；
  9. 設置；
  10. 修復問題；
  11. 體驗；

環境信息

本次實戰的操作過程如下圖所示，安裝ansible2.9版本的MabBook Pro電腦作為ansible服務器，執行playbook腳本，對一台CentOS服務器進行遠程操作，完成CDH6的部署和啟動：
在這里插入圖片描述
上圖藍色背景的電腦，可以是蘋果操作系統，也可以是Linux操作系統，黃色背景的電腦要用來運行CDH6，必須是CentOS7.7操作系統(實在對不起，我這條件有限，別的系統沒有試過)

整個實戰涉及的環境版本信息如下：

  1. ansible服務器：macOS Catalina 10.15(實測用CentOS7.7也成功)
  2. CDH服務器：CentOS Linux release 7.7.1908
  3. cm版本：6.1.0
  4. parcel版本：6.1.1
  5. jdk版本：8u191

下載文件(ansible服務器)

本次實戰用到的所有文件如下表所示：

編號 文件名 簡介
1 jdk-8u191-linux-x64.tar.gz Linux版的jdk安裝包
2 mysql-connector-java-5.1.34.jar mysql的JDBC驅動
3 cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm cm的server安裝包
4 cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm cm的daemon安裝包
5 cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm cm的agent安裝包
6 CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel CDH應用離線安裝包
7 CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha CDH應用離線安裝包sha驗證碼
8 hosts ansible用到的遠程主機配置，里面記錄了CDH6服務器的信息
9 ansible.cfg ansible用到的配置信息
9 ansible.cfg ansible用到的配置信息
10 cdh-single-install.yml 部署CDH時用到的ansible腳本
11 cdh-single-start.yml 初次啟動CDH時用到的ansible腳本

上述11個文件的下載地址：

  1. jdk-8u191-linux-x64.tar.gz：Oracle官網可下，另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上傳到csdn，您可以一次性下載，地址：https://download.csdn.net/download/boling_cavalry/12098987
  2. mysql-connector-java-5.1.34.jar：maven中央倉庫可下，另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上傳到csdn，您可以一次性下載，地址：https://download.csdn.net/download/boling_cavalry/12098987
  3. cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm
  4. cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm
  5. cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm
  6. CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel：https://archive.cloudera.com/cdh6/6.1.1/parcels/CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel
  7. CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha：https://archive.cloudera.com/cdh6/6.1.1/parcels/CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha256 （下載完畢后，將擴展名從.sha256改為.sha）
  8. hosts、ansible.cfg、cdh-single-install.yml、cdh-single-start.yml：這四個文件都保存在我的GitHub倉庫，地址是：https://github.com/zq2599/blog_demos ，這里面有多個文件夾，上述文件在名為ansible-cdh6-single的文件夾中，如下圖紅框所示：
    在這里插入圖片描述

文件擺放(ansible服務器)

如果您已經下載好了上述11個文件，請按照如下位置擺放，這樣才能順利完成部署：

  1. 在家目錄下新建名為playbooks的文件夾：mkdir ~/playbooks
  2. 把這四個文件放入playbooks文件夾：hosts、ansible.cfg、cdh-single-install.yml、cdh-single-start.yml
  3. 在playbooks文件夾里新建名為cdh6的子文件夾；
  4. 把這七個文件放入cdh6文件夾(即剩余的七個)：jdk-8u191-linux-x64.tar.gz、mysql-connector-java-5.1.34.jar、cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm、cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm、cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm、CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel、CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha
  5. 擺放完畢后目錄和文件情況如下圖，再次提醒，文件夾playbooks一定要放在家目錄下（即：~/）：
    在這里插入圖片描述

CDH服務器設置

本次實戰中，CDH服務器hostname是deskmini，IP地址是192.168.50.134，需要做以下操作：

  1. 請確保CDH服務器能SSH登錄(用戶名+密碼)；
  2. SSH登錄到部署CDH的機器；
  3. 檢查/etc/hostname文件是正確，如下圖：
    在這里插入圖片描述
  4. 修改/etc/hosts文件，將自己的IP地址和hostname配置上去，如下圖紅框所示（事實證明這一步很重要，如果不做可能導致在部署時一直卡在"分配"階段，看agent日志顯示agent下載parcel的進度一直是百分之零）：
    在這里插入圖片描述

ansible參數設置(ansible服務器)

ansible參數設置的操作設置很簡單，就是把部署CDH的機器信息配置好即可，包括IP地址、登錄賬號、密碼等，修改~/playbooks/hosts文件，內容如下所示，您需要根據自身情況修改deskmini、ansible_host、ansible_port、ansible_user、ansible_password：

[cdh_group]
deskmini ansible_host=192.168.50.134 ansible_port=22 ansible_user=root ansible_password=888888

部署(ansible服務器)

  1. 進入~/playbooks目錄；
  2. 檢查ansible遠程操作CDH服務器是否正常，執行命令ansible deskmini -a "free -m"，正常情況下顯示CDH服務器的內存信息，如下圖：
    在這里插入圖片描述
  3. 執行此命令開始部署：ansible-playbook cdh-single-install.yml
  4. 整個部署過程涉及在線安裝、傳遞文件等耗時的操作，因此請耐心等待（半小時左右），我在部署期間遭遇網絡問題導致失敗退出，待網絡正常后再重新執行上述操作即可，ansible保證了操作的冪等性；
  5. 部署成功如下圖所示：
    在這里插入圖片描述

重啟CDH服務器

由於修改了selinux和swap的設置，需要重啟操作系統才能生效，因此請重啟CDH服務器；

啟動(ansible服務器)

  1. 等待CDH服務器重啟成功；
  2. 登錄ansible服務器，進入~/playbooks目錄；
  3. 執行此命令開始初始化數據庫，然后啟動CDH：ansible-playbook cdh-single-start.yml
  4. 啟動完成輸出如下信息：
    在這里插入圖片描述

設置(網頁)

CDH已經啟動，CDH服務器對外提供了web服務，可以通過瀏覽器來操作：

  1. 瀏覽器訪問：http://192.168.50.134:7180 ，如下圖，賬號密碼都是admin：
    在這里插入圖片描述
  2. 一路next，在選擇版本頁面選擇60天體驗版：
    在這里插入圖片描述
  3. 選擇主機頁面可見deskmini：
    在這里插入圖片描述
  4. 選擇下圖紅框中的CDH版本，因為對應的離線包已經復制到CM的本地倉庫，無需下載：
    在這里插入圖片描述
  5. 下載瞬間完成，等候分配、解壓、激活：
    在這里插入圖片描述
  6. 選擇服務的頁面，我這里選擇了Data Engineering，因為需要spark：
    在這里插入圖片描述
  7. 選擇機器的頁面，全選deskmini：
    在這里插入圖片描述
  8. 數據庫設置頁面，請和下圖保持一致，數據庫主機都是localhost，每個數據庫的名稱、用戶名、密碼都相同，分別是：hive、amon、rman、oozie、hue
    在這里插入圖片描述
  9. 參數設置頁面，請根據磁盤情況適當調整存儲路徑，例如我的/home目錄空間充足，這里都改到了/home目錄下面：
    在這里插入圖片描述
  10. 等待啟動完成：
    在這里插入圖片描述
  11. 等待啟動完成后，如下圖所示：
    在這里插入圖片描述
    至此，所有服務啟動完成，不過有兩個小問題需要修復；

修復HDFS問題

  1. 服務整體情況如下圖，HDFS服務有問題，點擊紅框中的圖標：
    在這里插入圖片描述
  2. 點擊下圖紅框位置：
    在這里插入圖片描述
  3. 故障詳情如下圖所示，屬於常見的副本不足的問題：
    在這里插入圖片描述
  4. 如下圖所示，修改HDFS的配置dfs.replication，從3改成1，然后保存更改：
    在這里插入圖片描述
  5. 重啟服務：
    在這里插入圖片描述
  6. 經過上述設置，副本數已經調整為1，但是已有文件的副本數還沒有同步，需要重新做設置，SSH登錄到電腦deskmini上；
  7. 執行命令vi /etc/passwd，找到賬號hdfs的配置，如下圖紅框所示，/sbin/nologin這樣的shell會導致切換到hdfs賬號失敗：
    在這里插入圖片描述
  8. 將上述紅框中的內容改為/bin/bash，修改后如下圖紅框所示：
    在這里插入圖片描述
  9. 執行命令su - hdfs，即可切換到hdfs賬號，此時執行以下命令即可完成副本數設置：
hadoop fs -setrep -R 1 /
  1. 服務已經全部正常了：
    在這里插入圖片描述

調整YARN參數避免spark-shell啟動失敗

  1. YARN默認給容器分配的內存過小，導致啟動spark-shell失敗，需要調整YARM相關的內存參數：
    在這里插入圖片描述
  2. 在YARN的配置頁面，調整yarn.scheduler.maximum-allocation-mb和yarn.nodemanager.resource.memory-mb這兩個參數的值，我這里將這個兩個參數的值都改成8G（請按照自己電腦實際硬件配置來調整），如下圖：
    在這里插入圖片描述
  3. 重啟YARN：
    在這里插入圖片描述
  4. 執行spark-shell命令之前，先執行命令su - hdfs切換到hdfs賬號；
  5. 這次終於成功進入spark-shell交互模式：
    在這里插入圖片描述
    至此，CDH6的部署、啟動、設置都已經完成，接下來體驗一下大數據服務；

體驗HDFS和Spark

接下來運行一個Spark任務，經典的WordCount：

  1. 准備一份文本文件，里面是英文內容，您可以下載這個文件：https://raw.githubusercontent.com/zq2599/blog_demos/master/files/GoneWiththeWind.txt
  2. 登錄SSH，切換到hdfs賬號；
  3. 創建HDFS文件夾：
hdfs dfs -mkdir /input
  1. 將文本文件上傳到/input目錄：
hdfs dfs -put ./GoneWiththeWind.txt /input
  1. 執行命令spark-shell，啟動一個worker；
  2. 輸入以下命令，即可完成一次WorkCount任務，192.168.50.134是deskmini的IP地址：
sc.textFile("hdfs://192.168.50.134:8020/input/GoneWiththeWind.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://192.168.50.134:8020/output")
  1. 執行完畢后，下載結果文件：
hdfs dfs -get /output/*
  1. 上述命令將spark任務的結果文件part-00000、part-00001下載到本機，用vi命令查看文件，如下圖，可見WorkCount執行成功：
    在這里插入圖片描述
  2. 在瀏覽器上查看歷史任務，地址是：http://192.168.50.134:18088 ，可見此次任務的詳情：
    在這里插入圖片描述
    至此，CDH6的部署、設置、體驗都已經完成，如果您正在搭建自己的學習或者開發環境，希望本文能給您一些參考。

深度定制

整個實戰雖然避免了傳統部署過程中的大量手動操作，但弊端也很明顯：所有路徑、文件名、服務版本都是固定的，不能做任何設置，雖然ansible也支持變量，但是如果變量太多也會給您帶來困擾，所以，如果您有修改版本或路徑的需求，建議您自行修改cdh-single-install.yml、cdh-single-start.yml的內容，所有文件和版本信息都在里面。

歡迎關注公眾號：程序員欣宸

微信搜索「程序員欣宸」，我是欣宸，期待與您一同暢游Java世界...
https://github.com/zq2599/blog_demos


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 K8S單機版部署 PostgreSQL12.3部署初體驗 本地部署K8s單機版 虛擬機部署單機版kubernetes,minikube,docker kafka單機版的安裝、集群部署 及使用 ubuntu16.04 部署單機版devsatck RocketMQ單機版安裝 Clickhouse單機版的安裝 安裝單機版Consul kafka安裝（單機版）
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM