CDH| Hive| Hue| Sqoop| Impala等組件安裝部署


 

 

一. 添加Hive服務

將 Hive 服務添加到 Cluster 1

配置hive元數據

測試通過后繼續

自動啟動Hive進程

修改Hive配置

/opt/cloudera/parcels/HADOOP_LZO-0.4.15-1.gplextras.p0.123/lib/hadoop/lib

 

更新Hive Metastore NameNode(先停止Hive)

 

 

 

 

二. Oozie安裝

  添加Oozie服務,選擇有MySQL的節點安裝

 

 

 

選擇集群節點

 

 

三. Hue

1. Hue概述

1)Hue來源

HUE=Hadoop User Experience(Hadoop用戶體驗),直白來說就一個開源的Apache Hadoop UI系統,由Cloudera Desktop演化而來,最后Cloudera公司將其貢獻給Apache基金會的Hadoop社區,它是基於Python Web框架Django實現的。通過使用HUE我們可以在瀏覽器端的Web控制台上與Hadoop集群進行交互來分析處理數據。

2)Hue官網及使用者

官網網站:http://gethue.com/

2.   安裝前的准備

1)在LoadBalancer節點安裝mod_ssl

2)查看/usr/lib64/mysql下有沒有libmysqlclient_r.so.16,如果沒有,上傳libmysqlclient_r.so.16到/usr/lib64/mysql,並軟鏈接到/usr/lib64/

[root@hadoop101 lib]# yum -y install mod_ssl 已加載插件:fastestmirror, refresh-packagekit, security 設置安裝進程 Loading mirror speeds from cached hostfile * base: mirrors.aliyun.com * extras: mirrors.huaweicloud.com * updates: mirrors.huaweicloud.com 解決依賴關系 --> 執行事務檢查 ---> Package mod_ssl.x86_64 1:2.2.15-69.el6.centos will be 安裝 .......... [root@hadoop102 mysql]# ll 總用量 3108 lrwxrwxrwx. 1 root root      26 1月  15 2019 libmysqlclient_r.so.16 -> libmysqlclient_r.so.16.0.0
-rwxr-xr-x. 1 root root 1595432 5月  11 2016 libmysqlclient_r.so.16.0.0 lrwxrwxrwx. 1 root root      24 1月  15 2019 libmysqlclient.so.16 -> libmysqlclient.so.16.0.0
-rwxr-xr-x. 1 root root 1584904 5月  11 2016 libmysqlclient.so.16.0.0 [root@hadoop102 mysql]# scp /usr/lib64/mysql/libmysqlclient_r.so.16 root@hadoop101:/usr/lib64/mysql/ libmysqlclient_r.so.16 
[root@hadoop101 lib64]# ln -s /usr/lib64/mysql/libmysqlclient_r.so.16 /usr/lib64/libmysqlclient_r.so.16

 

 添加HUE服務

 

 

 

HUE頁面

http://hadoop101:8888(未優化)或http://hadoop101:8889(優化)

第一次開啟HUE會出現以下頁面,此時輸入的用戶名和密碼可以隨意,之后登錄頁面以第一次輸入的賬號密碼為依據。例如,用戶名admin 密碼admin

 

 

 

四. Sqoop安裝

1)添加服務

選擇Sqoop

 

目前選擇sqoop1即可

2)選擇節點

 

 安裝在Hadoop101機器上:

數倉之即席查詢數倉搭建

Impala安裝

   添加服務

 

注意:最好將StateStoreCataLog Sever單獨部署在同一節點上。

啟動Impala

 

 

打開Hue

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM