一、准備工作
l 基本工具
1) 安裝epel,epel是一個提供高質量軟件包的項目。先檢查主機上是否安裝:
rpm -q epel-release
2) 如果沒有安裝,使用rpm命令安裝:
rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
(也可手動下載安裝包安裝)
3) 成功后查看其所依附的軟件包:
rpm -qR epel-release
4) 導入key:
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6
5) 安裝yum-priority:
yum install yum-priorities
6) 在主機倉庫目錄中可以查到epel.repo,命令:
①
cd /etc/yum.repos.d
②
ls | grep epel
7) 安裝pdsh:
yum install pdsh
l 配置/etc/hosts和/etc/sysconfig/network
以Ambari節點下修改hosts文件為例說明:(本機192.168.1.162/hadoop03)
l 設置ssh免密碼登錄
略…
l 關閉SELinux、防火牆、packagekit
1) 關閉SELinux
① 暫時關閉:
setenforce 0
② 永久關閉:
vi /etc/selinux/config
2) 關閉防火牆 :
chkconfig iptables off
3) 關閉packagekit:
vi /etc/yum/pluginconf.d/refresh-packagekit.conf
二、安裝
l 下載Ambari倉庫
1) 進入yum.repos.d倉庫目錄:
cd /etc/yum.repos.d
2) 下載Ambari倉庫的資源清單文件:
wget http://public-repo-1.hortonworks.com/ambari/centos6/1.x/updates/1.6.1/ambari.repo
l 安裝epel repository
1) 安裝epel:
yum install epel-release
2) 查看是否配置成功,命令:
yum repolist
l 用yum安裝Ambari,同時也會安裝PostgreSQL.
安裝命令:
yum install ambari-server
l 配置ambari-server
執行命令:
ambari-server setup
三、啟動
l 啟動Ambari
1) 執行命令:
ambari-server start
注意:如果是用普通用戶例如hadoop安裝ambari,並且數據庫是mysql,啟動時會報錯,解決方案:
① 在mysql中建立用戶
grant all privileges on *.* to 'admin'@'hadoop05' identified by ‘admin’
創建ambari數據庫。
② 用admin用戶登錄mysql,
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
導入ambari的sql腳本。
2) 在瀏覽器中輸入“主機IP:8080”進入登陸界面,默認用戶名密碼為admin/admin。
這里要注意,前提是必須安裝好httpd,並且啟動httpd服務:
① 查看是否安裝:
rpm -qa | grep httpd
yum install httpd
② 修改配置文件:
vi /etc/httpd/conf/httpd.conf
③ 重啟主機:
shutdown -r now
servie httpd start
3) Ambari的相關配置命令
① 修改端口號:
vi /etc/ambari-server/conf/ambari.properties
② 查看Ambari進程:
ps -ef | grep ambari
③ 停止Ambari進程:
ambari-server stop
④ 重啟Ambari進程:
ambari-server restart
四、磁盤擴容
問題引入:后續進行MR Job執行時,會報類似“磁盤空間不夠”的錯誤,原因是Ambari安裝所在目錄的磁盤容量不夠導致。
解決方案:由於Ambari安裝后,會創建一個LVM的邏輯卷,供Hadoop運行產生的臨時文件存儲用,如下:
所以,我們只需要對vg_hadoop01進行擴容。操作如下:
1) 1表示第一塊分區的信息,該分區已經被Hadoop占滿;2表示第二塊分區的信息,也就是我們需要將它擴容到vg_hadoop01上的分區。如下:
2) 現將/dev/sdb5分區塊(注意這里Id必須是8e,System必須是Linux LVM)分配給vg_hadoop01.
① 8e和Linux LVM的設置命令:
fdisk /dev/sdb
② 輸入命令:partprobe,讓分區表生效。
③ 由於LVM所在的文件類型是ext4,所以新的分區必須格式化為ext4.
格式化命令:
mkfs –t ext4 /dev/sdb5
④ 創建PV(物理卷),命令:
pvcreate /dev/sdb5
⑤ 擴容LVM,命令:
vgextend vg_hadoop01 /dev/sdb5
⑥ 將LVM中的容量擴展到LV(邏輯卷),命令:
lvextend –L 100G /dev/vg_hadoop01/lv_root
3) 執行該重設大小,對於當前正在使用的/dev/vg_hadoop01/lv_root有效.命令:
resize2fs /dev/vg_hadoop01/lv_root