基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ數據倉庫——操作系統配置,安裝必備軟件


注意未經說明,所有本文中所有操作都默認需要作為root用戶進行操作。

一、安裝zmodem,用於遠程上傳下載文件,安裝gedit,方便重定向到遠程windows上編輯文件(通過xlanuch)

[root@]# yum install lrzsz -y
[root@]# yum install gedit -y

二、關閉防火牆

[root@]# systemctl disable firewalld
[root@]# systemctl stop firewalld

三、關閉SELinux

在系統運行狀態暫時關閉(重啟后失效):

setenforce  0

編輯設置文件/etc/sysconfig/selinux,關閉SELinux(重啟生效)

備注:已發現,如果不關閉,導致HUE的load-balance服務啟動報權限錯誤!

vim   /etc/sysconfig/selinux

設置SELINUX為disabled,如下所示:

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
#SELINUX=enforcing
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
# targeted - Targeted processes are protected,
# mls - Multi Level Security protection.
SELINUXTYPE=targeted

保存退出后復制到各個節點,或者在每個節點上重復設置。

四、卸載系統中已安裝的openjdk,安裝oracle jdk發行版

1,查詢系統中的openjdk軟件包:

[root@ep-bd01 ~]# rpm -qa|grep openjdk -i
java-1.7.0-openjdk-headless-1.7.0.181-2.6.14.8.el7_5.x86_64

2,根據查詢到的結果,卸載openjdk,軟件包名稱要一致。

[root@ep-bd01 ~]# yum remove java-1.7.0-openjdk-headless-1.7.0.181-2.6.14.8.el7_5.x86_64

3,下載最新 Oracle JDK 8.181 centos,用rpm命令安裝:

[root@ep-bd01 ~]# rpm -ivh jdk-8u181-linux-x64.rpm

五、設置系統運行參數:

1 ,設置swappiness

echo 10 > /proc/sys/vm/swappiness

2, 禁用 透明大頁面壓縮

** 運行時設置:

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

 同樣添加上面2行到/etc/rc.local以便重啟是運行

 【注意,為使/etc/rc.local開機可以運行,必須給/etc/rc.d/rc.local添加執行權限】

chmod +x /etc/rc.d/rc.local

六、配置用戶免密互訪:

詳細參見:基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ數據倉庫——安裝配置OPEN-SSH,設置主機節點之間免密互訪

七、設置DNS,便於集群主機互訪。

1,編輯主節點/etc/hosts文件,添加集群節點地址

192.168.58.11 ep-bd01
192.168.58.12 ep-bd02
192.168.58.13 ep-bd03
192.168.58.14 ep-bd04
192.168.58.15 ep-bd05

2,分發/etc/hosts文件,scp復制到其他節點或者各個主機節點單獨編輯。

scp /etc/hosts ep-bd02:/etc/.
scp /etc/hosts ep-bd03:/etc/.
scp /etc/hosts ep-bd04:/etc/.
scp /etc/hosts ep-bd05:/etc/.

 

八、HAWQ2.30所需系統環境設置【全部主機節點】:

1, vim /etc/sysctl.conf,編輯如下內容:

kernel.shmmax= 1000000000
kernel.shmmni= 4096
kernel.shmall= 4000000000
kernel.sem= 250 512000 100 2048
kernel.sysrq= 1
kernel.core_uses_pid= 1
kernel.msgmnb= 65536
kernel.msgmax= 65536
kernel.msgmni= 2048
net.ipv4.tcp_syncookies= 0
net.ipv4.ip_forward= 0
net.ipv4.conf.default.accept_source_route= 0
net.ipv4.tcp_tw_recycle= 1
net.ipv4.tcp_max_syn_backlog= 200000
net.ipv4.conf.all.arp_filter= 1
net.ipv4.ip_local_port_range= 1281 65535
net.core.netdev_max_backlog= 200000
#java程序多時,設成2會導致很多服務不能去啟動! #vm.overcommit_memory= 2
vm.overcommit_memory=0 fs.nr_open= 3000000 kernel.threads-max= 798720 kernel.pid_max= 798720 #increase network net.core.rmem_max=2097152 net.core.wmem_max=2097152

保存退出后,使用命令“sysctl -p” 使之生效:

sysctl -p

2,修改/etc/security/limits.conf,設置打開文件數限制:

vim /etc/security/limits.conf

編輯如下內容:

* soft nofile 2900000
* hard nofile 2900000
* soft nproc 131072
* hard nproc 131072

重新登錄以使配置生效,或者使用命令臨時設置一下:

ulimit -n 10240

3, 添加gpadmin用戶(greeplum admin縮寫),使用/opt/gpadmin作為主目錄

useradd --home=/opt/gpadmin/ --no-create-home --comment "HAWQ admin" gpadmin 
echo gpadmin | passwd --stdin gpadmin 
mkdir /opt/gpadmin
chown gpadmin:gpadmin /opt/gpadmin

2,添加gpadmin到/etc/sudoers

vim /etc/sudoers 編輯添加如下行

gpadmin ALL=(ALL) NOPASSWD:ALL

3, 配置gpadmin用戶的ssh【免密互訪】

參照上面root用戶的設置進行。

九、 准備HAWQ2.3.0依賴軟件包

1,hawq2.3.0所需必備軟件包如下:

libgsasl is needed by apache-hawq-2.3.0.0-el7.x86_64
protobuf >= 2.5.0 is needed by apache-hawq-2.3.0.0-el7.x86_64
net-snmp-libs is needed by apache-hawq-2.3.0.0-el7.x86_64
thrift >= 0.9.1 is needed by apache-hawq-2.3.0.0-el7.x86_64
boost >= 1.53.0 is needed by apache-hawq-2.3.0.0-el7.x86_64

其中gcc gcc-c++ protobuf net-snmp-libs boots可直接安裝。而安裝libgsasl需要添加一個包含libgsasl庫的源。

2,新建/etc/yum.repos.d/fedora.repo文件,添加如下內容: 

[epel-repo]
name=epel
baseurl=http://dl.fedoraproject.org/pub/epel/6/x86_64/
enabled=1
gpgcheck=0

3,安裝各個軟件包:

yum install gcc gcc-c++ -y
yum install protobuf -y
yum install net-snmp-libs -y
yum install boost -y 
yum install libgsasl-devel -y
yum install libevent -y

4,thrift 0.9.1需要下載安裝包並使用rpm進行安裝

wget http://dl.fedoraproject.org/pub/epel/7/x86_64/Packages/t/thrift-0.9.1-15.el7.x86_64.rpm
rpm -ivh thrift-0.9.1-15.el7.x86_64.rpm

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM