設置FQDN
hostnamectl set-hostname XXX
#驗證
hostname hostname -f dnsdomainname
設置hosts
vi /etc/hosts 192.168.10.70 master.bigdata master 192.168.10.71 node1.bigdata node1 192.168.10.72 node2.bigdata node2
時間同步,參考https://www.cnblogs.com/TiestoRay/p/6045778.html
注:其他節點需要關閉ntpd服務
systemctl stop ntpd
systemctl disable ntpd
Linux集群的NTP服務器時間同步
我們搭建集群環境的時候,時間必須是要統一的,才能保證集群數據的一致性。
一般操作是直接使用NTP,跟默認的時間服務器同步,但是最好還是讓所有節點跟集群中的某台作為時間服務器的節點同步。
步驟:(節點有NameNode1,NameNode2,DataNode1,DataNode2,DataNode3)
- 選擇一台服務器作為時間服務器。(DataNode1做為時間服務器)
- 使用root用戶,查看服務器是否安裝ntp服務
rpm -qa|grep ntp
沒有安裝的話使用yum install進行安裝。
- 修改文件 /etc/ntp.conf,一共修改三處內容:
- ①將#去掉。並且將網段修改正確。
restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap
- ②將以下4個server進行#注釋掉
#server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.org iburst #server 3.centos.pool.ntp.org iburst
-
③最后添加倆句話:
server 127.127.1.0 #local clock fudge 127.127.1.0 stratum 10
- 編輯etc/sysconfig/ntpd文件
# Drop root to id 'ntp:ntp' by default. SYNC_HWCLOCK=yes OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -g"
-
啟動ntpd服務,並且設置開機啟動
systemctl start ntpd.service systemctl enable ntpd.service
- 每個需要同步的子節點進行確認有沒有ntp。如果沒有的話就安裝下。
- root賬戶下在每個需要同步的子節點編寫crontab任務(crontab -e)。這個任務的意義就是每10分鍾和master01同步下服務器時間。
0-59/10 * * * * /usr/sbin/ntpdate master01.timer.cn
附:
1.作為時間服務器的節點的時間校准可以是人工指定(不與其他集群協作的情況下),也可以是跟其他組織的時間服務器同步
這里只說第二種情況。首先要確認當前服務器的時區
將時區設為上海
rm -rf /etc/localtime ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
然后通過定時任務,與阿里雲的時間服務器 ntp1.aliyun.com 同步(方法同上面第10步,ntp1~ntp7)
2.不同操作系統之間也是可以做時間同步的。linux與windows之間同步是沒問題的。
ssh免密登錄
ssh-keygen -t rsa ssh-copy-id master
關閉Selinux,所有機器
vim /etc/sysconfig/selinux
selinux=disalbed
關閉防火牆
systemctl stop firewalld
systemctl disable firewalld
安裝jdk
# mkdir /usr/local/jdk # tar -xvf jdk-8u131-linux-x64.tar.gz -C /usr/local/jdk/ # vim /etc/profile export JAVA_HOME=/usr/local/jdk/jdk1.8.0_131 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin # source /etc/profile # java -version
設置本地源
在ambari.server上配置httpd服務:
# yum install -y httpd
httpd-2.4.6-80.el7.centos.x86_64.rpm httpd-tools-2.4.6-80.el7.centos.x86_64.rpm httpd-manual-2.4.6-80.el7.centos.noarch.rpm mod_ssl-2.4.6-80.el7.centos.x86_64.rpm libtirpc-devel-0.2.4-0.10.el7.x86_64.rpm libtirpc-0.2.4-0.10.el7.x86_64.rpm openssl-1.0.2k-12.el7.x86_64.rpm openssl-libs-1.0.2k-12.el7.x86_64.rpm mailcap-2.1.41-2.el7.noarch.rpm apr-1.4.8-3.el7_4.1.x86_64.rpm apr-util-1.5.2-6.el7.x86_64.rpm
啟動
httpd
配置本地centos源
掛載
[root@master upload]# mkdir /var/www/html/centos7
[root@master upload]# mount CentOS-7-x86_64-DVD-1511.iso /var/www/html/centos7/
把下載到的3個資源文件,上傳到ambari.server,並解壓到制定目錄:
# mkdir /var/www/html/ambari-hdp
# mkdir /var/www/html/ambari-hdp/HDP-UTILS
# tar -xvf ambari-2.2.1.0-centos7.tar.gz -C /var/www/html/ambari-hdp/ # tar -xvf HDP-2.4.0.0-centos7-rpm.tar.gz -C /var/www/html/ambari-hdp/ # tar -xvf HDP-UTILS-1.1.0.20-centos7.tar.gz -C /var/www/html/ambari-hdp/HDP-UTILS
啟動httpd服務:
# systemctl start httpd
通過瀏覽器訪問本地資源地址,如果能看到以下頁面,則表示配置成功:
7. 配置Yum本地Repos資源池
在ambari.server上執行:
# yum install -y yum-plugin-priorities
a) 修改Yum安裝源的校驗
# vi /etc/yum/pluginconf.d/priorities.conf
#設置為以下內容
[main] enabled=1 gpgcheck=0
b) 制作本地資源文件
創建Ambari、HDP、HDP-UTIL資源文件:
- ambari.repo:
[ambari-2.2.1.0] name=ambari-2.2.1.0 baseurl=http://192.168.141.159/ambari-hdp/AMBARI-2.2.1.0/centos7/2.2.1.0-161 gpgcheck=0 gpgkey=http://192.168.141.159/ambari-hdp/AMBARI-2.2.1.0/centos7/2.2.1.0-161/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1
- hdp.repo
[HDP-2.4.0.0] name=Hortonworks Data Platform Version - HDP-2.4.0.0 baseurl=http://192.168.141.159/ambari-hdp/HDP/centos7/2.x/updates/2.4.0.0 gpgcheck=0 gpgkey=http://192.168.141.159/ambari-hdp/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1
- hdp-util.repo
[HDP-UTILS-1.1.0.20] name=Hortonworks Data Platform Version - HDP-UTILS-1.1.0.20 baseurl= http://192.168.141.159/ambari-hdp/HDP-UTILS-1.1.0.20/repos/centos7 gpgcheck=0 enabled=1 priority=1
制作完成后,移動到/etc/yum.repos.d/;依次執行以下命令,更新本地資源池:
# yum clean list # yum update list # yum makecache
等待更新完畢后,查看資源池:
# yum repolist
如果看到以下資源,表示配置成功:
安裝基礎包
yum install libtirpc-0.2.4-0.10.el7.x86_64.rpm libtirpc-devel-0.2.4-0.10.el7.x86_64.rpm
安裝mysql
rpm -Uvh mysql-community-release-el7-5.noarch.rpm
yum install mysql-community-client-5.6.40-2.el7.x86_64.rpm mysql-community-common-5.6.40-2.el7.x86_64.rpm mysql-community-libs-5.6.40-2.el7.x86_64.rpm mysql-community-server-5.6.40-2.el7.x86_64.rpm perl-DBI-1.627-4.el7.x86_64.rpm perl-Net-Daemon-0.48-5.el7.noarch.rpm perl-PlRPC-0.2020-14.el7.noarch.rpm perl-Data-Dumper-2.145-3.el7.x86_64.rpm perl-IO-Compress-2.061-2.el7.noarch.rpm perl-Compress-Raw-Bzip2-2.061-3.el7.x86_64.rpm perl-Compress-Raw-Zlib-2.061-4.el7.x86_64.rpm net-tools-2.0-0.22.20131004git.el7.x86_64.rpm node2 mysql安裝完成,還一直出錯,刪除mysql本地源可解決
用到的資源:
ambari下載地址:https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.1.0/bk_ambari-installation/content/hdp_26_repositories.html
centos7鏡像源:http://mirrors.163.com/centos/7/os/x86_64/Packages/
mysql下載地址:https://dev.mysql.com/downloads/
常見問題:
SSLError: Failed to connect. Please check openssl library versions
JDK版本不匹配
To use MySQL with Hive, you must download the MySQL Connector/J JDBC Driver from MySQL. Once downloaded to the Ambari Server host, run:
ambari-server setup --jdbc-db=mysql --jdbc-driver=/path/to/mysql/mysql-connector-java.jar
配置本地centos源,禁用其他源
修改兩個文件名稱
42a80e759522768b2cc357553bb64bd7345b06abeb60187f881089b859a63454-primary.sqlite.bz2
436345f4b666f0a461d479ccfabc2c22823d4f2173c2653e5250fea62f0afe98-c7-x86_64-comps.xml.gz
卸載現有版本
# yum erase libtirpc-0.2.4-0.6.el7.x86_64
安裝匹配版本
# yum localinstall libtirpc-0.2.4-0.8.el7.x86_64.rpm
# yum localinstall libtirpc-devel-0.2.4-0.8.el7.x86_64.rpm
升級openssl
rpm -Uvh openssl-1.0.2k-12.el7.x86_64.rpm openssl-libs-1.0.2k-12.el7.x86_64.rpm
降低python版本
yum downgrade XXX XXX
網卡地址:
vi /etc/sysconfig/network-scripts/ifcfg-ens32
重啟網卡
service network restart
dns
vi /etc/resolv.conf
*No package found for hadoop_${stack_version}(hadoop_(\d|_)+$)
# yum remove hadoop_2_6_4_0_91* zookeeper_2_6_4_0_91*