hadoop入門篇---超詳細hadoop服務器環境配置教程


虛擬機以及Linux系統安裝在之前的兩篇分享中已經詳細的介紹了方法,並且每一步的都配圖了。如果有朋友還是看不懂,那我也愛莫能助了。本篇主要就hadoop服務器操作系統配置進行詳細說明,hadoop安裝會在下一篇文章中詳細的介紹。

hadoop安裝包用的是大快DKHadoop發行版,個人覺得DKHadoop的安裝過程是比較簡單,關於dkhadoop的安裝在下一次的分享中再詳細介紹吧。下面進入到本篇的主題——服務器操作系統配置教程

 一、安裝包准備

1、虛擬機分布式安裝(三台及以上虛擬機)

若是個人電腦Windows系統或Linux系統,虛擬機上虛擬的三台服務器,則將安裝包拷貝到服務器上,進行安裝操作即可。

2、物理集群(三台及以上實體服務器)

1、 外網下載模式

2、 本地文件模式

將安裝包文件直接拷貝到實體服務器root目錄下,進行安裝操作即可。

3、上傳模式

當服務器在機房,且無顯示和輸入設備的情況下,應用該模式。

現將文件,安裝在本地計算機上(默認為筆記本電腦,在機房現場),並將計算機與服務器連接,將安裝包install、DKHInstall上傳到服務器root目錄下。

 

二、服務器操作系統配置教程

准備工作完成之后,就要進行服務器配置操作,首先必須三台服務器之間要互相ping通。所謂ping通,就是兩台設備之間網絡是通的。從一端發送一個數據包,另一端就能夠收到,就代表兩台設備是能夠ping通了。

1、修改權限

目的:使install、DKHInstall兩個安裝包有可執行的權限。權限不足無法執行一些操作。install里面是腳本和所有組件,DKHInstall里面是安裝界面。

步驟:在准備工作中拷貝安裝包 install、DKHInstall到主節點目錄后,修改文件權限。首先進入root目錄,安裝目錄 install、DKHInstall的權限改為:文件所有者可讀可寫可執行,與文件所有者屬於一個用戶組的其他用戶可讀可執行,其他用戶組可讀可執行。

命令:

cd /root/

unzip DKHPlantform.zip

chmod -R 755 DKHPlantform

2、 搭建Hadoop集群設置SSH免密登錄

目的:Hadoop運行過程中需要管理遠端Hadoop守護進程,在Hadoop啟動以后,NameNode是通過SSH(Secure Shell)來啟動和停止各個DataNode上的各種守護進程的。這就必須在節點之間執行指令的時候是不需要輸入密碼的形式,所以我們需要配置SSH運用無密碼公鑰認證的形式,這樣NameNode使用SSH無密碼登錄並啟動DataName進程,同樣原理,DataNode上也能使用SSH無密碼登錄到NameNode。

步驟:

(1)修改本機hosts文件,寫入對應關系

為了區分局域網內的每台主機,都會給主機配一個主機名,每台主機之間又是通過IP進行通信,但IP地址不方便記憶,所以配置主機名和IP映射能夠實現主機之間的快速方便的訪問。

命令:

vi /etc/hosts

通過按鍵盤上的insert或是I鍵進入編輯模式,編輯完成后按一下Esc鍵然后按一下按Shift+: 鍵,輸入wq,后回車就可以保存。輸入q!后回車則是放棄保存並退出.

進入編輯模式后,按照規則寫入主機與ip的對應關系(主機名稱dk41是自己命名的,如下圖)例:

   192.168.1.41    dk41

192.168.1.42    dk42

192.168.1.43    dk43

編輯完后,保存退出。把對應關系拷到其他兩台或多台機器上。

命令:

scp  -r  /etc/hosts  192.168.1.42:/etc

scp  -r  /etc/hosts  192.168.1.43:/etc

(2)執行集群之間免密前的准備工作   

執行sshpass.sh的腳本的時候會去讀sshhosts和sshslaves這兩個文件,替換sshpass.sh中的master和slave文件。                                                                                           

修改文件sshhosts,輸入全部機器的主機名,每行一個主機名(如下圖)

命令:

vi /root/DKHPlantform/autossh/sshhosts

通過按鍵盤上的insert或是I鍵進入編輯模式,編輯完成后按一下Esc鍵然后按一下按Shift+:鍵,輸入wq,后回車就可以保存。輸入q!后回車則是放棄保存並退出.

 

 

修改文件sshslaves,寫入除主機名之外的所有機器名(如下圖)

命令:

vi /root/DKHPlantform/autossh/sshslaves

通過按鍵盤上的insert或是I鍵進入編輯模式,編輯完成后按一下Esc鍵然后按一下按Shift+:鍵,輸入wq,后回車就可以保存。輸入q!后回車則是放棄保存並退出.

 

(3)執行集群免密工作

命令:

cd /root/DKHPlantform/autossh

./autossh 主節點主機名 集群密碼

例: ./autossh dk41 123456

(4)關閉防火牆

防止訪問服務器時某些服務被攔截,需關閉防火牆。

命令:

cd /root/DKHPlantform/autossh

./offIptables.sh

 

 

3、 安裝雙機熱備份的MySQL

目的:存放Hive的元數據

步驟:

(1)從主節點分發mySQL安裝目錄到第二節點

命令:

scp -r /root/DKHPlantform/mysqlInst/ 192.168.1.42:/root/

2)主節點執行:

命令:                                                                                                                                 

cd /root/DKHPlantform/mysqlInst/

./mysql.sh 1

從節點執行:

命令:

cd /root/mysqlInst/

./mysql.sh 2

 

3)執行成功之后執行熱備份(兩台機器上都要執行,兩個ip互換,41上寫42,42上寫41,密碼是MySQL的密碼為:123456。平台內已經設定好,請勿修改):

命令:

source /etc/profile

./sync.sh 192.168.1.xxx(另一台mysql地址)

4、 創建數據庫

目的:MySQL是一種關聯數據庫管理系統,關聯數據庫將數據保存在不同的表中,增加了速度並提高了靈活性。

步驟:

(1)導入MySQL數據表,只在主節點執行:

命令:

mysql -uroot -p123456 < { 此處為sql文件,主目錄下文件: dkh.sql}

如:mysql -uroot -p123456 </root/DKHPlantform/dkh.sql

(2)執行完后查看一下兩台mysql的數據表是否存在,從主節點中查看執行:

命令:

mySQL  -uroot  -p123456
show databases;

use dkh;

show tables;

 

5、啟動安裝

目的:服務器配置操作完成之后,啟動DKH。

步驟:執行以下命令。

命令:

cd /root/DKHPlantform/dkh-tomcat*/bin/

./startup.sh

6、本地時間服務器搭建步驟

沒聯網或者裝系統時時間未同步,需要搭建本地時間服務器。

1)搭建內網的ntp服務器

修改/etc/ntp.conf

命令:

Vim /etc/ntp.conf

通過按鍵盤上的insert或是I鍵進入編輯模式,編輯完成后按一下Esc鍵然后按一下Shift+:鍵,輸入wq后回車就可以保存。輸入q!后回車則是放棄保存並退出.

修改下列三行:

#server 0.centos.pool.ntp.org  

#server 1.centos.pool.ntp.org  

#server 2.centos.pool.ntp.org  

 在文件最后添加下列兩行:

server  127.127.1.0   

fudge   127.127.1.0 stratum 10

2)啟動ntp服務

service ntpd start

3)開機自動啟動

chkconfig ntpd on

4)客戶端同步時間

命令:

Vim /etc/ntp.conf

通過按鍵盤上的insert或是I鍵進入編輯模式,編輯完成后按一下Esc鍵然后按一下Shift+:鍵,輸入wq,后回車就可以保存。輸入q!后回車則是放棄保存並退出.

在文件最后添加一行:

*/15 * * * * root ntpdate 192.168.27.35;hwclock -w 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM