從零自學Hadoop(04):Linux准備下


閱讀目錄

本文版權歸mephisto和博客園共有,歡迎轉載,但須保留此段聲明,並給出原文鏈接,謝謝合作。

文章是哥(mephisto)寫的,SourceLink

 

  我們已經准備好了網絡訪問,防火牆,Hosts,SSH等設置,下面我們根據上篇中的檢查列表處理下剩下的內容,包括yum,時間同步,本地倉庫等。

  我們開始吧。

搭建環境

一:檢查yum,出現了列表就說明已經安裝。

rpm -qa|grep yum

二:修改yum源

  由於國內網絡的情況,所以盡量還是找點國內的鏡像,或者比較快的國外鏡像。

  目前俺只找到一個源還行(上海交通大學的),不過大家有好的源,還是分享出來吧。

#進入目錄
cd /etc/yum.repos.d/
#列表
ls -al

  在這里我們就修改CentOS-Base.repo就可以了。

  將原來的注釋掉,然后加入baseurl=http://ftp.sjtu.edu.cn/centos/$releasever/os/$basearch/

vim CentOS-Base.repo

三:H30時間服務器安裝

  這里需要安裝時間服務器,其他的服務器通過這個來進行多機器時間的同步。

yum install ntp

  配置ntp.conf

vim /etc/ntp.conf

  將H30的本地時鍾作為時間供給源,這樣,即便它失去網絡連接,它也可以繼續為網絡提供服務。

server 127.127.1.0
fudge 127.127.1.0 stratum 10

  如果集群是在一個封閉的局域網內,可以屏蔽掉默認的server。

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

  [restrict]參數設定方式:
  restrict [address] mask [netmask_ip] [parameter]
  其中parameter的參數主要有:
    ignore        :    拒絕所有類型的ntp連接
    nomodify    :    客戶端不能使用ntpc與ntpq兩支程式來修改服務器的時間參數
    noquery        :    客戶端不能使用ntpq、ntpc等指令來查詢服務器時間,等於不提供ntp的網絡校時
    notrap        :    不提供trap這個遠程時間登錄的功能
    notrust        :    拒絕沒有認證的客戶端
    nopeer        :    不與其他同一層的ntp服務器進行時間同步

restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

  這一行的含義是授權192.168.1.0網段上的所有機器可以從這台機器上查詢和同步時間。這里的配置涉及到了一些網絡知識。 對於第一個參數[address] 它可能是一個IP,也可能是一個網段,這取決於后面給出的子網掩碼。如果這里的子網掩碼是255.255.255.255,那么配置就變成了只授權給IP是192.168.1.0的那一台機器連接!但是這里子網掩碼是255.255.255.0,則此時的192.168.1.0就是一個網絡標識了!它代表的是這樣一個網段:192.168.1這個網段了。

  啟動ntp服務

#啟動
service ntpd start
#開機啟動
chkconfig ntpd on
#狀態
service ntpd status

四:其他客戶機配置

  安裝

  修改ntp.conf

  手動同步時間

  這里暫時不要開ntpd服務,開了就不能手動同步了,因為使用同一個端口。

ntpdate 192.168.1.30

這里出一個思考題,學習得舉一反三,掌握基本的原理,其他的只是組合搭配了。

  ntpdate H30 行不行得通。

注:這里可以使用-u這樣,就不用停止ntpd服務。就可以同步時間。

ntpdate -u 192.168.1.30

  然后,我們開啟服務

#開啟服務
service ntpd start
#開機啟動
chkconfig ntpd on

  檢查狀態

ntpstat

ntpq -p

  這兩個命令都可以查看是否與H30同步了。

watch ntpq -p

   這樣,我們的時間同步就做到位了。

五:H30搭建本地倉庫

  那些庫文件都不小,而且從yum上下,很多都不穩定,下的你開始懷疑自己的智商,所以,作為生產環境,我們還是辛苦點,一部到位,做個屬於我們自己的本地倉庫。

  本篇下面的內容均是介紹本地倉庫的搭建。這次我們搭建的是基於html的本地倉庫。

六:安裝httpd服務

  httpd是Apache超文本傳輸協議(HTTP)服務器的主程序。被設計為一個獨立運行的后台進程,它會建立一個處理請求的子進程或線程的池。

yum install httpd
service httpd start
chkconfig httpd on

  我們打開瀏覽器,輸入192.168.1.30

  這樣說明httpd服務正常運行。

七:安裝createrepo

yum install createrepo

八:安裝yum-utils

yum install yum-utils

九:拷貝資源文件

  通過Xftp4將文件copy到/var/www/html/hdp目錄,如果沒有該目錄,創建。

cd /var/www/html
ls -al
#創建hdp目錄
mkdir hdp

  開始Copy,這里使用的都是最新的hdp和ambari,大家是不是開始激動了。

  這里主要是HDP-2.3.0.0-centos6-rpm.tar和HDP-UTILS-1.1.0.20-centos6.tar要拷貝進來,劇透下,后面我們使用ambari安裝的時候,需要這兩個庫。

十:解壓縮文件

tar zxvf HDP-2.3.0.0-centos6-rpm.tar.gz 

tar zxvf HDP-UTILS-1.1.0.20-centos6.tar.gz

  我們可以明顯的看到多了兩個綠色的目錄。

十一:創建基於html的創建源

  在html的目錄下,執行

createrepo hdp

  執行完成后,我們可以看到hdp目錄會多一個repodata的新目錄。

-------------------------------------------------------------------------------

  到此,我們這部分內容暫時落幕,剩下的本地庫的留到下一章節補充完善。

 

 

系列索引

  【源】從零自學Hadoop系列索引

 

 

 

 

本文版權歸mephisto和博客園共有,歡迎轉載,但須保留此段聲明,並給出原文鏈接,謝謝合作。

文章是哥(mephisto)寫的,SourceLink

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM