機房4台服務器集群網絡配置


主要目標:

可以通過內網系統訪問樓下機房服務器集群,樓下機房只給一個可以訪問外網的IP。

現有條件:

  1. 只有一根可以上外網的網線
  2. 一台交換機
  3. 4台高性能服務器,每台服務器有兩個網口

主要網絡架構設計:

  1. 一台服務器為master節點
  2. 另外三台服務器分別為slave1,slave2,slave3
  3. 四台服務器安裝的操作系統皆為unbuntu server

IP 分布:

  1. master節點eth0: 192.168.223.1 , eth1: 10.1.8.200
  2. slave2節點eth0: 192.168.223.2
  3. slave3節點eth0: 192.168.223.3
  4. slave4節點eth0: 192.168.223.4

網絡分布示意圖:

  

具體服務器配置:

  1. master節點配置ip配置,修改 /etc/network/interfaces 文件, 配置文件如下:
    auto eth0
    iface eth0 inet static
    address 192.168.223.1
    netmask 255.255.255.0
    
    auto eth1
    iface eth1 inet static
    
    address 10.1.8.200
    netmask 255.255.255.0
    gateway 10.1.8.254

    網絡配置文件修改完之后, /etc/init.d/network restart
    或者 service network restart
    如果重啟之后還是不行,則重新啟動服務器。
    網絡重新啟動之后,執行ifconfig命令查看網口配置
    這時,如果出現網口亂名的問題,即網口名字非eth0,eth1,eth2….
    則執行如下配置
    Edit /etc/default/grub and search for the following:

    GRUB_CMDLINE_LINUX_DEFAULT=""
    GRUB_CMDLINE_LINUX=""

    Add biosdevname=0 to the 2 lines:

    GRUB_CMDLINE_LINUX_DEFAULT="biosdevname=0"
    GRUB_CMDLINE_LINUX="biosdevname=0"

    The run

    sudo update-grub

    配置結束之后,重啟服務器, 然后查看 /etc/udev/rules.d/70-persistentnet.rules
    有相關與網口的配置 , 具體請參考網頁http://askubuntu.com/questions/578650/interface-device-name-em1-to-eth0-linux-14-04-lts

    然后,需要配置數據轉發機制。
    master上的eth0與其他slave上的eth0都通過交換機形成了一個192.168.223.0網段的一個內網。內網中的服務器全部可以互相訪問。現在只有一個eht1網口用於上網。需要建立轉發路由規則:

     

    進入終端, 開啟路由功能,

    echo "1" > /proc/sys/net/ipv4/ip_forward

    這里echo時如果sudo權限不行,轉入root權限操作,接着依次輸入下列命令:

    sudo iptables -F
    sudo iptalbes -P INPUT ACCEPT
    sudo iptalbes -P FORWARD ACCEPT
    sudo iptables -t nat -A POSTROUTING -o eth1 -j MASQUERADE

    iptables -F 命令是刪除原有的路由配置(這條命令不要隨意操作,如果你原來的配置是iptables -P INPUT DROP, 那么你的遠程連接很有可能斷開)
    正確查看路由的命令是:

    sudo iptables -L -n

    如果sudo iptalbes -F 這條命令無效,則改換成下面這條命令:

    sudo iptalbes -F  -t  nat

    但是以上配置都是臨時配置,一旦服務器關機就失效了,所以,需要將以上修改寫入 /etc/rc.local文件中。

  2. slave節點配置 slave節點配置基本相同,如以下slave2節點配置
    修改 /etc/network/interfaces如下
    auto lo
    iface lo inet loopback
    
    auto eth0
    iface eth0 inet static
    address 192.168.223.2
    netmask 255.255.255.0
    gateway 192.168.223.1

    配置文件寫好之后,執行生效如前所述
    其他slave節點ip配置全部按照該節點配置。

配置完成之后:

所有節點配置完成之后,在每台服務器上配置ssh-server,unbutun server版本是默認配置ssh-client版本 

對每個服務器執行以下命令(這個時候每台服務器是聯網的)

sudo apt-get intall update

為了提高下載時的速度,需要修改下載源
進入/etc/apt/sources.list,將所有 http://cn.archive.ubuntu.com/ubuntu/

改成 http://mirrors.ustc.edu.cn/ubuntu/

中科大的下載源速度還是很快的.

更換源之后,執行以下兩條命令:

sudo rm /var/lib/apt/lists/* -vf
sudo apt-get update

將緩存的信息去掉

額外配置(方便部署Hadoop集群)

  1. 修改每台主機的 /etc/hosts, hosts內容如下(slave1這行是專門添加的):
    master 192.168.223.1
    slave1 192.168.223.1
    slave2 192.168.223.2
    slave3 192.168.223.3
    slave4 192.168.223.4

  2. 為每台主機主機同名的 sudo 用戶 hadoop (以后可能會用到),密碼用 haike@99,刪除原來的用戶 master, slave*,使用hadoop用戶,在每台機器上執行(使用一般用戶權限)
    ssh-keygen
    ssh-copy-id master
    ssh-copy-id slave2
    ssh-copy-id slave3
    ssh-copy-id slave4

    這樣可以使用hadoop用戶不需要密碼就可以訪問其他機器上的hadoop用戶,使用ssh slave* 命令。

  3. 修改每台主機 /etc/default/locale文件, 內容改為
    LANG=en_US.UTF-8
    LANGUAGE=en_US:en
    LC_NUMERIC=”en_US”
    LC_TIME=”en_US”
    LC_MONETARY=”en_US”
    LC_PAPER=”en_US”
    LC_NAME=”en_US”
    LC_ADDRESS=”en_US”
    LC_TELEPHONE=”en_US”
    LC_MEASUREMENT=”en_US”
    LC_IDENTIFICATION=”en_US”
    修改完后執行
    sudo locale-gen en_US en_US.UTF-8
    sudo dpkg-reconfigure locales
    具體請參考
    http://ubuntuforums.org/showthread.php?t=1346581
    如果安裝的是中文環境,請進行修改。英文環境不用修改.

  4. 給其他人添加用戶時,可以去/etc/sudoers, 增加該用戶的sudo權限。

  5. 修改DNS服務器,可以去/etc/resolv.conf,
nameserver 114.114.114.114

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM