hadoop集群的規划和搭建


1.操作系統版本:CentOS 6

    CM版本:CM5.x

    CDH版本:CDH5.x

2.安裝操作系統,對系統盤做 RAID1;

配置靜態IP、hostname信息:vim /etc/sysconfig/network-scripts/ifcfg-eth0

 並配置所有節點的靜態DNS解析: vim /etc/hosts

若啟用集群的Kerberos認證功能,則一定要配置集群的DNS域名,可以是假域名:vim /etc/sysconfig/network,  /etc/hosts處主機名也要加帶域名的主機名,如:     192.168.0.3  sb-node1.example.com    sb-node1

如果機器配置有雙網卡,可以做雙網卡綁定

關閉並禁用iptables:

   service iptables stop

   chkconfig iptables off 

關閉SELinux       

echo "SELINUX=disabled" > /etc/sysconfig/selinux

重啟網絡服務  /etc/init.d/network restart

啟用nscd(DNS緩存)

yum install -y nscd

service nscd start

chkconfig nscd on

修改transparent_hugepage參數,這個參數默認值可能會導致CDH性能下降

#在/etc/rc.local中增加一行     echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

若kernel版本在.6.32-303之前的版本,關閉內存頁面交換,因為某些情況下會導致CDH性能下降

vim /etc/sysctl.conf    增加一行 vm.swappiness=0

sudo sysctl vm.swappiness=0

在要作為repo庫的節點上安裝畢業軟件,含http服務和repo創建工具

yum install createrepo

yum install httpd

service httpd start

chkconfig httpd on

磁盤划分....

角色划分.....

**詳細見CDH集群的企業部署


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM