Hadoop集群搭建步驟


實驗性操作是在虛擬機里進行的,除了搭建hadoop本身的操作之外,遇到的其它問題總結如下:

1. 虛擬機掛載windows磁盤: 添加硬件,要保證該硬件此時沒有被讀寫訪問等,因為掛載后,該磁盤在宿主機上就不能用了。啟動虛擬機linux,執行 fdisk –l 查看windows磁盤的分區,如/dev/sdb2,然后執行掛載命令: mount /dev/sdb2 /mnt/win/ 然后就可以到/mnt/win目錄下訪問磁盤上的內容了

2. hadoop啟動時如果報錯,提示JAVA_HOME is not set,請設置好java的環境變量,如果設置了還有提示,那么注意把$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件中的JAVA_HOME=${JAVA_HOME}替換成絕對路徑即可

3. 永久修改linux主機名的方式為,編輯/etc/hostname文件,直接修改,然后將/etc/hosts文件(注意是hosts文件不是host文件)中對應的主機名也改成目標名稱,最后重啟系統即可。此后為了在瀏覽器中方便查看虛擬機中集群的hadoop及yarn后台的web頁面,建議把新主機名與對應的局域網ip在windows的system32/drivers/etc/host文件中作一份映射

4. 在生成免密登錄的ssh_key時,需要在~/.ssh/目錄下創建一個名為“authorized_keys”的文件,然后將密鑰文件(id_rsa.pub)中的內容復制到authorized_keys文件中以進行授權

5. ubuntu中啟用超級用戶的方式是為root用戶分配一個有效的密碼: sudo passwd root

6. 創建用戶

  sudo useradd -m s2 -s /bin/bash

  usermod -G root s2

  adduser s2 sudo

7. 刪除用戶

  userdel s1

  cd /home & rm -rf s1

 

8. 網卡配置

  (1).在windows中將宿主機網卡啟用共享,共享給vmnet8虛擬網卡,手動指定ip,如:192.168.10.1

  (2).選中虛擬客戶機——設置網絡——選擇NAT

  (3). vmware編輯-虛擬網絡編輯器-選擇VMnet8(分配固定ip,不選擇dhcp),可手動指定子網地址和掩碼,如:192.168.10.0/255.255.255.0。點擊“NAT設置”,記住網關或手動分配網關如:192.168.10.2

  (4). 啟動客戶機,ping 192.168.10.2(網關),此時無法ping通。分配永久靜態ip:

  sudo vim /etc/network/interfaces

  文件中,除了lo網卡外,下面的那個一般就是是你當前網卡,如eth0,可做如下配置:  

1 auto eth0
2 iface eth0 inet static
3 address 192.168.10.11
4 gateway 192.168.10.2
5 netmask 255.255.255.0
6 dns-nameservers 114.114.114.114

然后,使網卡配置生效: 

  sudo /etc/init.d/networking restart

再ping網關:ping 192.168.10.2,此時就可以ping通了,當前主機也被分配了192.168.10.11的固定ip地址,可使用ifconfig查看 

  

9. 注意ubuntu server中master節點及slave節點間如果有防火牆導致無法telnet,則防火牆也需要關閉: 參考 linux防火牆,此外,要保證telnet服務是正常啟動的,可以用telnet localhost 23 來測試telnet服務是否正常,若不正常,請參考:linux開啟telnet服務

 

如果datanode節點無法連接master主機的9000端口,請在master主機上,使用netstat –apn | grep 9000 命令檢查該端口是否處於監聽狀態,以及對應的ip地址是不是master的ip地址(有可能被hosts文件改了)

 

詳細搭建步驟參考:

 Hadoop安裝教程_單機/偽分布式配置_Hadoop2.6.0/Ubuntu14.04

 Hadoop集群安裝配置教程_Hadoop2.6.0_Ubuntu/CentOS

 安裝vmtools及設置共享目錄,參考: 在VMWare上搭建centos虛擬機集群

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM