在虛擬機下安裝hadoop集成環境(centos7+hadoop-2.6.4+jdk-7u79)


【1】64為win7系統,用virtualbox建立linux虛擬機時,為什么沒有64位的選項? 百度

【2】在virtualbox上安裝centos7 

【3】VirtualBox虛擬機網絡環境解析和搭建-NAT、橋接、Host-Only、Internal、端口映射  (設置網絡連接模式為橋接模式)

如果出現主機無法ping通虛擬機的情況,請首先確認虛擬機防火牆已關閉。(win7防火牆怎么關防火牆關閉命令執行步驟

【4】virtualbox以及相應VBoxGuestAdditions下載地址: http://download.virtualbox.org/virtualbox

【5】vbox虛擬機怎么樣克隆多個虛擬機

【6】hadoop學習之hadoop完全分布式集群安裝

【7】深刻認識linux系統  細說linux掛載——mount,及其他……

【8】centos命令大全 

注意:

主機基本環境搭建

(1)sudo yum -y install wget 安裝wget工具 百科yum 以及RPM Fusion

(2)下載jdk的包 wget -c -P /root/Downloads --no-check-certificate http://download.oracle.com/otn-pub/java/jdk/7u71-b14/jdk-7u71-linux-x64.rpm 參考帖子

(3)4種安裝jdk文件的方法

       jdk1.7官方下載  hadoop下載 下載Hadoop版本:http://mirror.bit.edu.cn/apache/hadoop/common/

  采用其中一種yum安裝

   yum search java|grep jdk
   yum install java-1.7.0-openjdk
    vi /etc/profile

卸載yum安裝的openjdk 卸載注意事項1 卸載注意事項2

(4)http://blog.csdn.net/bruceyang2009lzu/article/details/28595571

(5)修改主機名:

hostname XXXX
這樣臨時生效
/etc/hostname 修改這個是永久的,但是要重啟生效

(6)linux命令重啟主機后修改名稱生效

   shutdown -r now : 表示現在重啟計算機!

(7)配置hosts文件,配置時注意事項

實踐腳本:

##最初采用yum安裝的jdk,但安裝openjdk后,發現安裝的目錄下缺少dt.jar和tools.jar文件,
##於是卸載openjdk,用xftp上傳jdk-7u79-linux-x64.rpm至指定的目錄
##jdk默認安裝在了/usr/java目錄下
rpm -qa | grep openjdk
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.111-2.6.7.2.el7_2.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.2.el7_2.x86_64
rpm -e jdk-1.7.0_79-fcs
##############安裝JDK
rpm -ivh jdk-7u79-linux-x64.rpm

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

touch HelloWorld.java
vi HelloWorld.java

將以下代碼復制到 HelloWorld.java 中 :
public class HelloWorld {
public static void main(String[] args) {
System.out.println("Hello, World! This is a test code by nixCraft!");
}
}

復制進去后,保存關閉文件。編譯和運行這個小程序,輸入以下命令:
javac HelloWorld.java
java HelloWorld

會得到以下顯示:
Hello, World! This is a test code by nixCraft!

#################安裝SSH
rpm -qa |grep openssh

rpm -qa |grep rsync

yum install ssh 安裝SSH協議
yum install rsync (rsync是一個遠程數據同步工具,可通過LAN/WAN快速同步多台主機間的文件)
service sshd restart 啟動服務

ssh免密碼驗證配置
首先在S1PA11機器配置(該機器是master)
進去.ssh文件: [spark@S1PA11 sbin]$ cd ~/.ssh/
生成秘鑰 ssh-keygen : ssh-keygen -t rsa ,一路狂按回車鍵就可以了
最終生成(id_rsa,id_rsa.pub兩個文件)
生成authorized_keys文件:[spark@S1PA11 .ssh]$ cat id_rsa.pub >> authorized_keys
在另一台機器S1PA222(slave機器)也生成公鑰和秘鑰
步驟跟S1PA11是類似的
進去.ssh文件: [spark@S1PA11 sbin]$ cd ~/.ssh/
生成秘鑰 ssh-keygen :ssh-keygen -t rsa ,一路狂按回車鍵就可以了
最終生成(id_rsa,id_rsa.pub兩個文件)

將S1PA222機器的id_rsa.pub文件copy到S1PA11機器:[spark@S1PA222 .ssh]$ scp id_rsa.pub spark@10.58.44.47:~/.ssh/id_rsa.pub_sl
此切換到機器S1PA11 合並authorized_keys; [spark@S1PA11 .ssh]$ cat id_rsa.pub_sl >> authorized_keys


將authorized_keyscopy到S1PA222機器(/home/spark/.ssh):[spark@S1PA11 .ssh]$ scp authorized_keys spark@10.126.45.56:~/.ssh/
現在講兩台機器 .ssh/ 文件夾權限改為700,authorized_keys文件權限改為600(or 644)
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

OK 完成以上操作后 可以開始ssh驗證了
S1PA11j機器sshS1PA222
[spark@S1PA11 .ssh]$ ssh S1PA222
Last login: Mon Jan 5 15:18:58 2015 from s1pa11
[spark@S1PA222 ~]$ exit
logout
Connection to S1PA222 closed.

###############hadoop環境變量安裝和卸載
cp /usr/lusq/hadoop-2.7.3-src.tar.gz /home/hadoop
tar -zxvf hadoop-2.7.3-src.tar.gz

vi /etc/profile 編輯環境變量
# set hadoop path

export HADOOP_HOME=/usr/lusq/hadoop
export PATH=$PATH :$HADOOP_HOME/bin

source /etc/profile 使環境變量生效
(小插曲:
在設置環境變量時,編輯profile文件沒有寫正確,導致在命令行下 ls等命令不能夠識別。
export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin
這樣可以保證命令行命令暫時可以使用。命令執行完之后先不要關閉終端
)
用vi命令對hadoop的配置文件進行編輯。
~/hadoop/etc/hadoop/hadoop-env.sh
~/hadoop/etc/hadoop/yarn-env.sh
~/hadoop/etc/hadoop/slaves
~/hadoop/etc/hadoop/core-site.xml
~/hadoop/etc/hadoop/hdfs-site.xml
~/hadoop/etc/hadoop/mapred-site.xml
~/hadoop/etc/hadoop/yarn-site.xml

###############給剩余的機器安裝
scp -r /usr/lusq/hadoop root@10.10.100.115:/usr/lusq/

###########啟動和驗證
1、格式化namenode: [spark@S1PA11 hadoop-2.6.0]./bin/hdfs namenode -format
2、啟動hdfs: [spark@S1PA11 hadoop-2.6.0]./sbin/start-dfs.sh
3、停止hdfs: [spark@S1PA11 hadoop-2.6.0]./sbin/stop-dfs.sh
[spark@S1PA11 hadoop-2.6.0]jps

###########網頁查看集群
http://10.10.100.105:50070/dfshealth.html#tab-overview

 

參考 hadoop2.6.0版本集群環境搭建

       蝦皮網

       一步步教你Hadoop多節點集群安裝配置


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM