【1】64為win7系統,用virtualbox建立linux虛擬機時,為什么沒有64位的選項? 百度
【3】VirtualBox虛擬機網絡環境解析和搭建-NAT、橋接、Host-Only、Internal、端口映射 (設置網絡連接模式為橋接模式)
如果出現主機無法ping通虛擬機的情況,請首先確認虛擬機防火牆已關閉。(win7防火牆怎么關防火牆關閉命令執行步驟)
【4】virtualbox以及相應VBoxGuestAdditions下載地址: http://download.virtualbox.org/virtualbox
【7】深刻認識linux系統 細說linux掛載——mount,及其他……
【8】centos命令大全
注意:
主機基本環境搭建
(1)sudo yum -y install wget 安裝wget工具 百科yum 以及RPM Fusion
(2)下載jdk的包 wget -c -P /root/Downloads --no-check-certificate http://download.oracle.com/otn-pub/java/jdk/7u71-b14/jdk-7u71-linux-x64.rpm 參考帖子
(3)4種安裝jdk文件的方法
jdk1.7官方下載 hadoop下載 下載Hadoop版本:http://mirror.bit.edu.cn/apache/hadoop/common/
采用其中一種yum安裝
yum search java|grep jdk
yum install java-1.7.0-openjdk
vi /etc/profile
卸載yum安裝的openjdk 卸載注意事項1 卸載注意事項2
(4)http://blog.csdn.net/bruceyang2009lzu/article/details/28595571
(5)修改主機名:
hostname XXXX
這樣臨時生效
/etc/hostname 修改這個是永久的,但是要重啟生效
(6)linux命令重啟主機后修改名稱生效
shutdown -r now : 表示現在重啟計算機!
(7)配置hosts文件,配置時注意事項
實踐腳本:
##最初采用yum安裝的jdk,但安裝openjdk后,發現安裝的目錄下缺少dt.jar和tools.jar文件,
##於是卸載openjdk,用xftp上傳jdk-7u79-linux-x64.rpm至指定的目錄
##jdk默認安裝在了/usr/java目錄下
rpm -qa | grep openjdk
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.111-2.6.7.2.el7_2.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.2.el7_2.x86_64
rpm -e jdk-1.7.0_79-fcs
##############安裝JDK
rpm -ivh jdk-7u79-linux-x64.rpm
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
touch HelloWorld.java
vi HelloWorld.java
將以下代碼復制到 HelloWorld.java 中 :
public class HelloWorld {
public static void main(String[] args) {
System.out.println("Hello, World! This is a test code by nixCraft!");
}
}
復制進去后,保存關閉文件。編譯和運行這個小程序,輸入以下命令:
javac HelloWorld.java
java HelloWorld
會得到以下顯示:
Hello, World! This is a test code by nixCraft!
#################安裝SSH
rpm -qa |grep openssh
rpm -qa |grep rsync
yum install ssh 安裝SSH協議
yum install rsync (rsync是一個遠程數據同步工具,可通過LAN/WAN快速同步多台主機間的文件)
service sshd restart 啟動服務
ssh免密碼驗證配置
首先在S1PA11機器配置(該機器是master)
進去.ssh文件: [spark@S1PA11 sbin]$ cd ~/.ssh/
生成秘鑰 ssh-keygen : ssh-keygen -t rsa ,一路狂按回車鍵就可以了
最終生成(id_rsa,id_rsa.pub兩個文件)
生成authorized_keys文件:[spark@S1PA11 .ssh]$ cat id_rsa.pub >> authorized_keys
在另一台機器S1PA222(slave機器)也生成公鑰和秘鑰
步驟跟S1PA11是類似的
進去.ssh文件: [spark@S1PA11 sbin]$ cd ~/.ssh/
生成秘鑰 ssh-keygen :ssh-keygen -t rsa ,一路狂按回車鍵就可以了
最終生成(id_rsa,id_rsa.pub兩個文件)
將S1PA222機器的id_rsa.pub文件copy到S1PA11機器:[spark@S1PA222 .ssh]$ scp id_rsa.pub spark@10.58.44.47:~/.ssh/id_rsa.pub_sl
此切換到機器S1PA11 合並authorized_keys; [spark@S1PA11 .ssh]$ cat id_rsa.pub_sl >> authorized_keys
將authorized_keyscopy到S1PA222機器(/home/spark/.ssh):[spark@S1PA11 .ssh]$ scp authorized_keys spark@10.126.45.56:~/.ssh/
現在講兩台機器 .ssh/ 文件夾權限改為700,authorized_keys文件權限改為600(or 644)
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
OK 完成以上操作后 可以開始ssh驗證了
S1PA11j機器sshS1PA222
[spark@S1PA11 .ssh]$ ssh S1PA222
Last login: Mon Jan 5 15:18:58 2015 from s1pa11
[spark@S1PA222 ~]$ exit
logout
Connection to S1PA222 closed.
###############hadoop環境變量安裝和卸載
cp /usr/lusq/hadoop-2.7.3-src.tar.gz /home/hadoop
tar -zxvf hadoop-2.7.3-src.tar.gz
vi /etc/profile 編輯環境變量
# set hadoop path
export HADOOP_HOME=/usr/lusq/hadoop
export PATH=$PATH :$HADOOP_HOME/bin
source /etc/profile 使環境變量生效
(小插曲:
在設置環境變量時,編輯profile文件沒有寫正確,導致在命令行下 ls等命令不能夠識別。
export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin
這樣可以保證命令行命令暫時可以使用。命令執行完之后先不要關閉終端
)
用vi命令對hadoop的配置文件進行編輯。
~/hadoop/etc/hadoop/hadoop-env.sh
~/hadoop/etc/hadoop/yarn-env.sh
~/hadoop/etc/hadoop/slaves
~/hadoop/etc/hadoop/core-site.xml
~/hadoop/etc/hadoop/hdfs-site.xml
~/hadoop/etc/hadoop/mapred-site.xml
~/hadoop/etc/hadoop/yarn-site.xml
###############給剩余的機器安裝
scp -r /usr/lusq/hadoop root@10.10.100.115:/usr/lusq/
###########啟動和驗證
1、格式化namenode: [spark@S1PA11 hadoop-2.6.0]./bin/hdfs namenode -format
2、啟動hdfs: [spark@S1PA11 hadoop-2.6.0]./sbin/start-dfs.sh
3、停止hdfs: [spark@S1PA11 hadoop-2.6.0]./sbin/stop-dfs.sh
[spark@S1PA11 hadoop-2.6.0]jps
###########網頁查看集群
http://10.10.100.105:50070/dfshealth.html#tab-overview