一、虛擬機上安裝ubuntun 13.04 中文版
當然,你要是習慣看英文版,也可以直接安裝英文版。
老老實實從官網下載安裝即可,安裝系統不是本文的重點。這里只提一個注意事項:新手安裝前,切記斷網,因為安裝過程中會聯網下載,默認情況下連接的是美國的服務器,如果網速慢,這一步就可能會耗費幾個小時。斷網后,這里會自動跳過,等安裝好,再設置服務器,選擇國內的服務器更新語言包等其它軟件。
二、安裝 JDK 1.7.0_45
依照從ORACLE官網下載jdk-7u45-linux-x64.tar.gz,然后按下面的命令運行即可:
1、 cd /usr/ (注:進入usr目錄)
2、sudo mkdir /usr/java (注:在usr下創建java目錄)
3、sudo cp /home/jimmy/Downloads/jdk-7u45-linux-x64.tar.gz /usr/java/ (注:將下載的jdk壓縮文件,移動到/usr/java下,這里jimmy是ubuntu的用戶名,這里根據實際情況換成自己的用戶名)
4、sudo tar -zxf jdk-7u45-linux-x64.tar.gz (注:解壓)
5、sudo gedit ~/.bashrc (注:修改根目錄下的bashrc文件,以便設置java環境變量)
在bashrc最后追加以下內容:
export JAVA_HOME=/usr/java/jdk1.7.0_45
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
6、關掉當前的終端窗口,再新開一個終端窗口(以便讓剛才的環境變量起作用)
7、驗證java是否安裝正確
輸入命名:java -version
如果能正確顯示java的版本號,就說明java環境已經具備了
輸入命名:echo $JAVA_HOME
如果能正確顯示JAVA_HOME的路徑,說明環境變量正常
三、安裝 openssh-server
命名:sudo apt-get install openssh-server
(注:單機Standalone模式,這一步可以省略)
四、安裝 hadoop 1.2.1 穩定版
1、先創建hadoop目錄
mkdir hadoop
2、將下載好的hadoop壓縮包移到剛剛創建的目錄下
sudo cp /home/jimmy/Downloads/hadoop-1.2.1.tar.gz hadoop
3、解壓
cd hadoop
sudo tar -zxf hadoop-1.2.1.tar.gz
默認情況下,會解壓至hadoop\hadoop-1.2.1目錄
4、修改hadoop環境變量
sudo chown -R jimmy hadoop-1.2.1 (先取得hadoop-1.2.1的讀寫權限,這里jimmy換成自己的用戶名)
gedit hadoop-1.2.1/conf/hadoop-env.sh (編輯conf下的配置文件)
找到#export JAVA_HOME這一行,去掉注釋,變設置成正確的路徑,即:
# The java implementation to use. Required.
export JAVA_HOME=/usr/java/jdk1.7.0_45
5、驗證hadoop是否正常運行
cd hadoop-1.2.1
bin/hadoop version
正常情況下,會顯示hadoop的版本號之類
6、運行wordcount 示例程序
mkdir input (先創建input目錄)
cp conf/* input (將conf下的所有文件,復制到input目錄下)
bin/hadoop jar hadoop-example-1.2.1.jar wordcount input output (運行wordcount程序,並將結果寫入output目錄下)
cat output/* (查看輸出結果)
后記:以上操作,也適用於mac os、cent os,不過有些細節要注意
mac os上JAVA_HOME的路徑為:/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home
如果找不到java的目錄,但是java -version 又能正常顯示java版本號,可先執行 export JAVA_HOME=`/usr/libexec/java_home`
然后再 echo $JAVA_HOME就能看到當前jdk的路徑了
cent os上apt-get命令要改為 yum
cent os上查看是不是64位:getconf LONG_BIT
hadoop群集配置,可參考 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html