【Hadoop環境配置】Hadoop安裝,配置和試用


1、Hadoop相關網站

1.1 官方網站

Hadoop套件: http://hadoop.apache.org/

Hive工具:http://hive.apache.org/

1.2 國內的鏡像下載服務器

http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.1.2/

http://mirror.bjtu.edu.cn/apache/hive/

1.3 學習文檔

http://hadoop.apache.org/docs/r1.1.2/index.html

 

2 下載和安裝

2.1 源碼下載和編譯

參考手冊中的編譯方法;

2.2 現成軟件包下載安裝

我使用的Ubuntu直接下載了deb包進行安裝,安裝后路徑為:

入口可執行文件路徑: /usr/bin/hadoop

初始化腳本路徑: /usr/libexec/hadoop-config.sh

配置文件路徑: /etc/hadoop 目錄下, 如hadoop-env.sh 等腳本和配置文件

開機啟動相關腳本路徑: /etc/init.d/hadoop-*

 

3 運行測試和排錯

3.1 命令測試

hadoop 顯示了命令幫助

hadoop version 卻遭遇錯誤

$hadoop version
/usr/bin/hadoop: line 320: /usr/lib/jvm/java-6-sun/bin/java: No such file or directory
/usr/bin/hadoop: line 390: /usr/lib/jvm/java-6-sun/bin/java: No such file or directory

 

3.2 排錯和設置java

上面的錯誤的確時沒有那個目錄,只有/usr/lib/jvm/java-6-openjdk-i386/ 對於路徑,故有兩種解決辦法;

方法一,做軟鏈接。構建該sun java目錄:

$sudo ln -s /usr/lib/jvm/java-6-openjdk-i386 /usr/lib/jvm/java-6-sun

方法二,修改配置腳本,設置正確的JAVA_HOME

$sudo vi /etc/hadoop/hadoop-env.sh

打開文件后修改如下的行(第9行),設置JAVA_HOME

# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}

再次測試正常:

$hadoop version
Hadoop 1.1.2
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.1 -r 1440782
Compiled by hortonfo on Thu Jan 31 02:01:30 UTC 2013
From source with checksum c720ddcf4b926991de7467d253a79b8b

 

4 開始設置測試節點

直接參考官方文檔,如有錯誤等疑問和經驗再總結 :)

http://hadoop.apache.org/docs/r1.1.2/single_node_setup.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM