Linux下搭建hadoop開發環境-超詳細


先決條件:開發機器需要聯網

                         已安裝java

                          已安裝Desktop組

1、上傳安裝軟件到linux上:

wps122A.tmp

2、安裝maven,用於管理項目依賴包:以hadoop用戶安裝apache-maven-3.0.5-bin.zip。

--解壓安裝文件到相應目錄下:

[root@db07 opt]# chown -R hadoop:hadoop /opt/*

[hadoop@db07 opt]# mkdir bd_dev

[hadoop@db07 opt]# cd software/

[hadoop@db07 software]# unzip apache-maven-3.0.5-bin.zip

[hadoop@db07 software]# mv apache-maven-3.0.5 /opt/bd_dev/maven-3.0.5

[hadoop@db07 software]# cd /opt/bd_dev/maven-3.0.5/

--配置環境變量(sudo權限執行以下腳本):

echo "export MAVEN_HOME=/opt/bd_dev/maven-3.0.5"  >> /etc/profile

echo "export PATH=$MAVEN_HOME/bin:$PATH"  >> /etc/profile

source /etc/profile

檢查配置情況:

mvn -version

配置maven倉庫:

[hadoop@db07 ~]$ mkdir ~/.m2/

[hadoop@db07 software]$ tar -zxf repository.tar.gz -C ~/.m2/

[hadoop@db07 .m2]$ cp /opt/bd_dev/maven-3.0.5/conf/settings.xml .

[hadoop@db07 .m2]$ ll

total 16

drwxrwxr-x 56 hadoop hadoop  4096 Jun 24  2015 repository

-rw-r--r--  1 hadoop hadoop 10224 Apr 19 13:35 settings.xml

3、安裝eclipse:hadoop用戶安裝

[hadoop@db07 software]$ tar -zxf eclipse-jee-kepler-SR1-linux-gtk-x86_64.tar.gz -C /opt/bd_dev/

[hadoop@db07 software]$ cd /opt/bd_dev/eclipse/

[hadoop@db07 eclipse]$ ./eclipse                 --啟動eclipse,然后圖形界面配置eclipse

1)啟動后在下圖界面配置workspace工作目錄,我把它放在/opt/bd_dev/workspace目錄下,因為測試環境要部署應用比較多,所以我放置在同一目錄下,方便管理。

wps123A.tmp

2)啟動后界面如下圖所示:

wps123B.tmp

3)因為eclipse啟動要加載很多插件,所以部署后首先去掉無用插件:

點擊Window->preferences,打開下圖界面,並且在搜索欄輸入start,選擇startup and shutdown篩選出啟動配置項,按圖上指示操作后點擊ok應用配置。

wps123C.tmp

4、配置eclipse快捷鍵(Context Assist、Word Completion):在Window->preferences界面下。

wps123D.tmp

wps123E.tmp

5、配置eclipse與maven集成插件:指定maven目錄為我們自己安裝的目錄。

wps124F.tmp

6、至此CentOS 6.5上hadoop開發環境搭建完成了,下一步就要創建工程,如下圖所示:

wps1250.tmp

默認,next:

wps1251.tmp

默認,next:

wps1252.tmp

配置group id、artifact id、version三要素,然后finash完成工程創建:

wps1253.tmp

7、創建開發配置文件目錄(sources folder):

wps1254.tmp

選擇文件位置及配置文件名稱,finash完成source floder創建:

wps1255.tmp

以下內容配置sreources目錄編譯目標目錄:

wps1256.tmp

選擇source->hadoop.hdfs/src/main/resources->output folder:hadoop.hdfs/target/classes,點擊edit選擇目標目錄target/classes,點擊ok完成工程創建。

wps1257.tmp


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM