idea連接hadoop集群


准備文件

1.將hadoop-2.6.0.rar壓縮包解壓
2.增加系統變量HADOOP_HOME,變量值為hadoop-2.6.0.rar壓縮包解壓所在的目錄 

3.在系統變量中對變量名為PATH的系統變量追加變量值,變量值為 %HADOOP_HOME%/bin

4.解壓下載的winutils,找到對應或鄰近版本的Hadoop,進入其bin目錄,將其中的hadoop.dll和winutils.exe拷貝到C:\Windows\System32目錄

5.依次點擊“File”→“Settings”,在彈出的頁面左側依次點擊“Build, Execution, Deployment”→“Build Tools”→“Maven”,勾選User Settings File和Local repository的Override選項

 

 6.將下載的settings.xml文件拷貝到C:\Users\Lenovo.m2(每個人根據上圖方框內的路徑查找是否有該文件,若有,則覆蓋原文件,若無,則直接拷貝到該目錄)目錄,可將IDEA中maven修改為阿里鏡像

7.打開IDEA,依次點擊“File”→“New”→“Project”,點擊左側Maven,勾選上方“Create from archetype”,在下方列表中選擇org.apache.maven.archetypes:maven-archetype-quickstart,點擊“Next”

 

 

8.GroupId和ArtifactId自行填寫,填寫完畢后點擊“Next”

 

 

9.勾選User Settings File和Local repository的Override選項,更改Local repository為其他路徑,建議該路徑有較大容量,點擊“Next”

 

 

10.填寫項目名,選擇項目存儲路徑,點擊“Finish”

此時,一些Maven工程會被加載到項目中,若左側Project框內無src文件夾,等待Maven工程下載完畢
11.在Project框中src/main目錄中新建目錄resources

12.將遠程集群的Hadoop安裝目錄下hadoop/hadoop-2.7.7/etc/hadoop目錄下的core-site.xml、hdfs-site.xml兩個文件通過Xftp等SFTP文件傳輸軟件將兩個文件復制,並移動到上述src/main/resources目錄中(拖拽即可),然后將下載的log4j.properties文件移動到src/main/resources目錄中(防止不輸出日志文件)

 

 

13.使用下載的pom.xml文件覆蓋項目本身的pom.xml文件(直接拖拽即可),該文件中的一些版本號(比如JDK、Hadoop等)修改為自己電腦中對應的版本(不修改似乎也可正常運行)

14.下面是遇到的問題:

 

 

15.參考:

https://blog.csdn.net/weixin_42278880/article/details/102551408


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM