准備文件
- hadoop-2.6.0.rar 提取碼xix0
- winutils下載
- pom.xml 提取碼whau
- settings.xml 提取碼tszl
- log4j.properties 提取碼9rwa
1.將hadoop-2.6.0.rar壓縮包解壓
2.增加系統變量HADOOP_HOME,變量值為hadoop-2.6.0.rar壓縮包解壓所在的目錄
3.在系統變量中對變量名為PATH的系統變量追加變量值,變量值為 %HADOOP_HOME%/bin
4.解壓下載的winutils,找到對應或鄰近版本的Hadoop,進入其bin目錄,將其中的hadoop.dll和winutils.exe拷貝到C:\Windows\System32目錄
5.依次點擊“File”→“Settings”,在彈出的頁面左側依次點擊“Build, Execution, Deployment”→“Build Tools”→“Maven”,勾選User Settings File和Local repository的Override選項
6.將下載的settings.xml文件拷貝到C:\Users\Lenovo.m2(每個人根據上圖方框內的路徑查找是否有該文件,若有,則覆蓋原文件,若無,則直接拷貝到該目錄)目錄,可將IDEA中maven修改為阿里鏡像
7.打開IDEA,依次點擊“File”→“New”→“Project”,點擊左側Maven,勾選上方“Create from archetype”,在下方列表中選擇org.apache.maven.archetypes:maven-archetype-quickstart,點擊“Next”
8.GroupId和ArtifactId自行填寫,填寫完畢后點擊“Next”
9.勾選User Settings File和Local repository的Override選項,更改Local repository為其他路徑,建議該路徑有較大容量,點擊“Next”
10.填寫項目名,選擇項目存儲路徑,點擊“Finish”
此時,一些Maven工程會被加載到項目中,若左側Project框內無src文件夾,等待Maven工程下載完畢
11.在Project框中src/main目錄中新建目錄resources
12.將遠程集群的Hadoop安裝目錄下hadoop/hadoop-2.7.7/etc/hadoop目錄下的core-site.xml、hdfs-site.xml兩個文件通過Xftp等SFTP文件傳輸軟件將兩個文件復制,並移動到上述src/main/resources目錄中(拖拽即可),然后將下載的log4j.properties文件移動到src/main/resources目錄中(防止不輸出日志文件)
13.使用下載的pom.xml文件覆蓋項目本身的pom.xml文件(直接拖拽即可),該文件中的一些版本號(比如JDK、Hadoop等)修改為自己電腦中對應的版本(不修改似乎也可正常運行)
14.下面是遇到的問題:
15.參考:
https://blog.csdn.net/weixin_42278880/article/details/102551408