【Hadoop學習之五】win7+Eclipse+hadoop3搭建本機開發環境


環境
  虛擬機:VMware 10
  Linux版本:CentOS-6.5-x86_64
  客戶端:Xshell4
  FTP:Xftp4
  jdk8
  hadoop-3.1.1

拓撲:

知識准備:
1、eclipse在win7本機電腦上,而部署的hadoop可以是在本機windows 也可以是遠程Linux 偽分布式、完全分布式、HA集群
2、為了方便開發,引入hadoop的eclipse插件(插件並不是必需的),方便之處有兩點:(1)對hadoop中的文件可視化(2)創建MapReduce Project時幫你引入依賴的jar
3、win7上有一個解壓的hadoop-3.1.1目錄,這不是部署用的,作用有兩點:
(1)eclipse要使用hadoop-3.1.1\bin下的工具與遠程部署的hadoop交互:創建目錄、查看、上傳、下載、刪除文件等
(2)提供hadoopjar:創建MapReduce Project自動引入的jar來源於hadoop-3.1.1\share\hadoop

一、軟件准備
遠程:
hadoop-3.1.1已部署啟動(偽分布式)

本機:
1、安裝jdk8,設置環境變量JAVA_HOME
2、hadoop-3.1.1
  2.1解壓hadoop-3.1.1.tar.gz到本地:我這里是E:\hadoop-3.1.1 設置環境變量:HADOOP_HOME和HADOOP_USER_NAME(默認訪問hdfs集群的用戶 否則會取當前windows名稱訪問)
  2.2原版的Hadoop不支持Windows系統,我們需要修改一些配置方便在Windows上運行
  下載 hadoop.rar
    2.2.1 拷貝bin下所有到hadoop-3.1.1\bin下
    2.2.2 拷貝bin下 hadoop底層依賴庫:hadoop.dll 到C:\Windows\System32下
    2.2.3 修改hadoop-env.cmd中java_home為最新的jdk(如果新版已經設置了取系統環境變量 這里就不用設置了)

3、將插件hadoop-eclipse-plugin-2.6.0.jar放到eclipse安裝目錄下面的plugins里面 重啟eclipse

eclipse操作:
1、配置hadoop安裝目錄


2、打開Map/Reduce Perspective


3、打開Map/Reduce Locations視圖


4、創建HDFS Location

查看DFS Locations


5、創建Map/Reduceproject

創建的工程就是java工程  只不過會自動把hadoop-3.1.1\share\hadoop下的jar導入工程

 

 

參考:
hadoop-eclipse-plugin插件原理
hadoop-eclipse-plugin插件使用

其他:

https://www.cnblogs.com/wenhaizhang/p/5345094.html
https://blog.csdn.net/crazytaliban/article/details/70190774
https://blog.csdn.net/yang1464657625/article/details/78453678
https://blog.csdn.net/csdn_fzs/article/details/78985586
https://www.cnblogs.com/dream-to-pku/p/7930241.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM