Windows下搭建Spark+Hadoop開發環境


 

Windows下搭建Spark+Hadoop開發環境需要一些工具支持。

 

只需要確保您的電腦已裝好Java環境,那么就可以開始了。

 

一. 准備工作

1. 下載Hadoop2.7.1版本(寫Spark和Hadoop主要是用到了Yarn,因此Hadoop必須安裝)

下載地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.1/

下載其中的hadoop-2.7.1.tar.gz並解壓到一個固定目錄作為Hadoop安裝目錄。

2. 下載支持插件

下載地址:https://github.com/ShixiangWan/winutils,其中有很多個Hadoop版本,這里我們以其中的Hadoop2.7.1穩定版為例。

下載后將Hadoop2.7.1的bin中的文件覆蓋拷貝至上述的安裝目錄的bin下。

3. 覆蓋hadoop.dll

將插件bin目錄下的hadoop.dll復制到C:\Window\System32下。

 

二. 環境變量配置

1. 增加環境變量HADOOP_HOME,指向Hadoop安裝根目錄;

2. 在Path變量中添加%HADOOP_HOME%\bin;

3. 重啟Eclipse或Intellij,直接運行Spark或Hadoop的Maven項目即可。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM