Windows下搭建Spark+Hadoop開發環境需要一些工具支持。
只需要確保您的電腦已裝好Java環境,那么就可以開始了。
一. 准備工作
1. 下載Hadoop2.7.1版本(寫Spark和Hadoop主要是用到了Yarn,因此Hadoop必須安裝)
下載地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.1/
下載其中的hadoop-2.7.1.tar.gz並解壓到一個固定目錄作為Hadoop安裝目錄。
2. 下載支持插件
下載地址:https://github.com/ShixiangWan/winutils,其中有很多個Hadoop版本,這里我們以其中的Hadoop2.7.1穩定版為例。
下載后將Hadoop2.7.1的bin中的文件覆蓋拷貝至上述的安裝目錄的bin下。
3. 覆蓋hadoop.dll
將插件bin目錄下的hadoop.dll復制到C:\Window\System32下。
二. 環境變量配置
1. 增加環境變量HADOOP_HOME,指向Hadoop安裝根目錄;
2. 在Path變量中添加%HADOOP_HOME%\bin;
3. 重啟Eclipse或Intellij,直接運行Spark或Hadoop的Maven項目即可。
