windows下安裝Hadoop,就是這么簡單


Hadoop集群肯定還是要在linux下使用好些,但是對於想嘗鮮的開發者或者上層應用開發來說,在windows下搭建一個單節點的應用也是蠻有必要的,當然只作為開發測試環境^_^。

一、環境准備

1、JDK安裝

2、Hadoop安裝包(官網下載)

3、hadooponwindows-master(可使配置更簡潔)

二、安裝配置

1、以管理員身份解壓Hadoop安裝包,

 

 

2、配置Hadoop環境變量,

我的電腦 --> 屬性 --> 高級系統設置 --> 高級 --> 環境變量,新建HADOOP_HOME,然后將%HADOOP_HOME%\bin添加到Path中。

 

 

3、新建data(下面建倆子文件夾namenode和datanode)和tmp目錄,

 

 

4、修改啟動類 hadoop-env.cmd,

主要是設置JAVA_HOME的路徑,我的文件目錄在 E:\Dev2\hadoop\hadoop-2.6.0\etc\hadoop,(這里注意一下:如果jdk路徑中有“Program Files”,則將Program Files改為 PROGRA~1,否則會報錯)

 

 

5、修改配置文件(core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml)

核心操作就在這四個配置文件上面了,(如果下載了hadooponwindows-master,解壓后可以直接覆蓋bin和etc目錄,然后只修改這四個文件夾中的路徑信息就可以了)

 

 

(1)core-site.xml

 

 

 

(2)hdfs-site.xml

 

 

(3)mapred-site.xml

 

 

(4)yarn-site.xml

 

 

6、啟動格式化HDFS

首先,hadoop version,查看是否能正常運行,

 

 

然后,執行 hdfs namenode -format

 

 

格式化之后,namenode文件里會生成一個current文件,則格式化成功。

三、Hadoop啟動

在cmd中執行 start-all.cmd 命令,啟動Hadoop,路徑:E:\Dev2\hadoop\hadoop-2.6.0\sbin。

 

 

運行成功后,會出現四個窗口,分別是:yarn-resourcemanager、yarn-nodemanager、hadoop-namenode、hadoop-datanode。

 

 

如上,則恭喜,啟動成功。

四、HDFS操作測試

安裝好了Hadoop環境,接下來我們就敲下hadoop命令,上傳幾個文件操作實戰一下。

1、創建目錄

hadoop fs -mkdir hdfs://localhost:9000/my/

hadoop fs -mkdir hdfs://localhost:9000/my/testinput

 

 

2、上傳文件

hadoop fs -put E:\test01.txt hdfs://localhost:9000/my/testinput

hadoop fs -put E:\test02.txt hdfs://localhost:9000/my/testinput

 

 

3、查詢文件

hadoop fs -ls hdfs://localhost:9000/my/testinput

 

 

查詢到我們剛剛上傳的文件啦,恭喜,測試成功。

五、管理頁面

Hadoop自帶了web UI管理頁面,

1、資源管理(localhost:8088)

 

 

2、節點管理(localhost:50070)

 

 

總體來說Hadoop在windows下的安裝還是比較簡單的,只要按部就班就可以了。

 

轉載於:https://baijiahao.baidu.com/s?id=1631225218387105313&wfr=spider&for=pc


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM