Hadoop集群肯定還是要在linux下使用好些,但是對於想嘗鮮的開發者或者上層應用開發來說,在windows下搭建一個單節點的應用也是蠻有必要的,當然只作為開發測試環境^_^。
一、環境准備
1、JDK安裝
2、Hadoop安裝包(官網下載)
3、hadooponwindows-master(可使配置更簡潔)
二、安裝配置
1、以管理員身份解壓Hadoop安裝包,
2、配置Hadoop環境變量,
我的電腦 --> 屬性 --> 高級系統設置 --> 高級 --> 環境變量,新建HADOOP_HOME,然后將%HADOOP_HOME%\bin添加到Path中。
3、新建data(下面建倆子文件夾namenode和datanode)和tmp目錄,
4、修改啟動類 hadoop-env.cmd,
主要是設置JAVA_HOME的路徑,我的文件目錄在 E:\Dev2\hadoop\hadoop-2.6.0\etc\hadoop,(這里注意一下:如果jdk路徑中有“Program Files”,則將Program Files改為 PROGRA~1,否則會報錯)
5、修改配置文件(core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml)
核心操作就在這四個配置文件上面了,(如果下載了hadooponwindows-master,解壓后可以直接覆蓋bin和etc目錄,然后只修改這四個文件夾中的路徑信息就可以了)
(1)core-site.xml
(2)hdfs-site.xml
(3)mapred-site.xml
(4)yarn-site.xml
6、啟動格式化HDFS
首先,hadoop version,查看是否能正常運行,
然后,執行 hdfs namenode -format
格式化之后,namenode文件里會生成一個current文件,則格式化成功。
三、Hadoop啟動
在cmd中執行 start-all.cmd 命令,啟動Hadoop,路徑:E:\Dev2\hadoop\hadoop-2.6.0\sbin。
運行成功后,會出現四個窗口,分別是:yarn-resourcemanager、yarn-nodemanager、hadoop-namenode、hadoop-datanode。
如上,則恭喜,啟動成功。
四、HDFS操作測試
安裝好了Hadoop環境,接下來我們就敲下hadoop命令,上傳幾個文件操作實戰一下。
1、創建目錄
hadoop fs -mkdir hdfs://localhost:9000/my/
hadoop fs -mkdir hdfs://localhost:9000/my/testinput
2、上傳文件
hadoop fs -put E:\test01.txt hdfs://localhost:9000/my/testinput
hadoop fs -put E:\test02.txt hdfs://localhost:9000/my/testinput
3、查詢文件
hadoop fs -ls hdfs://localhost:9000/my/testinput
查詢到我們剛剛上傳的文件啦,恭喜,測試成功。
五、管理頁面
Hadoop自帶了web UI管理頁面,
1、資源管理(localhost:8088)
2、節點管理(localhost:50070)
總體來說Hadoop在windows下的安裝還是比較簡單的,只要按部就班就可以了。
轉載於:https://baijiahao.baidu.com/s?id=1631225218387105313&wfr=spider&for=pc
