Hadoop,Hbase啟動及用web查看hadoop運行狀態


一 啟動順序(對前面安裝文檔做個總結)

1 啟動hadoop:bin/start-dfs.sh(注意:第一次啟動hadoop之前必須namenode -format),啟動完成后,使用jps命令查看:

Master上有兩個進程:namenode和secondarynamenode

slave上有一個進程:datanode

2 啟動yarn:bin/start-yarn.sh,啟動完成后,使用jps命令查看:

Master上又啟動了一個新進程:resourcemanager

slave上又啟動了一個新進程:nodemanageer

3 啟動zookeeper:bin/zkServer.sh start(Master和slave上都要啟動,第一步和第二步只在Master上啟動即可),啟動完成后,使用jps命令查看:

Master和slave上又多了一個新進程:quorunpeermain

4 啟動Hbase:bin/start-hbase.sh,啟動完成后,使用jps命令查看:

Master上多了一個進程:HMaster

slave上多了一個進程:HRegionserver

至此,啟動完成,可以進入Hbase shell,建表,添加數據等操作,關於Hbase shell命令,可以參考下一篇博客

 

二使用web查看hadoop的運行狀態

1 查看HDFS集群狀態,訪問如下地址:http://master:50070

2 查看web控制台狀態:http://master:8088(yarn.resourcemanager.webapp.address)

3 查看HBase的狀態:http://localhost:60010

對於hadoop2.2.0,只發現了上述兩個web地址,可能還有其他的,hadoop1.x和hadoop0.20.x的web地址對應的端口可能不太一樣,也可能和配置文件有關,可以參考下面這篇博客(http://blog.csdn.net/weixuehao/article/details/16847349)(針對hadoop1.x)

 

上一篇文章去博客園去CSDN),我們安裝完hadoop,下面我們從視覺上看看hadoop怎么玩的。 

我們可以在win7系統上,通過web界面,在瀏覽器地址欄輸入地址,直接查看hadoop的運行情況;

 

10.10.11.191:50030

這個里面,我們可以看到Map/Reduce的管理情況

 

 

10.10.11.191:50070

這里可以看到HDFS的管理情況。

 

但是在這里,會有一個問題。

問題點擊上圖中,紅框鎖定的鏈接,Browser the filesystem,打不開界面。這是什么情況呢?

 

點擊Live Nodes,進入如下界面:

點擊host2,同樣打不開界面……

host2對應的ip為10.10.11.192

而鏈接地址為host2:50070/browseDirectory.jsp?namenodeInfoPort=50070&dir=%2F

直接訪問的host2主機地址。

 

很明顯,出現這種狀況的原因是win7電腦,並不知道host2是誰,所以需要在win7電腦的hosts文件中,添加上host2,host3,host4,master主機和ip地址的映射

win7系統,hosts文件位置:C:\Windows\System32\drivers\etc

在win7電腦上,添加完hosts配置,我們就可以解決上面的問題了。host2也就可以訪問了。如下

http://m.blog.csdn.net/article/details?id=39368379


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM