hadoop2.x入門：Hadoop的啟動方式

本內容基於hadoop-2.7.2

1. hadoop啟動方式
我們執行hadoop安裝目錄下的sbin/xxx-xxx.sh

#各服務組件逐一啟動：
hdfs 
    hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode
yarn
    yarn-daemon.sh start|stop resourcemanager|nodemanager
mapreduce
    mr-jobhistory-daemon.sh start|stop historyserver
#各模塊分開啟動
hdfs
    start-dfs.sh|stop-dfs.sh
yarn
    yarn-dfs.sh|yarn-dfs.sh
#全部啟動
start-all.sh|stop-all.sh

初始學習階段可以使用start-all.sh啟動全部。

2. 通過web了解Hadoop的運行活動
注意：是hadoop2.x，因為hadoop2.x和hadoop1.x配置和默認端口不一樣

• 通過用瀏覽器和http訪問jobtracker所在節點的8088端口監控jobtracker
• 通過用瀏覽器和http訪問namenode所在節點的50070端口監控集群

例如：http://master:8088

3. 常用端口

Hadoop集群的各部分一般都會使用到多個端口，有些是daemon之間進行交互之用，有些是用於RPC訪問以及HTTP訪問。而隨着Hadoop周邊組件的增多，完全記不住哪個端口對應哪個應用，特收集記錄如此，以便查詢。

這里包含我們使用到的組件：HDFS, YARN

組件	節點	默認端口	配置	用途說明
HDFS	DataNode	50010	dfs.datanode.address	datanode服務端口，用於數據傳輸
HDFS	DataNode	50075	dfs.datanode.http.address	http服務的端口
HDFS	DataNode	50475	dfs.datanode.https.address	https服務的端口
HDFS	NameNode	50070	dfs.namenode.http-address	http服務的端口
HDFS	NameNode	50470	dfs.namenode.https-address	https服務的端口
HDFS	NameNode	8020	fs.defaultFS	接收Client連接的RPC端口，用於獲取文件系統metadata信息。
HDFS	journalnode	8485	dfs.journalnode.rpc-address	RPC服務
HDFS	journalnode	8480	dfs.journalnode.http-address	HTTP服務
YARN	ResourceManager	8032	yarn.resourcemanager.address	RM的applications manager(ASM)端口
YARN	ResourceManager	8030	yarn.resourcemanager.scheduler.address	scheduler組件的IPC端口
YARN	ResourceManager	8031	yarn.resourcemanager.resource-tracker.address	IPC
YARN	ResourceManager	8033	yarn.resourcemanager.admin.address	IPC
YARN	ResourceManager	8088	yarn.resourcemanager.webapp.address	http服務端口
YARN	NodeManager	8040	yarn.nodemanager.localizer.address	localizer IPC
YARN	NodeManager	8042	yarn.nodemanager.webapp.address	http服務端口
YARN	NodeManager	8041	yarn.nodemanager.address	NM中container manager的端口
YARN	JobHistory Server	10020	mapreduce.jobhistory.address	IPC
YARN	JobHistory Server	19888	mapreduce.jobhistory.webapp.address	http服務端口

4.參考資料
hadoop2.x常用端口及定義方法