1集群簡介
HADOOP集群具體來說包含兩個集群：HDFS集群和YARN集群，兩者邏輯上分離，但物理上常在一起
HDFS集群：
負責海量數據的存儲，集群中的角色主要有 NameNode / DataNode
YARN集群：
負責海量數據運算時的資源調度，集群中的角色主要有 ResourceManager /NodeManager
本集群搭建案例，以3節點為例進行搭建，角色分配如下：
hdp-node-01 NameNode SecondaryNameNode ResourceManager hdp-node-02 DataNode NodeManager hdp-node-03 DataNode NodeManager
2服務器准備
本案例使用虛擬機服務器來搭建HADOOP集群，所用軟件及版本：
▨ Vmware 12.0
▨ Centos 7.0 64bit
3網絡環境准備
▨ 采用NAT方式聯網
▨ 網關地址：192.168.33.1
▨ 3個服務器節點IP地址：192.168.33.101、192.168.33.102、192.168.33.103
▨ 子網掩碼：255.255.255.0
4服務器系統設置
▨ 添加HADOOP用戶
▨ 為HADOOP用戶分配sudoer權限
▨ 同步時間
▨ 設置主機名
◈ hdp-node-01
◈ hdp-node-02
◈ hdp-node-03
▨ 配置內網域名映射：
◈ 192.168.33.101 hdp-node-01
◈ 192.168.33.102 hdp-node-02
◈ 192.168.33.103 hdp-node-03
▨ 配置ssh免密登陸
▨ 配置防火牆
5JDK環境安裝
▨ 上傳jdk安裝包
▨ 規划安裝目錄 /home/hadoop/apps/jdk_1.7.65
▨ 解壓安裝包
▨ 配置環境變量 /etc/profile
6HADOOP安裝部署
▨ 上傳HADOOP安裝包
▨ 規划安裝目錄 /home/hadoop/apps/hadoop-2.6.5
▨ 解壓安裝包 tar –zxvf hadoop-2.6.5 –C apps/
▨ 修改配置文件 $HADOOP_HOME/etc/hadoop/
最簡化配置如下：
vi hadoop-env.sh
# The java implementation to use. export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_45
vi core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hdp-node-01:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/HADOOP/apps/hadoop-2.6.5/tmp</value> </property> </configuration>
vi hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.secondary.http.address</name> <value>hdp-node-01:50090</value> </property> </configuration>
vi mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
vi yarn-site.xml
<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop01</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
vi salves
hdp-node-02
hdp-node-03
7啟動集群
初始化HDFS
bin/hadoop namenode -format
啟動HDFS
sbin/start-dfs.sh
啟動YARN
sbin/start-yarn.sh
查看集群狀態
jps
bin/hdfs dfsadmin -report
8測試——運行一個mapreduce程序
在HADOOP安裝目錄下，運行一個示例mr程序
cd $HADOOP_HOME/share/hadoop/mapreduce/
hadoop jar mapredcue-example-2.6.5.jar wordcount /wordcount/input /wordcount/output
9HDFS使用
1、查看集群狀態
命令： hdfs dfsadmin –report
可以看出，集群共有3個datanode可用
也可打開web控制台查看HDFS集群信息，在瀏覽器打開http://hdp-node-01:50070/
2、上傳文件到HDFS
▣ 查看HDFS中的目錄信息
命令： hadoop fs –ls /
▣ 上傳文件
命令： hadoop fs -put ./ scala-2.10.6.tgz to /
出處： http://www.cnblogs.com/jerehedu/
版權聲明：本文版權歸煙 台 傑瑞教育 科 技有限公司和博客園共有，歡迎轉載，但未經作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文連接，否則保留追究法律責任的權利。
技術咨詢：
