Mac-搭建Hadoop集群

You have to work very hard to believe that you are really powerless.

 

Mac-搭建Hadoop集群

我用到了：VMware Fusion、CentOS7、FileZilla、jdk-8u181-linux-x64.tar.gz和hadoop-2.7.6.tar.gz

1、集群部署規划

NameNode單點部署：

節點名稱	NN1	NN2	DN	RM	NM	規划IP	other
tjt01	NameNode		DataNode		NodeManager	172.16.114.130	hive/hdfs
tjt02		SecondaryNameNode	DataNode	ResourceManager	NodeManager	172.16.114.131	hbase/kms
tjt03			DataNode		NodeManager	172.16.114.132	mysql/spark

 

2、三台客戶機相關准備

2.1、安裝VMware虛擬機

在虛擬機中安裝CentOS鏡像，由初始安裝的CentOS7版本的鏡像，完整克隆出另外兩台虛擬機

2.2、修改主機名

[root@tjt01 tjt]# vi /etc/hostname

分別修改三台虛擬機主機名：tjt01、tjt02、tjt03

2.3、修改host文件

配置主機host：

[root@tjt01 tjt]# vi /etc/hosts

 

將配置發送到其他的主機，同時在其他主機上配置：

scp -r /etc/hosts root@tjt02:/etc/
scp -r /etc/hosts root@tjt03:/etc/

測試host文件修改結果：

ping tjt01 ping tjt02 ping tjt03

2.4、設置SSH免密登錄

每兩台主機之間設置免密碼，自己的主機與自己的主機之間也要求設置免密碼；

輸入：ssh-keygen -t rsa

然后按下四次回車，之后在把密匙發到其他主機上，輸入：ssh-copy-id tjt01 並按提示輸入密碼，然后是ssh-copy-id 02和ssh-copy-id 03同樣的操作；

之后，在另外兩台虛擬機上也執行相同的步驟：

ssh-keygen -t rsa ssh-copy-id tjt01 ssh-copy-id tjt02 ssh-copy-id tjt03

測試SSH免密登錄：

ssh tjt01、ssh tjt02、ssh tjt03

2.5、安裝配置JDK

虛擬機默認安裝了一個openjdk，卸載掉：

rpm -qa | grep jdk

可以查看已經安裝了的openjdk

yum remove *openjdk*

干掉openjdk

yum remove copy-jdk-configs-3.3-10.el7_5.noarch

干掉jdk-configs

將JDK安裝包上傳到/opt下，可以通過XShell的rz上傳，也可以用FileZilla：

到/opt 目錄下解壓：tar xzvf jdk-8u181-linux-x64.tar.gz

設置JAVA_HOME：

輸入：vi /etc/profile，在profile文件中的編輯模式下加上下方export配置：

export JAVA_HOME=/opt/jdk1.8.0_181 export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin

修改好之后使文件生效：source /etc/profile

復制JDK到另外兩個節點：

在這之前要先把另外兩台虛擬機上的openjdk也干掉：

yum remove *openjdk*
yum remove copy-jdk-configs-3.3-10.el7_5.noarch

然后復制jdk到另外兩個虛擬機上：

scp -r /opt/jdk1.8.0_181 root@tjt02:/opt/
scp -r /opt/jdk1.8.0_181 root@tjt03:/opt/

向其他節點復制profile文件：

scp /etc/profile root@tjt02:/etc/
scp /etc/profile root@tjt03:/etc/

然后每個節點分別執行 source /etc/profile ，使profile生效下，並通過java-version簡單測試下，jdk復制是否成功：

tjt02:

tjt03:

3、安裝Hadoop

3.1、上傳並解壓Hadoop

解壓：tar zxvf hadoop-2.7.6.tar.gz

3.2、搭建Hadoop集群

配置文件在hadoop2.7.6/etc/hadoop/下，修改設置hadoop2.7.6目錄下的可執行權限

3.2.1、修改 core-site.xml

[root@tjt01 hadoop]# vi core-site.xml

然后在core-site.xml文件中編輯如下：

<!-- 指定HDFS中NameNode的地址 --> 
     <property>
     <name>fs.defaultFS</name>
         <value>hdfs://tjt01:9000</value>
     </property>
<!-- 指定hadoop運行時產生文件的存儲目錄 --> <property> 
     <name>hadoop.tmp.dir</name>
     <value>/opt/hadoop-2.7.6/data/full/tmp</value>
     </property>

3.2.2、修改hadoop-env.sh

[root@tjt01 hadoop]# vi hadoop-env.sh 

修改JAVA_HOME：

3.2.3 修改hdfs-site.xml

[root@tjt01 hadoop]# vi hdfs-site.xml 

修改 hdfs-site.xml 的配置如下：

<configuration>

<!-- 設置dfs副本數，不設置默認是3個 --> 
    <property>
        <name>dfs.replication</name>
        <value>2</value>
</property>

<!-- 設置secondname的端口 --> 
<property> 
  <name>dfs.namenode.secondary.http-address</name>
        <value>tjt02:50090</value>
    </property>
</configuration>

3.2.4 修改 slaves

[root@tjt01 hadoop]# vi slaves

增加slaves 配置如下：

tjt01
tjt02
tjt03

3.2.5 修改mapred-env.sh

[root@tjt01 hadoop]# vi mapred-env.sh 

修改其JAVA_HOME如下：

export JAVA_HOME=/opt/jdk1.8.0_181

3.2.6 修改mapred-site.xml

[root@tjt01 hadoop]# mv mapred-site.xml.template mapred-site.xml [root@tjt01 hadoop]# vi mapred-site.xml 

修改其configuration如下：

<configuration>
<!-- 指定mr運行在yarn上 -->
    <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
    </property>
</configuration>

3.2.7 修改yarn-env.sh

[root@tjt01 hadoop]# vi yarn-env.sh 

修改其JAVA_HOME如下：

export JAVA_HOME=/opt/jdk1.8.0_181

3.2.8 修改yarn-site.xml

[root@tjt01 hadoop]# vi yarn-site.xml

修改配置如下：

<configuration>
<!-- reducer獲取數據的方式 --> 
<property> 
 <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
     </property>
<!-- 指定YARN的ResourceManager的地址 --> 
<property> 
        <name>yarn.resourcemanager.hostname</name>
        <value>tjt02</value>
     </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
        <description>Whether virtual memory limits will be enforced for containers</description>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>4</value>
        <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
   </property>
</configuration>

3.3 分發hadoop到各個節點

[root@tjt01 hadoop]# scp -r /opt/hadoop-2.7.6/ root@tjt02:/opt

[root@tjt01 hadoop]# scp -r /opt/hadoop-2.7.6/ root@tjt03:/opt

3.4 配置環境變量

[root@tjt01 hadoop]# vi /etc/profile

修改配置如下：

export HADOOP_HOME=/opt/hadoop-2.7.6 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile 使profile文件生效；

[root@tjt01 hadoop]# source /etc/profile

3.5 分發profile到各個節點

[root@tjt01 hadoop]# scp /etc/profile root@tjt02:/etc/

[root@tjt01 hadoop]# scp /etc/profile root@tjt03:/etc/

到各自的服務節點上是profile 生效：

[root@tjt02 ~]# source /etc/profile

[root@tjt03 ~]# source /etc/profile

4 啟動驗證集群

4.1 啟動集群

4.1.1 如果集群是第一次啟動，需要格式化namenode

[root@tjt01 hadoop]# hdfs namenode -format

當看到19/05/03 03:45:47 INFO common.Storage: Storage directory /opt/hadoop-2.7.6/data/full/tmp/dfs/name has been successfully formatted. 就格式化OK了；

到此為止，上面存在有一個錯誤，不能在hdfs-site.xml文件中這么寫注釋【#tjt】：

4.1.2 啟動Hdfs

[root@tjt01 hadoop-2.7.6]# start-dfs.sh

4.1.3 啟動Yarn

 如果Namenode和ResourceManager不是同一台虛擬機的話，不能在NameNode上啟動yarn，應該在ResourceManager所在的機器上啟動yarn；我的yarn配置在tjt02服務器上，一次需要到tjt02機器上啟動yarn

[root@tjt02 hadoop]# start-yarn.sh

4.1.4 jps查看進程

[root@tjt01 hadoop]# jps

[root@tjt02 hadoop]# jps

[root@tjt03 hadoop]# jps

4.1.5 web頁面訪問

 在虛擬機tjt01上訪問：http://172.16.114.130:50070

Datanode:

需要先在tjt3這台機器上關閉防火牆后，才可以在非linux服務器中的瀏覽器訪問：

 //臨時關閉
systemctl stop firewalld
//禁止開機啟動
systemctl disable firewalld

本機訪問：http://172.16.114.130:50070/

 

在虛擬機tjt02上訪問：http://172.16.114.131:8088/cluster

 4.2、Hadoop停止啟動方式

1）各個服務組件逐一啟動

分別啟動hdfs 組件：

hadoop-deamon.sh start | stop namenode | datnode | secondarynamenode

啟動yarn：

yarn-deamon.sh start | stop resourcemanager | nodemanager

2) 各個模塊分開啟動(常用)

start | stop-dfs.sh start | stop-yarn.sh

3) 全部啟動

start | stop-all.sh

其他

1、關閉防火牆

 //臨時關閉
systemctl stop firewalld //禁止開機啟動
systemctl disable firewalld

2、創建用戶，設置文件權限

創建用戶，修改密碼：

[root@tjt01 ~]# useradd tjt [root@tjt01 ~]# passwd tjt

設置tjt用戶具有root權限 修改 /etc/sudoers 文件，找到下面一行，在root下面添加一行，如下所示:

 

修改完畢，現在可以用tjt帳號登錄，然后用命令 su - ，即可獲得root權限進行操作。

 

其實，當Web頁面訪問：http://172.16.114.130:50070，可以看到hadoop頁面時Hadoop集群就成功構建好了。