碼上快樂

相關內容    簡體    繁體

Hadoop——運行環境搭建

本文轉載自   查看原文   2021-10-05 20:12   104    Hadoop

第一章 模板虛擬機環境准備

選擇安裝VMware16作為虛擬機，具體安裝和使用過程這里不再贅述。

1.1 安裝模板虛擬機

IP地址192.168.10.100、主機名稱hadoop100、內存4G、硬盤50G

hadoop100虛擬機配置要求如下（本文Linux系統全部以CentOS-7.5-x86-1804為例）

（1）使用yum安裝需要虛擬機可以正常上網，yum安裝前可以先測試下虛擬機聯網情況

[root@hadoop100 ~]# ping www.baidu.com PING www.baidu.com (14.215.177.39) 56(84) bytes of data. 64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=8.60 ms 64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=7.72 ms

（2）安裝epel-release

注：Extra Packages for Enterprise Linux是為“紅帽系”的操作系統提供額外的軟件包，適用於RHEL、CentOS和Scientific Linux。相當於是一個軟件倉庫，大多數rpm包在官方 repository 中是找不到的）

[root@hadoop100 ~]# yum install -y epel-release

（3）注意：如果Linux安裝的是最小系統版，還需要安裝如下工具；如果安裝的是Linux桌面標准版，不需要執行如下操作

  • net-tool：工具包集合，包含ifconfig等命令
[root@hadoop100 ~]# yum install -y net-tools
  • vim：編輯器
[root@hadoop100 ~]# yum install -y vim

1.2 關閉防火牆

關閉防火牆開機自啟

[root@hadoop100 ~]# systemctl stop firewalld [root@hadoop100 ~]# systemctl disable firewalld.service

注意：在企業開發時，通常單個服務器的防火牆時關閉的。公司整體對外會設置非常安全的防火牆

1.3 創建用戶修改密碼

[root@hadoop100 ~]# useradd atguigu [root@hadoop100 ~]# passwd atguigu

1.4 配置用戶具有root權限

方便后期加sudo執行root權限的命令

[root@hadoop100 ~]# vim /etc/sudoers

修改/etc/sudoers文件，在%wheel這行下面添加一行，如下所示：

## Allow root to run any commands anywhere root ALL=(ALL) ALL ## Allows people in group wheel to run all commands %wheel  ALL=(ALL) ALL atguigu ALL=(ALL)     NOPASSWD:ALL

注意：atguigu這一行不要直接放到root行下面，因為所有用戶都屬於wheel組，你先配置了atguigu具有免密功能，但是程序執行到%wheel行時，該功能又被覆蓋回需要密碼。所以atguigu要放到%wheel這行下面。

1.5 創建工作目錄

在/opt目錄下創建文件夾，並修改所屬主和所屬組

（1）在/opt目錄下創建module、software文件夾

[root@hadoop100 ~]# mkdir /opt/module [root@hadoop100 ~]# mkdir /opt/software

（2）修改module、software文件夾的所有者和所屬組均為atguigu用戶 

[root@hadoop100 ~]# chown atguigu:atguigu /opt/module [root@hadoop100 ~]# chown atguigu:atguigu /opt/software

（3）查看module、software文件夾的所有者和所屬組

[root@hadoop100 ~]# cd /opt/ [root@hadoop100 opt]# ll 總用量 12 drwxr-xr-x. 2 atguigu atguigu 4096 5月  28 17:18 module drwxr-xr-x. 2 root    root    4096 9月   7 2017 rh drwxr-xr-x. 2 atguigu atguigu 4096 5月  28 17:18 software

1.6 卸載虛擬機自帶的JDK

注意：如果你的虛擬機是最小化安裝不需要執行這一步。

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
  • rpm -qa：查詢所安裝的所有rpm軟件包
  • grep -i：忽略大小寫
  • xargs -n1：表示每次只傳遞一個參數
  • rpm -e –nodeps：強制卸載軟件

1.7 重啟虛擬機

[root@hadoop100 ~]# reboot

第二章 克隆虛擬機

利用模板機hadoop100，克隆三台虛擬機：hadoop102 hadoop103 hadoop104

注意：克隆時，要先關閉hadoop100

2.1 修改克隆機IP

以下以hadoop102舉例說明

（1）修改克隆虛擬機的靜態IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

改成

DEVICE=ens33 TYPE=Ethernet ONBOOT=yes BOOTPROTO=static NAME="ens33" IPADDR=192.168.10.102 PREFIX=24 GATEWAY=192.168.10.2 DNS1=192.168.10.2

（2）查看Linux虛擬機的虛擬網絡編輯器，編輯->虛擬網絡編輯器->VMnet8

 

 

（3）查看Windows系統適配器VMware Network Adapter VMnet8的IP地址

 

（4）保證Linux系統ifcfg-ens33文件中IP地址、虛擬網絡編輯器地址和Windows系統VM8網絡IP地址相同。

2.2 修改克隆機主機名

以下以hadoop102舉例說明

（1）修改主機名稱

[root@hadoop100 ~]# vim /etc/hostname hadoop102

（2）配置Linux克隆機主機名稱映射hosts文件，打開/etc/hosts

[root@hadoop100 ~]# vim /etc/hosts

添加如下內容

192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.102 hadoop102 192.168.10.103 hadoop103 192.168.10.104 hadoop104 192.168.10.105 hadoop105 192.168.10.106 hadoop106 192.168.10.107 hadoop107 192.168.10.108 hadoop108

2.3 重啟克隆機

[root@hadoop100 ~]# reboot

2.4 修改windows的主機映射文件（hosts文件）

（1）如果操作系統是window7，可以直接修改 

  • 進入C:\Windows\System32\drivers\etc路徑
  • 打開hosts文件並添加如下內容，然后保存
  • 192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.102 hadoop102 192.168.10.103 hadoop103 192.168.10.104 hadoop104 192.168.10.105 hadoop105 192.168.10.106 hadoop106 192.168.10.107 hadoop107 192.168.10.108 hadoop108

（2）如果操作系統是window10，先拷貝出來，修改保存以后，再覆蓋即可

  • 進入C:\Windows\System32\drivers\etc路徑
  • 拷貝hosts文件到桌面
  • 打開桌面hosts文件並添加如下內容
  • 192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.102 hadoop102 192.168.10.103 hadoop103 192.168.10.104 hadoop104 192.168.10.105 hadoop105 192.168.10.106 hadoop106 192.168.10.107 hadoop107 192.168.10.108 hadoop108
  • 將桌面hosts文件覆蓋C:\Windows\System32\drivers\etc路徑hosts文件

第三章 安裝JDK

3.1 卸載現有JDK

注意：安裝JDK前，一定確保提前刪除了虛擬機自帶的JDK。詳細步驟見問文檔3.1節中卸載JDK步驟。

3.2 XShell傳輸

用XShell傳輸工具將JDK導入到opt目錄下面的software文件夾下面

 

3.3 檢查

在Linux系統下的opt目錄中查看軟件包是否導入成功

[atguigu@hadoop102 ~]$ ls /opt/software/

看到如下結果：

jdk-8u212-linux-x64.tar.gz

3.4 解壓JDK

解壓JDK到/opt/module目錄下

[atguigu@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

3.5 配置JDK環境變量

（1）新建/etc/profile.d/my_env.sh文件

[atguigu@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下內容

#JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin

（2）保存后退出

:wq

（3）source一下/etc/profile文件，讓新的環境變量PATH生效

[atguigu@hadoop102 ~]$ source /etc/profile

3.6 測試

測試JDK是否安裝成功

[atguigu@hadoop102 ~]$ java -version

如果能看到以下結果，則代表Java安裝成功。

java version "1.8.0_212"

注意：重啟（如果java -version可以用就不用重啟）

[atguigu@hadoop102 ~]$ sudo reboot

第四章 安裝Hadoop

Hadoop下載地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

4.1 XShell傳輸

用XShell文件傳輸工具將hadoop-3.1.3.tar.gz導入到opt目錄下面的software文件夾下面

4.2 解壓安裝包

進入到Hadoop安裝包路徑下

[atguigu@hadoop102 ~]$ cd /opt/software/

解壓安裝文件到/opt/module下面

[atguigu@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4.3 查看是否解壓成功

[atguigu@hadoop102 software]$ ls /opt/module/ hadoop-3.1.3

4.4 將Hadoop添加到環境變量

（1）獲取Hadoop安裝路徑

[atguigu@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3

（2）打開/etc/profile.d/my_env.sh文件

[atguigu@hadoop102hadoop-3.1.3]$sudo vim /etc/profile.d/my_env.sh
  • 在my_env.sh文件末尾添加如下內容：（shift+g）
  • #HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
  • 保存並退出： :wq

（3）讓修改后的文件生效

[atguigu@hadoop102 hadoop-3.1.3]$ source /etc/profile

4.5 測試

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop version Hadoop 3.1.3

4.6 重啟

如果Hadoop命令不能用再重啟虛擬機

[atguigu@hadoop102 hadoop-3.1.3]$ sudo reboot

第五章 Hadoop目錄結構

5.1查看Hadoop目錄結構

[atguigu@hadoop102 hadoop-3.1.3]$ ll 總用量 52 drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 bin drwxr-xr-x. 3 atguigu atguigu  4096 5月  22 2017 etc drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 include drwxr-xr-x. 3 atguigu atguigu  4096 5月  22 2017 lib drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 libexec -rw-r--r--. 1 atguigu atguigu 15429 5月  22 2017 LICENSE.txt -rw-r--r--. 1 atguigu atguigu   101 5月  22 2017 NOTICE.txt -rw-r--r--. 1 atguigu atguigu  1366 5月  22 2017 README.txt drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 sbin drwxr-xr-x. 4 atguigu atguigu  4096 5月  22 2017 share

5.2 重要目錄

（1）bin目錄：存放對Hadoop相關服務（hdfs，yarn，mapred）進行操作的腳本

（2）etc目錄：Hadoop的配置文件目錄，存放Hadoop的配置文件

（3）lib目錄：存放Hadoop的本地庫（對數據進行壓縮解壓縮功能）

（4）sbin目錄：存放啟動或停止Hadoop相關服務的腳本

（5）share目錄：存放Hadoop的依賴jar包、文檔、和官方案例

第六章 Hadoop運行模式

1）Hadoop官方網站：http://hadoop.apache.org/

2）Hadoop運行模式包括：本地模式、偽分布式模式以及完全分布式模式。

  • 本地模式：單機運行，只是用來演示一下官方案例。生產環境不用。
  • 偽分布式模式：也是單機運行，但是具備Hadoop集群的所有功能，一台服務器模擬一個分布式的環境。個別缺錢的公司用來測試，生產環境不用。
  • 完全分布式模式：多台服務器組成分布式環境。生產環境使用。

6.1 本地運行模式（官方WordCount）

1）創建在hadoop-3.1.3文件下面創建一個wcinput文件夾

[atguigu@hadoop102 hadoop-3.1.3]$ mkdir wcinput

2）在wcinput文件下創建一個word.txt文件

[atguigu@hadoop102 hadoop-3.1.3]$ cd wcinput

3）編輯word.txt文件

[atguigu@hadoop102 wcinput]$ vim word.txt
  • 在文件中輸入如下內容
  • hadoop yarn
hadoop mapreduce
atguigu
atguigu
  • 保存退出：:wq

4）回到Hadoop目錄/opt/module/hadoop-3.1.3

5）執行程序

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

6）查看結果

[atguigu@hadoop102 hadoop-3.1.3]$ cat wcoutput/part-r-00000

看到如下結果：

atguigu 2 hadoop 2 mapreduce 1 yarn 1

6.2 完全分布式運行模式（開發重點）

分析：

1）准備3台客戶機（關閉防火牆、靜態IP、主機名稱）

2）安裝JDK

3）配置環境變量

4）安裝Hadoop

5）配置環境變量

6）配置集群

7）單點啟動

8）配置ssh

9）群起並測試集群

第七章 完全分布式運行

7.1 虛擬機准備

詳見2.1、2.2兩節。

7.2 編寫集群分發腳本xsync

7.2.1 scp（secure copy）安全拷貝

（1）scp定義

scp可以實現服務器與服務器之間的數據拷貝。（from server1 to server2）

（2）基本語法

scp  -r $pdir/$fname  $user@$host:$pdir/$fname

命令   遞歸     要拷貝的文件路徑/名稱   目的地用戶@主機:目的地路徑/名稱

（3）案例實操

  • 前提：在hadoop102、hadoop103、hadoop104都已經創建好的/opt/module、 /opt/software兩個目錄，並且已經把這兩個目錄修改為atguigu:atguigu
[atguigu@hadoop102 ~]$ sudo chown atguigu:atguigu -R /opt/module

（a）在hadoop102上，將hadoop102中/opt/module/jdk1.8.0_212目錄拷貝到hadoop103上。

[atguigu@hadoop102 ~]$ scp -r /opt/module/jdk1.8.0_212  atguigu@hadoop103:/opt/module

（b）在hadoop103上，將hadoop102中/opt/module/hadoop-3.1.3目錄拷貝到hadoop103上。

[atguigu@hadoop103 ~]$ scp -r atguigu@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/

（c）在hadoop103上操作，將hadoop102中/opt/module目錄下所有目錄拷貝到hadoop104上。

[atguigu@hadoop103 opt]$ scp -r atguigu@hadoop102:/opt/module/* atguigu@hadoop104:/opt/module

7.2.2 rsync遠程同步工具

rsync主要用於備份和鏡像。具有速度快、避免復制相同內容和支持符號鏈接的優點。

rsync和scp區別：用rsync做文件的復制要比scp的速度快，rsync只對差異文件做更新。scp是把所有文件都復制過去。

（1）基本語法

rsync -av $pdir/$fname $user@$host:$pdir/$fname

命令   選項參數   要拷貝的文件路徑/名稱   目的地用戶@主機:目的地路徑/名稱

選項參數說明

選項

功能

-a

歸檔拷貝

-v

顯示復制過程

（2）案例實操

（a）刪除hadoop103中/opt/module/hadoop-3.1.3/wcinput

[atguigu@hadoop103 hadoop-3.1.3]$ rm -rf wcinput/

（b）同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103

[atguigu@hadoop102 module]$ rsync -av hadoop-3.1.3/ atguigu@hadoop103:/opt/module/hadoop-3.1.3/

7.2.3 xsync集群分發腳本

（1）需求：循環復制文件到所有節點的相同目錄下

（2）需求分析：

（a）rsync命令原始拷貝：

rsync  -av     /opt/module    atguigu@hadoop103:/opt/

（b）期望腳本：

xsync要同步的文件名稱

（c）期望腳本在任何路徑都能使用（腳本放在聲明了全局環境變量的路徑）

[atguigu@hadoop102 ~]$ echo $PATH /usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/atguigu/.local/bin:/home/atguigu/bin:/opt/module/jdk1.8.0_212/bin

（3）腳本實現

（a）在/home/atguigu/bin目錄下創建xsync文件

[atguigu@hadoop102 opt]$ cd /home/atguigu [atguigu@hadoop102 ~]$ mkdir bin [atguigu@hadoop102 ~]$ cd bin [atguigu@hadoop102 bin]$ vim xsync

在該文件中編寫如下代碼

#!/bin/bash #1. 判斷參數個數 if [ $# -lt 1 ] then
    echo Not Enough Arguement! exit; fi #2. 遍歷集群所有機器 for host in hadoop102 hadoop103 hadoop104 do
    echo ====================  $host  ==================== #3. 遍歷所有目錄，挨個發送 for file in $@ do #4. 判斷文件是否存在 if [ -e $file ] then #5. 獲取父目錄 pdir=$(cd -P $(dirname $file); pwd) #6. 獲取當前文件的名稱 fname=$(basename $file) ssh $host "mkdir -p $pdir" rsync -av $pdir/$fname $host:$pdir else
                echo $file does not exists!
        fi
    done
done

（b）修改腳本 xsync 具有執行權限

[atguigu@hadoop102 bin]$ chmod +x xsync

（c）測試腳本

[atguigu@hadoop102 ~]$ xsync /home/atguigu/bin

（d）將腳本復制到/bin中，以便全局調用

[atguigu@hadoop102 bin]$ sudo cp xsync /bin/

（e）同步環境變量配置（root所有者）

[atguigu@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

注意：如果用了sudo，那么xsync一定要給它的路徑補全。

讓環境變量生效

[atguigu@hadoop103 bin]$ source /etc/profile [atguigu@hadoop104 opt]$ source /etc/profile

7.3 SSH無密登錄配置

7.3.1 配置ssh

（1）基本語法

ssh另一台電腦的IP地址

（2）ssh連接時出現Host key verification failed的解決方法

[atguigu@hadoop102 ~]$ ssh hadoop103
  • 如果出現如下內容
Are you sure you want to continue connecting (yes/no)?
  • 輸入yes，並回車

（3）退回到hadoop102

[atguigu@hadoop103 ~]$ exit

7.3.2無密鑰配置

（1）免密登錄原理 

（2）生成公鑰和私鑰

[atguigu@hadoop102 .ssh]$ pwd
/home/atguigu/.ssh [atguigu@hadoop102 .ssh]$ ssh-keygen -t rs

然后敲（三個回車），就會生成兩個文件id_rsa（私鑰）、id_rsa.pub（公鑰）

（3）將公鑰拷貝到要免密登錄的目標機器上

[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102 [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103 [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104

注意：

還需要在hadoop103上采用atguigu賬號配置一下無密登錄到hadoop102、hadoop103、hadoop104服務器上。

還需要在hadoop104上采用atguigu賬號配置一下無密登錄到hadoop102、hadoop103、hadoop104服務器上。

還需要在hadoop102上采用root賬號，配置一下無密登錄到hadoop102、hadoop103、hadoop104；

7.3.3 文件功能解釋

.ssh文件夾下（~/.ssh）的文件功能解釋

known_hosts

記錄ssh訪問過計算機的公鑰（public key）

id_rsa

生成的私鑰

id_rsa.pub

生成的公鑰

authorized_keys

存放授權過的無密登錄服務器公鑰

7.4 集群配置

7.4.1 集群部署規划

注意：

  • NameNode和SecondaryNameNode不要安裝在同一台服務器
  • ResourceManager也很消耗內存，不要和NameNode、SecondaryNameNode配置在同一台機器上。

 

hadoop102

hadoop103

hadoop104

HDFS

 

NameNode

DataNode

 

DataNode

SecondaryNameNode

DataNode

YARN

 

NodeManager

ResourceManager

NodeManager

 

NodeManager

7.4.2 配置文件說明

Hadoop配置文件分兩類：默認配置文件和自定義配置文件，只有用戶想修改某一默認配置值時，才需要修改自定義配置文件，更改相應屬性值。

（1）默認配置文件：

要獲取的默認文件

文件存放在Hadoop的jar包中的位置

[core-default.xml]

hadoop-common-3.1.3.jar/core-default.xml

[hdfs-default.xml]

hadoop-hdfs-3.1.3.jar/hdfs-default.xml

[yarn-default.xml]

hadoop-yarn-common-3.1.3.jar/yarn-default.xml

[mapred-default.xml]

hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

（2）自定義配置文件：

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四個配置文件存放在$HADOOP_HOME/etc/hadoop這個路徑上，用戶可以根據項目需求重新進行修改配置。

7.4.3配置集群

（1）核心配置文件

配置core-site.xml

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop [atguigu@hadoop102 hadoop]$ vim core-site.xml

文件內容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    
    <property>
        <name>fs.defaultFSname> <value>hdfs://hadoop102:8020value> property>  <property> <name>hadoop.tmp.dirname> <value>/opt/module/hadoop-3.1.3/datavalue> property>  <property> <name>hadoop.http.staticuser.username> <value>atguiguvalue> property> configuration>

（2）HDFS配置文件

配置hdfs-site.xml

[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml

文件內容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>


<property>
        <name>dfs.namenode.http-addressname> <value>hadoop102:9870value> property>  <property> <name>dfs.namenode.secondary.http-addressname> <value>hadoop104:9868value> property> configuration>

（3）YARN配置文件

配置yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

文件內容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


<configuration>
    
    <property>
        <name>yarn.nodemanager.aux-servicesname> <value>mapreduce_shufflevalue> property>  <property> <name>yarn.resourcemanager.hostnamename> <value>hadoop103value> property>  <property> <name>yarn.nodemanager.env-whitelistname> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOMEvalue> property> configuration>

（4）MapReduce配置文件

配置mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

文件內容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>


    <property>
        <name>mapreduce.framework.namename> <value>yarnvalue> property>
 configuration>

7.4.4 在集群上分發配置好的Hadoop配置文件

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

7.4.5 查看分發情況

去103和104上查看文件分發情況

[atguigu@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml [atguigu@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

7.5 群起集群

1）配置workers

[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在該文件中增加如下內容：

hadoop102

hadoop103

hadoop104

注意：該文件中添加的內容結尾不允許有空格，文件中不允許有空行。

同步所有節點配置文件

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

2）啟動集群

（1）如果集群是第一次啟動，需要在hadoop102節點格式化NameNode（注意：格式化NameNode，會產生新的集群id，導致NameNode和DataNode的集群id不一致，集群找不到已往數據。如果集群在運行過程中報錯，需要重新格式化NameNode的話，一定要先停止namenode和datanode進程，並且要刪除所有機器的data和logs目錄，然后再進行格式化。）

刪除data和logs目錄 要在root權限下

[atguigu@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

（2）啟動HDFS

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

（3）在配置了ResourceManager的節點（hadoop103）啟動YARN

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

（4）Web端查看HDFS的NameNode

（a）瀏覽器中輸入：http://hadoop102:9870

（b）查看HDFS上存儲的數據信息

（5）Web端查看YARN的ResourceManager

（a）瀏覽器中輸入：http://hadoop103:8088

（b）查看YARN上運行的Job信息

3）集群基本測試

（1）上傳文件到集群

  • 上傳小文件
[atguigu@hadoop102 ~]$ hadoop fs -mkdir /input [atguigu@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
  • 上傳大文件
[atguigu@hadoop102 ~]$ hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /

（2）上傳文件后查看文件存放在什么位置

  • 查看HDFS文件存儲路徑
[atguigu@hadoop102 subdir0]$ pwd /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-192.168.10.102-1610603650062/current/finalized/subdir0/subdir0
  • 查看HDFS在磁盤存儲文件內容
[atguigu@hadoop102 subdir0]$ cat blk_1073741825 hadoop yarn hadoop mapreduce atguigu atguigu

（3）拼接

-rw-rw-r--. 1 atguigu atguigu 134217728 5月  23 16:01 blk_1073741836 -rw-rw-r--. 1 atguigu atguigu   1048583 5月  23 16:01 blk_1073741836_1012.meta -rw-rw-r--. 1 atguigu atguigu  63439959 5月  23 16:01 blk_1073741837 -rw-rw-r--. 1 atguigu atguigu    495635 5月  23 16:01 blk_1073741837_1013.meta [atguigu@hadoop102 subdir0]$ cat blk_1073741836>>tmp.tar.gz [atguigu@hadoop102 subdir0]$ cat blk_1073741837>>tmp.tar.gz [atguigu@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz

（4）下載

[atguigu@hadoop104 software]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

（5）執行wordcount程序

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

7.6 配置歷史服務器

為了查看程序的歷史運行情況，需要配置一下歷史服務器。具體配置步驟如下：

1）配置mapred-site.xml

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop [atguigu@hadoop102 hadoop]$ vim mapred-site.xml

在該文件里面增加如下配置。

<!-- 歷史服務器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value> </property> <!-- 歷史服務器web端地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop102:19888</value> </property>

2）分發配置

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3）在hadoop102啟動歷史服務器

[atguigu@hadoop102 hadoop]$ mapred --daemon start historyserver

4）查看歷史服務器是否啟動

[atguigu@hadoop102 hadoop]$ jps

5）查看JobHistory

http://hadoop102:19888/jobhistory

7.7 配置日志的聚集

日志聚集概念：應用運行完成以后，將程序運行日志信息上傳到HDFS系統上。

 

日志聚集功能好處：可以方便的查看到程序運行詳情，方便開發調試。

注意：開啟日志聚集功能，需要重新啟動NodeManager 、ResourceManager和HistoryServer。

開啟日志聚集功能具體步驟如下：

1）配置yarn-site.xml

cd $HADOOP_HOME/etc/hadoop [atguigu@hadoop102 hadoop]$ vim yarn-site.xml

在該文件里面增加如下配置。

<!-- 開啟日志聚集功能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>

 <!-- 設置日志聚集服務器地址 --> <property> <name>yarn.log.server.url</name> <value>http://hadoop102:19888/jobhistory/logs</value> </property>

 <!-- 設置日志保留時間為7天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property>

2）分發配置

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3）關閉NodeManager 、ResourceManager和HistoryServer

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh [atguigu@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver

4）啟動NodeManager 、ResourceManage和HistoryServer

[atguigu@hadoop103 ~]$ start-yarn.sh [atguigu@hadoop102 ~]$ mapred --daemon start historyserver

5）刪除HDFS上已經存在的輸出文件

[atguigu@hadoop102 ~]$ hadoop fs -rm -r /output

6）執行WordCount程序

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreducle-examples-3.1.3.jar wordcount /input /output

7）查看日志

（1）歷史服務器地址

http://hadoop102:19888/jobhistory

（2）歷史任務列表

 

（3）查看任務運行日志

 

（4）運行日志詳情

 

7.8 集群啟動/停止方式總結

1）各個模塊分開啟動/停止（配置ssh是前提）常用

（1）整體啟動/停止HDFS

start-dfs.sh/stop-dfs.sh

（2）整體啟動/停止YARN

start-yarn.sh/stop-yarn.sh

2）各個服務組件逐一啟動/停止

（1）分別啟動/停止HDFS組件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）啟動/停止YARN

yarn --daemon start/stop  resourcemanager/nodemanager

7.9 編寫Hadoop集群常用腳本

1）Hadoop集群啟停腳本（包含HDFS，Yarn，Historyserver）：myhadoop.sh

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin [atguigu@hadoop102 bin]$ vim myhadoop.sh
  • 輸入如下內容
#!/bin/bash
if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in
"start") echo " =================== 啟動 hadoop集群 ==================="
 echo " --------------- 啟動 hdfs ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"

 echo " --------------- 啟動 yarn ---------------" ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh" echo " --------------- 啟動 historyserver ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver" ;; "stop") echo " =================== 關閉 hadoop集群 ===================" echo " --------------- 關閉 historyserver ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver" echo " --------------- 關閉 yarn ---------------" ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh" echo " --------------- 關閉 hdfs ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh" ;; *) echo "Input Args Error..." ;; esac
  • 保存后退出，然后賦予腳本執行權限
[atguigu@hadoop102 bin]$ chmod +x myhadoop.sh

2）查看三台服務器Java進程腳本：jpsall

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin [atguigu@hadoop102 bin]$ vim jpsall
  • 輸入如下內容
#!/bin/bash

for host in hadoop102 hadoop103 hadoop104 do echo =============== $host =============== ssh $host jps done
  • 保存后退出，然后賦予腳本執行權限
[atguigu@hadoop102 bin]$ chmod +x jpsall

3）分發/home/atguigu/bin目錄，保證自定義腳本在三台機器上都可以使用

[atguigu@hadoop102 ~]$ xsync /home/atguigu/bin/

7.10 常用端口號說明

端口名稱

Hadoop2.x

Hadoop3.x

NameNode內部通信端口

8020 / 9000

8020 / 9000/9820

NameNode HTTP UI

50070

9870

MapReduce查看執行任務端口

8088

8088

歷史服務器通信端口

19888

19888

7.11 集群時間同步

如果服務器在公網環境（能連接外網），可以不采用集群時間同步，因為服務器會定期和公網時間進行校准；

如果服務器在內網環境，必須要配置集群時間同步，否則時間久了，會產生時間偏差，導致集群執行任務時間不同步。

1）需求

找一個機器，作為時間服務器，所有的機器與這台集群時間進行定時的同步，生產環境根據任務對時間的准確程度要求周期同步。測試環境為了盡快看到效果，采用1分鍾同步一次。

2）時間服務器配置（必須root用戶）

（1）查看所有節點ntpd服務狀態和開機自啟動狀態

[atguigu@hadoop102 ~]$ sudo systemctl status ntpd
[atguigu@hadoop102 ~]$ sudo systemctl start ntpd
[atguigu@hadoop102 ~]$ sudo systemctl is-enabled ntpd

（2）修改hadoop102的ntp.conf配置文件

[atguigu@hadoop102 ~]$ sudo vim /etc/ntp.conf

修改內容如下

（a）修改1（授權192.168.10.0-192.168.10.255網段上的所有機器可以從這台機器上查詢和同步時間）

#restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

為restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

（b）修改2（集群在局域網中，不使用其他互聯網上的時間）

server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

為

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

（c）添加3（當該節點丟失網絡連接，依然可以采用本地時間作為時間服務器為集群中的其他節點提供時間同步）

server 127.127.1.0
fudge 127.127.1.0 stratum 10

（3）修改hadoop102的/etc/sysconfig/ntpd 文件

[atguigu@hadoop102 ~]$ sudo vim /etc/sysconfig/ntpd

增加內容如下（讓硬件時間與系統時間一起同步）

SYNC_HWCLOCK=yes

（4）重新啟動ntpd服務

[atguigu@hadoop102 ~]$ sudo systemctl start ntpd

（5）設置ntpd服務開機啟動

[atguigu@hadoop102 ~]$ sudo systemctl enable ntpd

3）其他機器配置（必須root用戶）

（1）關閉所有節點上ntp服務和自啟動

[atguigu@hadoop103 ~]$ sudo systemctl stop ntpd
[atguigu@hadoop103 ~]$ sudo systemctl disable ntpd
[atguigu@hadoop104 ~]$ sudo systemctl stop ntpd
[atguigu@hadoop104 ~]$ sudo systemctl disable ntpd

（2）在其他機器配置1分鍾與時間服務器同步一次

[atguigu@hadoop103 ~]$ sudo crontab -e

編寫定時任務如下：

*/1 * * * * /usr/sbin/ntpdate hadoop102

（3）修改任意機器時間

[atguigu@hadoop103 ~]$ sudo date -s "2021-9-11 11:11:11"

（4）1分鍾后查看機器是否與時間服務器同步

[atguigu@hadoop103 ~]$ sudo date

第4章 常見錯誤及解決方案

1）防火牆沒關閉、或者沒有啟動YARN

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2）主機名稱配置錯誤

3）IP地址配置錯誤

4）ssh沒有配置好

5）root用戶和atguigu兩個用戶啟動集群不統一

6）配置文件修改不細心

7）不識別主機名稱

java.net.UnknownHostException: hadoop102: hadoop102
        at java.net.InetAddress.getLocalHost(InetAddress.java:1475)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
        at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)

解決辦法：

（1）在/etc/hosts文件中添加192.168.10.102 hadoop102

（2）主機名稱不要起hadoop  hadoop000等特殊名稱

8）DataNode和NameNode進程同時只能工作一個。

9）執行命令不生效，粘貼Word中命令時，遇到-和長–沒區分開。導致命令失效

解決辦法：盡量不要粘貼Word中代碼。

10）jps發現進程已經沒有，但是重新啟動集群，提示進程已經開啟。

原因是在Linux的根目錄下/tmp目錄中存在啟動的進程臨時文件，將集群相關進程刪除掉，再重新啟動集群。

11）jps不生效

原因：全局變量hadoop java沒有生效。解決辦法：需要source /etc/profile文件。

12）8088端口連接不上

[atguigu@hadoop102 桌面]$ cat /etc/hosts

注釋掉如下代碼

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1         hadoop102


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 hadoop集群環境搭建 Docker搭建Hadoop環境 Linux中Hadoop的環境搭建 hadoop學習筆記——環境搭建 使用Docker搭建Cloudera Hadoop 環境搭建 大數據技術之_03_Hadoop學習_01_入門_大數據概論+從Hadoop框架討論大數據生態+Hadoop運行環境搭建（開發重點） 史上最詳細的Hadoop環境搭建(轉) Hadoop2.0環境搭建 Hadoop Eclipse開發環境搭建 Hadoop化繁為簡（一）-從安裝Linux到搭建集群環境
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM