大數據技術之_04_Hadoop學習_02_HDFS_DataNode(面試開發重點)+HDFS 2.X新特性

第6章 DataNode（面試開發重點）6.1 DataNode工作機制6.2 數據完整性6.3 掉線時限參數設置6.4 服役新數據節點6.5 退役舊數據節點6.5.1 添加白名單6.5.2 黑名單退役6.6 Datanode多目錄配置第7章 HDFS 2.X新特性7.1 集群間數據拷貝7.2 小文件存檔7.3 回收站7.4 快照管理

---

第6章 DataNode（面試開發重點）

6.1 DataNode工作機制

DataNode工作機制，如下圖所示。

• 1）一個數據塊在DataNode上以文件形式存儲在磁盤上，包括兩個文件，一個是數據本身，一個是元數據包括數據塊的長度，塊數據的校驗和，以及時間戳。
• 2）DataNode啟動后向NameNode注冊，通過后，周期性（1小時）的向NameNode上報所有的塊信息。
• 3）心跳是每3秒一次，心跳返回結果帶有NameNode給該DataNode的命令如復制塊數據到另一台機器，或刪除某個數據塊。如果超過10分鍾沒有收到某個DataNode的心跳，則認為該節點不可用。
• 4）集群運行中可以安全加入和退出一些機器。

6.2 數據完整性

  思考：如果電腦磁盤里面存儲的數據是控制高鐵信號燈的紅燈信號（1）和綠燈信號（0），但是存儲該數據的磁盤壞了，一直顯示是綠燈，是否很危險？同理DataNode節點上的數據損壞了，卻沒有發現，是否也很危險，那么如何解決呢？
  如下是DataNode節點保證數據完整性的方法。

• 1）當DataNode讀取Block的時候，它會計算CheckSum。
• 2）如果計算后的CheckSum，與Block創建時值不一樣，說明Block已經損壞。
• 3）Client讀取其他DataNode上的Block。
• 4）DataNode在其文件創建后周期驗證CheckSum，如下圖所示。
  

6.3 掉線時限參數設置

需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的單位為 毫秒，dfs.heartbeat.interval的單位為 秒。

<property>
    <name>dfs.namenode.heartbeat.recheck-interval</name>
    <value>300000</value>
</property>
<property>
    <name>dfs.heartbeat.interval</name>
    <value>3</value>
</property>

6.4 服役新數據節點

0、需求
  隨着公司業務的增長，數據量越來越大，原有的數據節點的容量已經不能滿足存儲數據的需求，需要在原有集群基礎上動態添加新的數據節點。
1、環境准備
（1）在hadoop104主機上再克隆一台hadoop105主機
（2）修改IP地址、修改主機名稱、修改主機名稱和ip地址映射、永久關閉防火牆、重啟系統

（3）刪除原來HDFS文件系統留存的文件（/opt/module/hadoop-2.7.2/data和/logs目錄）
（4）source一下配置文件

[atguigu@hadoop105 hadoop-2.7.2]$ source /etc/profile

（5）先啟動集群

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

2、服役新節點具體步驟
（1）直接單獨啟動hadoop105的DataNode，即可關聯到集群

[atguigu@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
[atguigu@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

如下圖所示：

（2）測試：在hadoop105上傳文件

[atguigu@hadoop105 hadoop-2.7.2]$ hadoop fs -put /opt/module/hadoop-2.7.2/LICENSE.txt /

（3）如果數據不均衡，可以用命令實現集群的再平衡

[atguigu@hadoop102 sbin]$ ./start-balancer.sh
starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

6.5 退役舊數據節點

6.5.1 添加白名單

  添加到白名單的主機節點，都允許訪問NameNode，不在白名單的主機節點，都會被退出。
配置白名單的具體步驟如下：
（1）在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目錄下創建dfs.hosts文件

[atguigu@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[atguigu@hadoop102 hadoop]$ touch dfs.hosts
[atguigu@hadoop102 hadoop]$ vim dfs.hosts

添加如下主機名稱（不添加hadoop105）

hadoop102
hadoop103
hadoop104

（2）在NameNode的hdfs-site.xml配置文件中增加dfs.hosts屬性

<!-- 白名單信息 -->
<property>
    <name>dfs.hosts</name>
    <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>

（3）配置文件分發

[atguigu@hadoop102 hadoop]$ xsync hdfs-site.xml

（4）刷新NameNode

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful

（5）更新ResourceManager節點

[atguigu@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes
19/02/07 11:25:58 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.25.103:8033

（6）在web瀏覽器上查看

（7）如果數據不均衡，可以用命令實現集群的再平衡

[atguigu@hadoop102 sbin]$ ./start-balancer.sh
starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

6.5.2 黑名單退役

  在黑名單上面的主機都會被強制退出。
0、先恢復現場
（1）注釋掉hdfs-site.xml配置文件中dfs.hosts屬性
（2）配置文件分發

[atguigu@hadoop102 hadoop]$ xsync hdfs-site.xml

（3）單獨關閉hadoop105的DataNode

[atguigu@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
[atguigu@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

（4）刷新NameNode、刷新ResourceManager

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful
[atguigu@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes
17/06/24 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.25.103:8033

（5）檢查Web瀏覽器，發現105節點的狀態為Dead，說明數據節點105沒有啟動，如下圖所示：

（6）然后我們啟動105節點，恢復現場

[atguigu@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-datanode-hadoop105.out

現場恢復后如下圖所示：

1、在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目錄下創建dfs.hosts.exclude文件

[atguigu@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[atguigu@hadoop102 hadoop]$ touch dfs.hosts.exclude
[atguigu@hadoop102 hadoop]$ vim dfs.hosts.exclude

添加如下主機名稱（要退役的節點）

hadoop105

2、在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude屬性

<!-- 黑名單信息 -->
<property>
    <name>dfs.hosts.exclude</name>
    <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>

注釋掉【白名單信息】，添加上【黑名單信息】

3、配置文件分發

[atguigu@hadoop102 hadoop]$ xsync hdfs-site.xml

4、刷新NameNode、刷新ResourceManager

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful
[atguigu@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes
19/02/07 20:29:54 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.25.103:8033

5、檢查Web瀏覽器
退役節點的狀態為Decommission in Progress（退役中），說明數據節點正在復制塊到其他節點，如下圖所示：

6、等待退役節點狀態為Decommissioned（所有塊已經復制完成），停止該節點及節點資源管理器
注意：如果副本數是3，服役的節點小於等於3，是不能退役成功的，需要修改副本數后才能退役，如下圖所示：

停止該節點及節點資源管理器（單節點退出）：

[atguigu@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode
stopping datanode
[atguigu@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager

檢查Web瀏覽器，查看【Last contact(上次連接時間)】

7、如果數據不均衡，可以用命令實現集群的再平衡

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-balancer.sh 
starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

注意：不允許白名單和黑名單中同時出現同一個主機名稱。

6.6 Datanode多目錄配置

1、DataNode也可以配置成多個目錄，每個目錄存儲的數據不一樣。即：數據不是副本。
2、具體配置如下：
hdfs-site.xml

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

3、配置文件分發

[atguigu@hadoop102 hadoop]$ xsync hdfs-site.xml

4、關閉集群

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/stop-dfs.sh 
Stopping namenodes on [hadoop102]
hadoop102: stopping namenode
hadoop102: stopping datanode
hadoop104: stopping datanode
hadoop103: stopping datanode
Stopping secondary namenodes [hadoop104]
hadoop104: stopping secondarynamenode

[atguigu@hadoop103 hadoop-2.7.2]$ sbin/stop-yarn.sh 
stopping yarn daemons
stopping resourcemanager
hadoop103: stopping nodemanager
hadoop102: stopping nodemanager
hadoop104: stopping nodemanager
no proxyserver to stop

5、刪除HDFS文件系統留存的文件（/opt/module/hadoop-2.7.2/data和/logs目錄）

[atguigu@hadoop102 hadoop-2.7.2]$ rm -rf data/ logs/
[atguigu@hadoop103 hadoop-2.7.2]$ rm -rf data/ logs/
[atguigu@hadoop104 hadoop-2.7.2]$ rm -rf data/ logs/

6、格式化NameNode

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format

7、啟動集群

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh 
Starting namenodes on [hadoop102]
hadoop102: starting namenode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-namenode-hadoop102.out
hadoop102: starting datanode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-datanode-hadoop102.out
hadoop104: starting datanode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-datanode-hadoop104.out
hadoop103: starting datanode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-datanode-hadoop103.out
Starting secondary namenodes [hadoop104]
hadoop104: starting secondarynamenode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-secondarynamenode-hadoop104.out

[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh 
starting yarn daemons
starting resourcemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-atguigu-resourcemanager-hadoop103.out
hadoop104: starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-atguigu-nodemanager-hadoop104.out
hadoop102: starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-atguigu-nodemanager-hadoop102.out
hadoop103: starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-atguigu-nodemanager-hadoop103.out

8、上傳數據測試

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -put /opt/module/hadoop-2.7.2/kongming.txt /
[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -put /opt/module/hadoop-2.7.2/README.txt /

9、查看目錄內容

[atguigu@hadoop102 subdir0]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/data1/current/BP-455082023-192.168.25.102-1549543741292/current/finalized/subdir0/subdir0
[atguigu@hadoop102 subdir0]$ ll
總用量 8
-rw-rw-r--. 1 atguigu atguigu 31 2月   7 20:56 blk_1073741825
-rw-rw-r--. 1 atguigu atguigu 11 2月   7 20:56 blk_1073741825_1001.meta
[atguigu@hadoop102 subdir0]$ cat blk_1073741825
wo shi kong ming 
我是孔明

------------------------------

[atguigu@hadoop102 subdir0]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/data2/current/BP-455082023-192.168.25.102-1549543741292/current/finalized/subdir0/subdir0
[atguigu@hadoop102 subdir0]$ ll
總用量 8
-rw-rw-r--. 1 atguigu atguigu 1366 2月   7 20:57 blk_1073741826
-rw-rw-r--. 1 atguigu atguigu   19 2月   7 20:57 blk_1073741826_1002.meta
[atguigu@hadoop102 subdir0]$ cat blk_1073741826
For the latest information about Hadoop, please visit our website at:

   http://hadoop.apache.org/core/

and our wiki, at:

   http://wiki.apache.org/hadoop/
......
......
[atguigu@hadoop102 subdir0]$ 

第7章 HDFS 2.X新特性

7.1 集群間數據拷貝

1、scp實現兩個遠程主機之間的文件復制

scp -r hello.txt root@hadoop103:/user/atguigu/hello.txt        // 推 push
scp -r root@hadoop103:/user/atguigu/hello.txt hello.txt    // 拉 pull
scp -r root@hadoop103:/user/atguigu/hello.txt root@hadoop104:/user/atguigu      // 是通過本地主機中轉實現兩個遠程主機的文件復制；如果在兩個遠程主機之間ssh沒有配置的情況下可以使用該方式。

2、采用distcp命令實現兩個Hadoop集群之間的遞歸數據復制

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop distcp hdfs://haoop102:9000/user/atguigu/hello.txt hdfs://hadoop103:9000/user/atguigu/hello.txt

7.2 小文件存檔

案例實操
（1）需要啟動YARN進程

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-yarn.sh

（2）歸檔文件
把/user/atguigu/input/目錄里面的所有文件歸檔成一個叫input.har的歸檔文件，並把歸檔后文件存儲到/user/atguigu/output/路徑下。

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop archive -archiveName input.har -p /user/atguigu/input/ /user/atguigu/output/

（3）查看歸檔

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -lsr /user/atguigu/output/input.har
[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -lsr har:///user/atguigu/output/input.har

（4）解歸檔文件

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -cp har:///user/atguigu/output/input.har/* /user/atguigu/

7.3 回收站

開啟回收站功能，可以將刪除的文件在不超時的情況下，恢復原數據，起到防止誤刪除、備份等作用。
1、回收站參數設置及工作機制

2、啟用回收站

修改core-site.xml，配置垃圾回收時間為1分鍾。

<property>
    <name>fs.trash.interval</name>
    <value>1</value>
</property>

3、查看回收站
回收站在集群中的路徑：/user/atguigu/.Trash/…
4、修改訪問垃圾回收站用戶名稱
進入垃圾回收站用戶名稱，默認是dr.who，修改為atguigu用戶
core-site.xml

<property>
    <name>hadoop.http.staticuser.user</name>
    <value>atguigu</value>
</property>

5、配置文件分發

[atguigu@hadoop102 hadoop]$ xsync core-site.xml

6、啟動集群

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh 

7、通過程序刪除的文件不會經過回收站，需要調用moveToTrash()才進入回收站

Trash trash = New Trash(conf);
trash.moveToTrash(path);

8、恢復回收站數據

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -mv /user/atguigu/.Trash/Current/user/atguigu/input/ /user/atguigu/input/

9、清空回收站

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -expunge

7.4 快照管理

案例實操
（1）開啟/禁用指定目錄的快照功能

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -allowSnapshot /user/atguigu/input/
Allowing snaphot on /user/atguigu/input/ succeeded

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -disallowSnapshot /user/atguigu/input/

（2）對目錄創建快照

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -createSnapshot /user/atguigu/input/
Created snapshot /user/atguigu/input/.snapshot/s20190207-221706.618

通過web訪問：http://hadoop102:50070/explorer.html#/user/atguigu/input/.snapshot/s20190207-221706.618 // 快照和源文件使用相同數據

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -lsr /user/atguigu/input/.snapshot/

（3）指定名稱創建快照

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -createSnapshot /user/atguigu/input miao190209

（4）重命名快照

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -renameSnapshot /user/atguigu/input/ miao190209 atguigu190209

（5）列出當前用戶所有可快照目錄

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs lsSnapshottableDir

（6）比較兩個快照目錄的不同之處

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs snapshotDiff /user/atguigu/input/ . .snapshot/atguigu190209

（7）恢復快照

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -cp /user/atguigu/input/.snapshot/s20190207-221706.618 /user/