Hadoop如何修改HDFS文件存儲塊大小


一、 臨時修改可以在執行上傳文件命令時,顯示地指定存儲的塊大小。
1. 查看當前 HDFS文件塊大小
我這里查看HDFS上的TEST目錄下的jdk-7u25-linux-x64.gz  文件存儲塊大小。
1.1 終端命令方式查看
[xiaoyu@hadoop02 hadoop-1.1.2]$ ./bin/hadoop fs -stat "%o" TEST/jdk-7u25-linux-x64.gz
51200
單位為B(字節)
1.2  或頁面方式查看
打開haddop datanode節點的hdfs監控頁面:
http://hadoop01:50070
Hadoop如何修改HDFS文件存儲塊大小Hadoop如何修改HDFS文件存儲塊大小

如下所示:

Hadoop如何修改HDFS文件存儲塊大小

 


二、永久修改
這個需要修改hdfs-site.conf配置文件,增加全局參數dfs.block.size。
如下:

修改后參數

Hadoop如何修改HDFS文件存儲塊大小

把配置同步到其它節點,並重啟hdfs。
[xiaoyu@hadoop02 hadoop-1.1.2]$ bin/stop-dfs.sh
no namenode to stop
hadoop02: stopping datanode
hadoop01: stopping secondarynamenode
[xiaoyu@hadoop02 hadoop-1.1.2]$ bin/start-dfs.sh
starting namenode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-namenode-hadoop02.out
hadoop02: starting datanode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-datanode-hadoop02.out
hadoop01: starting secondarynamenode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-secondarynamenode-hadoop01.out

重新查看TEST/jdk-7u25-linux-x64.gz 文件存儲的塊大小:

Hadoop如何修改HDFS文件存儲塊大小

重新上傳文件到HDFS,並重命名為 比較用_jdk-7u25-linux-x64.gz

Hadoop如何修改HDFS文件存儲塊大小


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM