1，hdfs的概述
HDFS的文件塊：（面試也是常聊的）
塊級大小可通過配置參數（dfs.dlocksize）來規定的，如果在完全分布式情況下，默認hadoop2.x版本大是128M，在本本地模式下是64M的。老版本是64M。
傳輸一個由多個塊組成的文件的時間取決於磁盤傳輸速率。
如果尋址時間約為10ms,而傳輸速率為100MB/s。為了使尋址時間占傳輸時間的1%，我們要設置塊大小約為100MB默認的塊大小為128MB.
HDFS 架構 由四個部分組成：HDFS Client、NameNode、DataNode 和 Secondary
NameNode
client客戶端：
當文件上傳 HDFS 的時候，Client 將文件切分成一個一個的 Block，然后進行存儲。
與 NameNode 交互，獲取文件的位置信息
與 DataNode 交互，讀取或者寫入數據
NameNode相當於一個管理者，是老大了
管理 HDFS 的名稱空間
管理數據塊（Block）映射信息
配置副本策略
處理客戶端讀寫請求
DataNode就是slave
存儲實際的數據塊
執行數據塊的讀/寫操作
secondary NameNode
輔助 NameNode，分擔其工作量。
定期合並 Fsimage 和 Edits，並推送給 NameNode
在緊急情況下，可輔助恢復 NameNode
2，HDFS命令行操作熟練
hadoop fs
hadoop fs -help rm 幫助
hadoop fs -ls 顯示目錄信息，遞歸-lsr
hadoop fs -mkdir /user/tguigu 在hdfs上創建目錄
hadoop fs -moveFromlocal test.txt /user/tguigu/data 從本地剪切粘貼到hdfs
hadoop fs -appendTofile test.txt /user/tguigudata/test.txt 追加一個文件到已經存在的文件末尾
hadoop fs -cat 顯示文件內容
hadoop fs -tail 顯示一個文件的末尾
hadoop fs -cp /user/tguigu/../x.txt /user/tguigu/test../ 從hdfs的一個路徑拷貝到hdfs的另一個路徑
hadoop fs -mv /user/tguigu/../x.txt /.../ 在hdfs目錄中移動文件
hadoop fs -get /user/tguigu/../x.txt ./ 等同於copyToLocal,就是從hdfs下載文件到本地
hadoop fs -getmerge /user/tguigu//test/* ./zaiyiqi.txt 合並下載多個文件
hadoop fs -put 等同於copyFromLocal上傳
hadoop fs -rm 刪除文件或文件夾
hadoop fs -rmdir 刪除空目錄
hadoop fs -df 統計文件系統的可用空間
hadoop fs -du 統計文件的大小信息
hadoop fs -setrep 設置hdfs中文件的副本量數
---------------------
作者：realize_dream
來源：CSDN
原文：https://blog.csdn.net/realize_dream/article/details/84929347
版權聲明：本文為博主原創文章，轉載請附上博文鏈接！