-
分布式系統執行介紹
-
常用命令的簡介和使用
1 HDFS是一個分布式文件系統，而對於一個文件系統來講，文件的存取是最頻繁的操作，了解HDFS中讀取和寫入文件的流程更有利於我們理解HDFS分布式文件系統架構
-
- 通過HDFS讀取文件
- 通過HDFS寫入文件
- HDFS的基本文件操作命令（需要切換到bin目錄下執行hadoop命令）
1.顯示命令的幫助信息
-
- 語法格式：hadoop fs -help --> 獲取所有命名幫助信息
- hadoop fs -help ls --> 查看命令幫助的參考
2.創建文件夾
-
- 語法格式： ./hadoop fs -mkdir /+目錄名
3.顯示當前目錄下所有文件
-
- 語法格式：hadoop fs -ls(r)<path> patn是hadoop下的路徑
4.本地文件上傳到hdfs
-
- 語法格式：hadoop fs -put +文件名 + 目的地址
5.更改文件權限
-
- 語法格式：hadoop fs -chmod +文件夾名
- -R 遞歸更改
6.顯示目錄中所有文件大小
-
- 語法格式：hadoop fs -du+ 目錄名
7.顯示目錄中文件數量
-
- 語法格式：hadoop fs -count + 目錄名
8.移動多個文件到目標目錄
-
- 語法格式：hadoop fs -mv +文件名 目標路徑
9.復制多個文件到目標目錄
-
- 語法格式：hadoop fs -cp + 文件名 目標路徑
10.刪除文件(目錄)
-
- 語法格式：hadoop fs -rm(r) + 文件名(目錄)
11.從本地文件移動到hdfs/從hdfs把文件移動到本地
-
- 語法格式：hadoop fs -moveFromLocal 本地文件 目標路徑
- 語法格式：hadoop fs -moveToLocal hdfs文件 目標路徑
12.復制文件到本地，可以忽略crc校驗
-
- 語法格式：hadoop fs -get +文件名字
13.在終端顯示文件內容
-
- 語法格式：hadoop fs -cat +目標名字
如果在上傳文件過程中出現以上信息，表示hdfs權限不夠，可以在hadoop配置文件中hdfs-site.xml中設置權限為false
