5.hadoop常用命令

1. 單獨啟動和關閉hadoop服務

1. 啟動名稱節點

   #hadoop-daemon.sh start namenode
   

2. 啟動數據節點

   #hadoop-daemons.sh start datanode slave
   

3. 啟動secondarynamenode

   #hadoop-daemon.sh start secondarynamenode
   

4. 啟動resourcemanager

   #yarn-daemon.sh start resourcemanager
   

5. 啟動nodemanager

   #bin/yarn-daemons.sh start nodemanager
   

6. 停止數據節點

   #hadoop-daemons.sh stop datanode
   

2. 常用的命令

1. 創建目錄

   #hdfs dfs -mkdir /input
   

2. 查看

   #hdfs dfs  -ls
   

3. 遞歸查看

   #hdfs dfs ls -R
   

4. 上傳

   #hdfs dfs -put 
   

5. 下載

   #hdfs dfs -get 
   

6. 刪除

   #hdfs dfs -rm
   

7. 從本地剪切粘貼到hdfs

   #hdfs fs -moveFromLocal /input/xx.txt /input/xx.txt
   

8. 從hdfs剪切粘貼到本地

   #hdfs fs -moveToLocal /input/xx.txt /input/xx.txt
   

9. 追加一個文件到另一個文件到末尾

   #hdfs fs -appedToFile ./hello.txt /input/hello.txt
   

10. 查看文件內容

    #hdfs fs -cat /input/hello.txt
    

11. 顯示一個文件到末尾

    #hdfs fs -tail /input/hello.txt
    

12. 以字符串的形式打印文件的內容

    #hdfs fs -text /input/hello.txt
    

13. 修改文件權限

    #hdfs fs -chmod 666 /input/hello.txt
    

14. 修改文件所屬

    #hdfs fs -chown liuyao.liuyao  /input/hello.txt
    

15. 從本地文件系統拷貝到hdfs里

    #hdfs fs -copyFromLocal /input/hello.txt /input/
    

16. 從hdfs拷貝到本地

    #hdfs fs -copyToLocal /input/hello.txt /input/
    

17. 從hdfs到一個路徑拷貝到另一個路徑

    #hdfs fs -cp /input/xx.txt /output/xx.txt
    

18. 從hdfs到一個路徑移動到另一個路徑

    #hdfs fs -mv /input/xx.txt /output/xx.txt
    

19. 統計文件系統的可用空間信息

    #hdfs fs -df -h /
    

20. 統計文件夾的大小信息

    #hdfs fs -du -s -h /
    

21. 統計一個指定目錄下的文件節點數量

    #hadoop  fs -count /aaa
    

22. 設置hdfs的文件副本數量

    #hadoop fs -setrep 3 /input/xx.txt