Hadoop基本命令（記一次Hadoop課后實驗）

實驗平台：

• 操作系統：Centos7
• Hadoop 版本：2.10.0
• JDK 版本：8

實驗目的

• 理解 HDFS 在 Hadoop 體系結構中的角色
• 熟練使用 HDFS 操作常用的 Shell 命令；
• 熟悉 HDFS 操作常用的 Java API

實驗內容

一：編程實現以下功能，並利用Hadoop提供的Shell命令完成相同任務：

1.向HDFS中上傳任意文本文件，如果指定的文件在HDFS中已經存在，由用戶指定是追加到原有文件末尾還是覆蓋原有的文件

Shell命令:

1. 檢查文件是否存在

   hadoop fs -test -e text.txt
   

   

2. 上傳本地文件到HDFS系統的/workspace目錄

   hadoop fs -put text.txt 
   

   

3. 追加到文件末尾的指令

   hadoop fs -appendToFile local.txt text.txt
   

4. 查看和對比

   hadoop fs -cat text.txt
   

   

5. 覆蓋原來文件，第一種命令形式

hadoop fs -copyFromLocal -f local.txt test.txt

6. 覆蓋原來文件，第二種命令形式

hadoop fs -cp -f file:///home/godfrey/workspace/local.txt text.txt

2.從HDFS中下載指定文件，如果本地文件與要下載的文件名稱相同，則自動對下載的文件重命名

if $(hadoop fs -test -e /home/godfrey/workspace/text.txt);
then $(hadoop fs -copyToLocal text.txt ./text.txt); 
else $(hadoop fs -copyToLocal text.txt ./text2.txt); 
fi

3.將 HDFS 中指定文件的內容輸出到終端中

hadoop fs -cat text.txt

4.顯示 HDFS 中指定的文件的讀寫權限、大小、創建時間、路徑等信息

5.給定HDFS中某一個目錄，輸出該目錄下的所有文件的讀寫權限、大小、創建時間、路徑等信息，如果該文件是目錄，則遞歸輸出該目錄下所有文件相關信息

hadoop fs -ls -R -h /

6.提供一個HDFS內的文件的路徑，對該文件進行創建和刪除操作。如果文件所在目錄不存在，則自動創建目錄

if $(hadoop fs -test -d dir1/dir2);
then $(hadoop fs -touchz dir1/dir2/filename); 
else $(hadoop fs -mkdir -p dir1/dir2 && hdfs dfs -touchz dir1/dir2/filename); 
fi

hadoop fs -rm dir1/dir2/filename #刪除文件

7.提供一個HDFS的目錄的路徑，對該目錄進行創建和刪除操作。創建目錄時，如果目錄文件所在目錄不存在，則自動創建相應目錄；刪除目錄時，由用戶指定當該目錄不為空時是否還刪除該目錄

創建目錄的命令如下：

hadoop fs -mkdir -p dir1/dir2

刪除目錄的命令如下：

hadoop fs -rmdir dir1/dir2

上述命令執行以后，如果目錄非空，則會提示 not empty，刪除操作不會執行。如果要
強制刪除目錄，可以使用如下命令：

hadoop fs -rm -R dir1/dir2

8.向HDFS中指定的文件追加內容，由用戶指定內容追加到原有文件的開頭或結尾

追加到原文件末尾的命令如下：

hadoop fs -appendToFile local.txt text.txt

追加到原文件的開頭，在 HDFS 中不存在與這種操作對應的命令，因此，無法使用一條命令來完成。可以先移動到本地進行操作，再進行上傳覆蓋，具體命令如下：

hadoop fs -get text.txt
echo text.txt >> local.txt
hadoop fs -copyFromLocal -f text.txt text.txt

9.刪除 HDFS 中指定的文件

hadoop fs -rm text.txt

10.在HDFS中，將文件從源路徑移動到目的路徑

hadoop fs -mv text.txt text2.txt

二：編程實現一個類“MyFSDataInputStream”，該類繼承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：實現按行讀取HDFS中指定文件的方法“readLine()”，如果讀到文件末尾，則返回空，否則返回文件一行的文本。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.*;

public class MyFSDataInputStream extends FSDataInputStream {
  public MyFSDataInputStream(InputStream in) {
    super(in);
  }

  /**
   * 實現按行讀取 每次讀入一個字符，遇到"\n"結束，返回一行內容
   */
  public static String readline(BufferedReader br) throws IOException {

    char[] data = new char[1024];
    int read = -1;
    int off = 0;
    // 循環執行時，br 每次會從上一次讀取結束的位置繼續讀取
    // 因此該函數里，off 每次都從 0 開始
    while ((read = br.read(data, off, 1)) != -1) {
      if (String.valueOf(data[off]).equals("\n")) {
        off += 1;
        break;
      }
      off += 1;
    }
    if (off > 0) {
      return String.valueOf(data);
    } else {
      return null;
    }
  }

  /**
   * 讀取文件內容
   */
  public static void cat(Configuration conf, String remoteFilePath) throws IOException {
    FileSystem fs = FileSystem.get(conf);
    Path remotePath = new Path(remoteFilePath);
    FSDataInputStream in = fs.open(remotePath);
    BufferedReader br = new BufferedReader(new InputStreamReader(in));
    String line = null;
    while ((line = MyFSDataInputStream.readline(br)) != null) {
      System.out.println(line);
    }
    br.close();
    in.close();
    fs.close();
  }

  /**
   * 主函數
   */
  public static void main(String[] args) {
    Configuration conf = new Configuration();
    conf.set("fs.default.name", "hdfs://localhost:9000");
    String remoteFilePath = "/user/hadoop/text.txt"; // HDFS 路徑

    try {
      MyFSDataInputStream.cat(conf, remoteFilePath);
    } catch (Exception e) {
      e.printStackTrace();
    }
  }
}

三.查看 Java 幫助手冊或其它資料，用“java.net.URL”和“org.apache.hadoop.fs.FsURLStreamHandlerFactory”編程完成輸出 HDFS 中指定文件的文本到終端中

import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import java.io.*;
import java.net.URL;

public class HDFSApi {
    static {
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
    }

    /**
     * 主函數
     */
    public static void main(String[] args) throws Exception {
        String remoteFilePath = "hdfs:///user/hadoop/text.txt"; // HDFS 文件
        InputStream in = null;
        try {
            /* 通過 URL 對象打開數據流，從中讀取數據 */
            in = new URL(remoteFilePath).openStream();
            IOUtils.copyBytes(in, System.out, 4096, false);
        } finally {
            IOUtils.closeStream(in);
        }
    }
}

四、演示自帶的MapReduce示例(Wordcount)

查看演示的text.txt內容

在HDFS的根目錄下新建 input 目錄

hadoop fs -mkdir /input 

將本地的text.txt文件上傳到HDFS的 input 目錄下

hadoop fs -put text.txt /input

查看文件是否成功上傳到HDFS上面

hadoop fs -ls -R /

運行Wordcount示例程序

hadoop jar /opt/hadoop-2.10.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount /input /output

查看程序運行后產生的文件

hadoop fs -ls -R / 

查看程序最終的運行結果

hadoop fs -cat /output/part-r-00000