2分鍾理解文件IO -我對文件IO的理解與實驗對比

本文介紹了不同的IO方式以及他們之間的效率比較

1.一次讀取寫入單個字節（讀取400M的文件浪費了很久，等了很久沒讀取完成，證明其效率很差）

 

public class CopyFileDemo {
    public static void main(String[] args) throws IOException {
        FileInputStream fis = new FileInputStream("a.txt");
        FileOutputStream fos = new FileOutputStream("b.txt");
        
        // 方式一:一次讀取寫入單個字節
        int i = 0;
        while ((i = fis.read()) != -1) {
            fos.write(i);
        }
        fos.close();
        fis.close();
    }
}

 

 

 

2.一次讀取寫入多個字節（讀取400M的文件700ms）

public class CopyFileDemo {
public static void main(String[] args) throws IOException {
　　FileInputStream fis = new FileInputStream("a.txt");
　　FileOutputStream fos = new FileOutputStream("b.txt");
　　// 方式二:一次讀取寫入一個字節數組
　　byte[] by = new byte[1024];
　　int len = 0;
　　while ((len = fis.read(by)) != -1) {
　　　　fos.write(by, 0, len);
　　}
　　fos.close();
　　fis.close(); 
　　}
}

3.文件流輸入輸出（讀取400M的文件5000ms,為什么更慢呢，猜測是readline這里，大神可以指出來）

public class CopyFileDemo3 {
public static void main(String[] args) throws IOException {
    BufferedReader br=new BufferedReader(new FileReader("a.txt"));
    //如果d文件中有數據,true表示繼續往文件中追加數據
    BufferedWriter bw=new BufferedWriter(new FileWriter("d.txt",true));

    String line=null;
    //高效字符輸入流的特有方法readline(),每次讀取一行數據
    while((line=br.readLine())!=null){
        bw.write(line);
        //高效字符輸出流的特有方法newline()
        bw.newLine();
        //將緩沖區中的數據刷到目的地文件中
        bw.flush();
    }
    //關閉流，其實關閉的就是java調用的系統底層資源。在關閉前，會先刷新該流。
    bw.close();
    br.close();
}
}

BufferedInputStream 會根據情況自動為我們預讀更多的字節數據到它自己維護的一個內部字節數組緩沖區中，這樣我們便可以減少系統調用次數，從而達到其緩沖區的目的。所以要明確的一點是 BufferedInputStream 的作用不是減少 磁盤IO操作次數（這個OS已經幫我們做了），而是通過減少系統調用次數來提高性能的。

 

 

4.NIO讀取 （400M的視頻文件，讀取要長達700ms）

public class ReadDemo{
public static void main(String[] args) throws IOException {
     File file = new File("sdtgj.mp4");  
     FileInputStream in = new FileInputStream(file);  
     FileChannel channel = in.getChannel();  
     ByteBuffer buff = ByteBuffer.allocate(1024);   
       
     long begin = System.currentTimeMillis();  
     while (channel.read(buff) != -1) {  
         buff.flip();  
         buff.clear();  
     }  
     long end = System.currentTimeMillis();  
     System.out.println("time is:" + (end - begin)+"毫秒   "+"讀取 "+file.getName());  
}
}

 

5.內存映射讀取 （400M的視頻文件，讀取只要100ms）

 

public class ReadDemo{
 
     static final int BUFFER_SIZE = 1024;  
      
        public static void main(String[] args) throws Exception {  
      
            File file = new File("sdtgj.mp4");  
            FileInputStream in = new FileInputStream(file);  
            FileChannel channel = in.getChannel();  
            MappedByteBuffer buff = channel.map(FileChannel.MapMode.READ_ONLY, 0,  
                    channel.size());  
      
            byte[] b = new byte[1024];  
            int len = (int) file.length();  
      
            long begin = System.currentTimeMillis();  
      
            for (int offset = 0; offset < len; offset += 1024) {  
      
                if (len - offset > BUFFER_SIZE) {  
                    buff.get(b);  
                } else {  
                    buff.get(new byte[len - offset]);  
                }  
            }  
      
            long end = System.currentTimeMillis();  
            System.out.println("time is:" + (end - begin)+"毫秒   "+"讀取 "+file.getName()); 
      
        }  
}

 

MappedByteBuffer 不受JVM堆大小控制，速度最快。

MappedByteBuffer 的要點：

1. java通過java.nio包來支持內存映射IO。
2. 內存映射文件主要用於性能敏感的應用，例如高頻電子交易平台。
3. 通過使用內存映射IO，你可以將大文件加載到內存。
4. 內存映射文件可能導致頁面請求錯誤，如果請求頁面不在內存中的話。
5. 映射文件區域的能力取決於於內存尋址的大小。在32位機器中，你不能訪問超過4GB或2 ^ 32（以上的文件）。
6. 內存映射IO比起Java中的IO流要快的多。
7. 加載文件所使用的內存是Java堆區之外，並駐留共享內存，允許兩個不同進程共享文件。
8. 內存映射文件讀寫由操作系統完成，所以即使在將內容寫入內存后java程序崩潰了，它將仍然會將它寫入文件直到操作系統恢復。
9. 出於性能考慮，推薦使用直接字節緩沖而不是非直接緩沖。
10. 不要頻繁調用MappedByteBuffer.force()方法，這個方法意味着強制操作系統將內存中的內容寫入磁盤，所以如果你每次寫入內存映射文件都調用force()方法，你將不會體會到使用映射字節緩沖的好處，相反，它(的性能)將類似於磁盤IO的性能。
11. 萬一發生了電源故障或主機故障，將會有很小的機率發生內存映射文件沒有寫入到磁盤，這意味着你可能會丟失關鍵數據。