Java零拷貝

1、摘要

零拷貝的“零”是指用戶態和內核態間copy數據的次數為零。

傳統的數據copy（文件到文件、client到server等）涉及到四次用戶態內核態切換、四次copy。四次copy中，兩次在用戶態和內核態間copy需要CPU參與、兩次在內核態與IO設備間copy為DMA方式不需要CPU參與。零拷貝避免了用戶態和內核態間的copy、減少了兩次用戶態內核態間的切換。

2、介紹

java 的zero copy多在網絡應用程序中使用。Java的libaries在linux和unix中支持zero copy，關鍵的api是java.nio.channel.FileChannel的transferTo()，transferFrom()方法。我們可以用這兩個方法來把bytes直接從調用它的channel傳輸到另一個writable byte channel，中間不會使data經過應用程序，以便提高數據轉移的效率。

許多web應用都會向用戶提供大量的靜態內容，這意味着有很多data從硬盤讀出之后，會原封不動的通過socket傳輸給用戶。這種操作看起來可能不會怎么消耗CPU，但是實際上它是低效的：kernal把數據從disk讀出來，然后把它傳輸給user級的application，然后application再次把同樣的內容再傳回給處於kernal級的socket。這種場景下，application實際上只是作為一種低效的中間介質，用來把disk file的data傳給socket。

data每次穿過user-kernel boundary，都會被copy，這會消耗cpu，並且占用RAM的帶寬。幸運的是，你可以用一種叫做Zero-Copy的技術來去掉這些無謂的 copy。應用程序用zero copy來請求kernel直接把disk的data傳輸給socket，而不是通過應用程序傳輸。Zero copy大大提高了應用程序的性能，並且減少了kernel和user模式的上下文切換

使用kernel buffer做中介(而不是直接把data傳到user buffer中)看起來比較低效(多了一次copy)。然而實際上kernel buffer是用來提高性能的。在進行讀操作的時候，kernel buffer起到了預讀cache的作用。當寫請求的data size比kernel buffer的size小的時候，這能夠顯著的提升性能。在進行寫操作時，kernel buffer的存在可以使得寫請求完全異步。

悲劇的是，當請求的data size遠大於kernel buffer size的時候，這個方法本身變成了性能的瓶頸。因為data需要在disk，kernel buffer，user buffer之間拷貝很多次(每次寫滿整個buffer)。

而Zero copy正是通過消除這些多余的data copy來提升性能。

3、傳統方式及涉及到的上下文切換

通過網絡把一個文件傳輸給另一個程序，在OS的內部，這個copy操作要經歷四次user mode和kernel mode之間的上下文切換，甚至連數據都被拷貝了四次，如下圖：

具體步驟如下：

1. read() 調用導致一次從user mode到kernel mode的上下文切換。在內部調用了sys_read() 來從文件中讀取data。第一次copy由DMA (direct memory access)完成，將文件內容從disk讀出，存儲在kernel的buffer中。
2. 然后請求的數據被copy到user buffer中，此時read()成功返回。調用的返回觸發了第二次context switch: 從kernel到user。至此，數據存儲在user的buffer中。
3. send() Socket call 帶來了第三次context switch，這次是從user mode到kernel mode。同時，也發生了第三次copy：把data放到了kernel adress space中。當然，這次的kernel buffer和第一步的buffer是不同的buffer。
4. 最終 send() system call 返回了，同時也造成了第四次context switch。同時第四次copy發生，DMA egine將data從kernel buffer拷貝到protocol engine中。第四次copy是獨立而且異步的。

 

 

4、zero copy方式及涉及的上下文轉換

在linux 2.4及以上版本的內核中(如linux 6或centos 6以上的版本），開發者修改了socket buffer descriptor，使網卡支持 gather operation，通過kernel進一步減少數據的拷貝操作。這個方法不僅減少了context switch，還消除了和CPU有關的數據拷貝。user層面的使用方法沒有變，但是內部原理卻發生了變化：

transferTo()方法使得文件內容被copy到了kernel buffer，這一動作由DMA engine完成。 沒有data被copy到socket buffer。取而代之的是socket buffer被追加了一些descriptor的信息，包括data的位置和長度。然后DMA engine直接把data從kernel buffer傳輸到protocol engine，這樣就消除了唯一的一次需要占用CPU的拷貝操作。

 

5、Java NIO 零拷貝示例

NIO中的FileChannel擁有transferTo和transferFrom兩個方法，可直接把FileChannel中的數據拷貝到另外一個Channel，或直接把另外一個Channel中的數據拷貝到FileChannel。該接口常被用於高效的網絡/文件的數據傳輸和大文件拷貝。在操作系統支持的情況下，通過該方法傳輸數據並不需要將源數據從內核態拷貝到用戶態，再從用戶態拷貝到目標通道的內核態，同時也避免了兩次用戶態和內核態間的上下文切換，也即使用了“零拷貝”，所以其性能一般高於Java IO中提供的方法。

5.1、通過網絡把一個文件從client傳到server：

/**
 * disk-nic零拷貝
 */
class ZerocopyServer {
    ServerSocketChannel listener = null;

    protected void mySetup() {
        InetSocketAddress listenAddr = new InetSocketAddress(9026);

        try {
            listener = ServerSocketChannel.open();
            ServerSocket ss = listener.socket();
            ss.setReuseAddress(true);
            ss.bind(listenAddr);
            System.out.println("監聽的端口:" + listenAddr.toString());
        } catch (IOException e) {
            System.out.println("端口綁定失敗 : " + listenAddr.toString() + " 端口可能已經被使用,出錯原因: " + e.getMessage());
            e.printStackTrace();
        }

    }

    public static void main(String[] args) {
        ZerocopyServer dns = new ZerocopyServer();
        dns.mySetup();
        dns.readData();
    }

    private void readData() {
        ByteBuffer dst = ByteBuffer.allocate(4096);
        try {
            while (true) {
                SocketChannel conn = listener.accept();
                System.out.println("創建的連接: " + conn);
                conn.configureBlocking(true);
                int nread = 0;
                while (nread != -1) {
                    try {
                        nread = conn.read(dst);
                    } catch (IOException e) {
                        e.printStackTrace();
                        nread = -1;
                    }
                    dst.rewind();
                }
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

class ZerocopyClient {
    public static void main(String[] args) throws IOException {
        ZerocopyClient sfc = new ZerocopyClient();
        sfc.testSendfile();
    }

    public void testSendfile() throws IOException {
        String host = "localhost";
        int port = 9026;
        SocketAddress sad = new InetSocketAddress(host, port);
        SocketChannel sc = SocketChannel.open();
        sc.connect(sad);
        sc.configureBlocking(true);

        String fname = "src/main/java/zerocopy/test.data";
        FileChannel fc = new FileInputStream(fname).getChannel();
        long start = System.nanoTime();
        long nsent = 0, curnset = 0;
        curnset = fc.transferTo(0, fc.size(), sc);
        System.out.println("發送的總字節數:" + curnset + " 耗時(ns):" + (System.nanoTime() - start));
        try {
            sc.close();
            fc.close();
        } catch (IOException e) {
            System.out.println(e);
        }
    }
}

5.2、文件到文件的零拷貝：

/**
 * disk-disk零拷貝
 */
class ZerocopyFile {
    @SuppressWarnings("resource")
    public static void transferToDemo(String from, String to) throws IOException {
        FileChannel fromChannel = new RandomAccessFile(from, "rw").getChannel();
        FileChannel toChannel = new RandomAccessFile(to, "rw").getChannel();

        long position = 0;
        long count = fromChannel.size();

        fromChannel.transferTo(position, count, toChannel);

        fromChannel.close();
        toChannel.close();
    }

    @SuppressWarnings("resource")
    public static void transferFromDemo(String from, String to) throws IOException {
        FileChannel fromChannel = new FileInputStream(from).getChannel();
        FileChannel toChannel = new FileOutputStream(to).getChannel();

        long position = 0;
        long count = fromChannel.size();

        toChannel.transferFrom(fromChannel, position, count);

        fromChannel.close();
        toChannel.close();
    }

    public static void main(String[] args) throws IOException {
        String from = "src/main/java/zerocopy/1.data";
        String to = "src/main/java/zerocopy/2.data";
        // transferToDemo(from,to);
        transferFromDemo(from, to);
    }
}

6、參考資料

https://my.oschina.net/cloudcoder/blog/299944