Java NIO系列教程（八）JDK AIO編程

目錄：

Reactor（反應堆）和Proactor（前攝器）

《I/O模型之三：兩種高性能 I/O 設計模式 Reactor 和 Proactor》

《【轉】第8章 前攝器（Proactor）：用於為異步事件多路分離和分派處理器的對象行為模式》

《Java NIO系列教程（八）JDK AIO編程》-- java AIO的proactor模式

《Java NIO系列教程（七） selector原理 Epoll版的Selector》--java NIO的Reactor模式

《Netty中的三種Reactor（反應堆）》 

 

NIO2.0引入了新的異步通道的概念，並提供了異步文件通道和異步套接字通道的實現。異步通道提供兩種方式獲取獲取操作結果。

1. 通過java.util.concurrent.Future類來表示異步操作的結果；
2. 在執行異步操作的時候傳入一個java.nio.channels。

CompletionHandler接口的實現類作為操作完成的回調。

NIO2.0的異步套接字通道是真正的異步非阻塞I/O，它對應UNIX網絡編程中的事件驅動I/O（AIO），它不需要通過多路復用器（Selector）對注冊的通道進行輪詢操作即可實現異步讀寫，從而簡化了NIO的編程模型。

 

一、異步通道API

1.1、AsynchronousChannel接口

java.nio.channels.AsynchronousChannel：標記一個channel支持異步IO操作。有主要的三個實現類：AsynchronousFileChannel,AsynchronousSocketChannel, and AsynchronousServerSocketChannel。

file：

AsynchronousFileChannel跟FileChannel區別：不保存全局的position和offset，可以制定訪問位置，也支持並發訪問文件不同。

socket：

AsynchronousServerSocketChannel：ServerSocket的aio版本，創建TCP服務端，綁定地址，監聽端口等。

AsynchronousSocketChannel：面向流的異步socket channel，表示一個連接。

AsynchronousServerSocketChannel和AsynchronousSocketChannel能夠綁定到一個制定線程池的組中，這個線程池能夠用future或者CompletionHandler來對執行結果進行處理。

1.2、AsynchronousChannelGroup

　　異步channel的分組管理，目的是為了資源共享。一個AsynchronousChannelGroup綁定一個線程池，這個線程池執行兩個任務：處理IO事件和派發CompletionHandler。AsynchronousServerSocketChannel創建的時候可以傳入一個AsynchronousChannelGroup，那么通過AsynchronousServerSocketChannel創建的 AsynchronousSocketChannel將同屬於一個組，共享資源。

AsynchronousChannelGroup.java:

package java.nio.channels;
public abstract class AsynchronousChannelGroup {
    public static AsynchronousChannelGroup withFixedThreadPool(int nThreads, ThreadFactory threadFactory);
    public static AsynchronousChannelGroup withCachedThreadPool(ExecutorService executor,int initialSize);
    public static AsynchronousChannelGroup withThreadPool(ExecutorService executor)​​​;
}

1.3、CompletionHandler：用戶處理器

異步IO操作結果的回調接口，用於定義在IO操作完成后所作的回調工作。AIO的API允許兩種方式來處理異步操作的結果：返回的Future模式或者注冊CompletionHandler，我更推薦用CompletionHandler的方式，這些handler的調用是由AsynchronousChannelGroup的線程池派發的。顯然，線程池的大小是性能的關鍵因素。AsynchronousChannelGroup允許綁定不同的線程池，通過上面三個靜態方法來創建，需要根據具體應用相應調整，從框架角度出發，需要暴露這樣的配置選項給用戶。

 

在介紹完了aio引入的TCP的主要接口和類之后，我們來設想下一個aio框架應該怎么設計。參考非阻塞nio框架的設計，一般都是采用 Reactor模式，Reacot負責事件的注冊、select、事件的派發；相應地，異步IO有個 Proactor模式，Proactor負責 CompletionHandler的派發，查看一個典型的IO寫操作的流程來看兩者的區別：

     Reactor：send(msg) -> 消息隊列是否為空，如果為空  -> 向Reactor注冊OP_WRITE，然后返回 -> Reactor select -> 觸發Writable，通知用戶線程去處理 ->先注銷Writable(很多人遇到的cpu 100%的問題就在於沒有注銷）,處理Writeable，如果沒有完全寫入，繼續注冊OP_WRITE。注意到，寫入的工作還是用戶線程在處理。
     Proactor：send(msg) -> 消息隊列是否為空，如果為空,發起read異步調用，並注冊CompletionHandler，然后返回。 -> 操作系統負責將你的消息寫入，並返回結果（寫入的字節數）給Proactor -> Proactor派發CompletionHandler。可見，寫入的工作是操作系統在處理，無需用戶線程參與。事實上在aio的API 中, AsynchronousChannelGroup就扮演了Proactor的角色。

    CompletionHandler有三個方法，分別對應於處理成功、失敗、被取消（通過返回的Future)情況下的回調處理：

package java.nio.channels;

public interface CompletionHandler<V,A> {  
  
    void completed(V result, A attachment);  
  
    void failed(Throwable exc, A attachment);  
}  

其中的泛型參數V表示IO調用的結果，而A是發起調用時傳入的attchment。

 

以一個簡單監聽服務端為例，基本過程是： 
1.    啟動一個服務端通道
2.    定義一個事件處理器，用戶事件完成的時候處理，如消費數據。
3.    向系統注冊一個感興趣的事件，如接受數據，並把事件完成的處理器傳遞給系統。
4.    都已經交待完畢，可以只管繼續做自己的事情了，操作系統在完成事件后通過其他的線程會自動調用處理器完成事件處理。

以下用一個例子來簡單實現，一個服務端和客戶端。服務端監聽客戶端的消息，並打印出來。

package com.dxz.springsession.nio.demo5;

import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.AsynchronousServerSocketChannel;
import java.nio.channels.AsynchronousSocketChannel;
import java.nio.channels.CompletionHandler;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.Future;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.TimeoutException;

public class AIOServer {
    public final static int PORT = 9888;
    private AsynchronousServerSocketChannel server;

    public AIOServer() throws IOException {
        server = AsynchronousServerSocketChannel.open().bind(new InetSocketAddress(PORT));
    }

    public void startWithFuture() throws InterruptedException, ExecutionException, TimeoutException {
        System.out.println("Server listen on " + PORT);
        Future<AsynchronousSocketChannel> future = server.accept();
        AsynchronousSocketChannel socket = future.get();
        ByteBuffer readBuf = ByteBuffer.allocate(1024);
        readBuf.clear();
        socket.read(readBuf).get(100, TimeUnit.SECONDS);
        readBuf.flip();
        System.out.printf("received message:" + new String(readBuf.array()));
        System.out.println(Thread.currentThread().getName());

    }

    public void startWithCompletionHandler() throws InterruptedException, ExecutionException, TimeoutException {
        System.out.println("Server listen on " + PORT);
        // 注冊事件和事件完成后的處理器
        server.accept(null, new CompletionHandler<AsynchronousSocketChannel, Object>() {
            final ByteBuffer buffer = ByteBuffer.allocate(1024);

            public void completed(AsynchronousSocketChannel result, Object attachment) {
                System.out.println(Thread.currentThread().getName());
                System.out.println("start");
                try {
                    buffer.clear();
                    result.read(buffer).get(100, TimeUnit.SECONDS);
                    buffer.flip();
                    System.out.println("received message: " + new String(buffer.array()));
                } catch (InterruptedException | ExecutionException e) {
                    System.out.println(e.toString());
                } catch (TimeoutException e) {
                    e.printStackTrace();
                } finally {

                    try {
                        result.close();
                        server.accept(null, this);
                    } catch (Exception e) {
                        System.out.println(e.toString());
                    }
                }

                System.out.println("end");
            }

            @Override
            public void failed(Throwable exc, Object attachment) {
                System.out.println("failed: " + exc);
            }
        });
        // 主線程繼續自己的行為
        while (true) {
            System.out.println("main thread");
            Thread.sleep(1000);
        }

    }

    public static void main(String args[]) throws Exception {
        new AIOServer().startWithCompletionHandler();
    }
}

//客戶端
package com.dxz.springsession.nio.demo5;

import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.AsynchronousSocketChannel;

public class AIOClient {

    public static void main(String... args) throws Exception {
        AsynchronousSocketChannel client = AsynchronousSocketChannel.open();
        client.connect(new InetSocketAddress("localhost", 9888));
        client.write(ByteBuffer.wrap("test".getBytes())).get();
    }
}

 

示例2：

import java.io.IOException;

public class TimeServer {

    public static void main(String[] args) throws IOException {
        int port = 8080;
        if (args != null && args.length > 0) {
            try {
                port = Integer.valueOf(args[0]);
            } catch (NumberFormatException e) {
                // 采用默認值
            }
        }
        //首先創建異步的時間服務器處理類，然后啟動線程將AsyncTimeServerHandler啟動
        AsyncTimeServerHandler timeServer = new AsyncTimeServerHandler(port);
        new Thread(timeServer, "AIO-AsyncTimeServerHandler-001").start();
    }
}


import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.AsynchronousServerSocketChannel;
import java.nio.channels.AsynchronousSocketChannel;
import java.nio.channels.CompletionHandler;
import java.util.concurrent.CountDownLatch;


public class AsyncTimeServerHandler implements Runnable {


    CountDownLatch latch;
    AsynchronousServerSocketChannel asynchronousServerSocketChannel;

    public AsyncTimeServerHandler(int port) {
        //在構造方法中，我們首先創建一個異步的服務端通道AsynchronousServerSocketChannel，
        //然后調用它的bind方法綁定監聽端口，如果端口合法且沒被占用，綁定成功，打印啟動成功提示到控制台。
        try {
            asynchronousServerSocketChannel = AsynchronousServerSocketChannel.open();
            asynchronousServerSocketChannel.bind(new InetSocketAddress(port));
            System.out.println("The time server is start in port : " + port);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    @Override
    public void run() {
        //在線程的run方法中，初始化CountDownLatch對象，
        //它的作用是在完成一組正在執行的操作之前，允許當前的線程一直阻塞。
        //在本例程中，我們讓線程在此阻塞，防止服務端執行完成退出。
        //在實際項目應用中，不需要啟動獨立的線程來處理AsynchronousServerSocketChannel，這里僅僅是個demo演示。
        latch = new CountDownLatch(1);
        doAccept();
        try {
            latch.await();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

    //用於接收客戶端的連接，由於是異步操作，
    //我們可以傳遞一個CompletionHandler＜AsynchronousSocketChannel,? super A＞類型的handler實例接收accept操作成功的通知消息，
    //在本例程中我們通過AcceptCompletionHandler實例作為handler來接收通知消息，
    public void doAccept() {
        asynchronousServerSocketChannel.accept(this, new CompletionHandler<AsynchronousSocketChannel, AsyncTimeServerHandler>() {
            @Override
            public void completed(AsynchronousSocketChannel result,
                                  AsyncTimeServerHandler attachment) {
                //我們從attachment獲取成員變量AsynchronousServerSocketChannel，然后繼續調用它的accept方法。
                //在此可能會心存疑惑：既然已經接收客戶端成功了，為什么還要再次調用accept方法呢？
                //原因是這樣的：當我們調用AsynchronousServerSocketChannel的accept方法后，
                //如果有新的客戶端連接接入，系統將回調我們傳入的CompletionHandler實例的completed方法，
                //表示新的客戶端已經接入成功，因為一個AsynchronousServerSocket Channel可以接收成千上萬個客戶端，
                //所以我們需要繼續調用它的accept方法，接收其他的客戶端連接，最終形成一個循環。
                //每當接收一個客戶讀連接成功之后，再異步接收新的客戶端連接。
                attachment.asynchronousServerSocketChannel.accept(attachment, this);
                //鏈路建立成功之后，服務端需要接收客戶端的請求消息，
                //創建新的ByteBuffer，預分配1M的緩沖區。
                ByteBuffer buffer = ByteBuffer.allocate(1024);
                //通過調用AsynchronousSocketChannel的read方法進行異步讀操作。
                //下面我們看看異步read方法的參數。
                //ByteBuffer dst：接收緩沖區，用於從異步Channel中讀取數據包；
                //A attachment：異步Channel攜帶的附件，通知回調的時候作為入參使用；
                //CompletionHandler＜Integer,? super A＞：接收通知回調的業務handler，本例程中為ReadCompletionHandler。
                result.read(buffer, buffer, new ReadCompletionHandler(result));
            }

            @Override
            public void failed(Throwable exc, AsyncTimeServerHandler attachment) {
                exc.printStackTrace();
                attachment.latch.countDown();
            }
        });
    }

}

import java.io.IOException;
import java.io.UnsupportedEncodingException;
import java.nio.ByteBuffer;
import java.nio.channels.AsynchronousSocketChannel;
import java.nio.channels.CompletionHandler;

public class ReadCompletionHandler implements CompletionHandler<Integer, ByteBuffer> {

    private AsynchronousSocketChannel channel;

    public ReadCompletionHandler(AsynchronousSocketChannel channel) {
        //將AsynchronousSocketChannel通過參數傳遞到ReadCompletion Handler中當作成員變量來使用
        //主要用於讀取半包消息和發送應答。本例程不對半包讀寫進行具體說明
        if (this.channel == null)
            this.channel = channel;
    }

    @Override
    public void completed(Integer result, ByteBuffer attachment) {
        //讀取到消息后的處理，首先對attachment進行flip操作，為后續從緩沖區讀取數據做准備。
        attachment.flip();
        //根據緩沖區的可讀字節數創建byte數組
        byte[] body = new byte[attachment.remaining()];
        attachment.get(body);
        try {
            //通過new String方法創建請求消息，對請求消息進行判斷，
            //如果是"QUERY TIME ORDER"則獲取當前系統服務器的時間，
            String req = new String(body, "UTF-8");
            System.out.println("The time server receive order : " + req);
            String currentTime = "QUERY TIME ORDER".equalsIgnoreCase(req) ? new java.util.Date(
                    System.currentTimeMillis()).toString() : "BAD ORDER";
            //調用doWrite方法發送給客戶端。
            doWrite(currentTime);
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }
    }

    private void doWrite(String currentTime) {
        if (currentTime != null && currentTime.trim().length() > 0) {
            //首先對當前時間進行合法性校驗，如果合法，調用字符串的解碼方法將應答消息編碼成字節數組，
            //然后將它復制到發送緩沖區writeBuffer中，
            byte[] bytes = (currentTime).getBytes();
            ByteBuffer writeBuffer = ByteBuffer.allocate(bytes.length);
            writeBuffer.put(bytes);
            writeBuffer.flip();
            //最后調用AsynchronousSocketChannel的異步write方法。
            //正如前面介紹的異步read方法一樣，它也有三個與read方法相同的參數，
            //在本例程中我們直接實現write方法的異步回調接口CompletionHandler。
            channel.write(writeBuffer, writeBuffer,
                    new CompletionHandler<Integer, ByteBuffer>() {
                        @Override
                        public void completed(Integer result, ByteBuffer buffer) {
                            //對發送的writeBuffer進行判斷，如果還有剩余的字節可寫，說明沒有發送完成，需要繼續發送，直到發送成功。
                            if (buffer.hasRemaining())
                                channel.write(buffer, buffer, this);
                        }

                        @Override
                        public void failed(Throwable exc, ByteBuffer attachment) {
                            //關注下failed方法，它的實現很簡單，就是當發生異常的時候，對異常Throwable進行判斷，
                            //如果是I/O異常，就關閉鏈路，釋放資源，
                            //如果是其他異常，按照業務自己的邏輯進行處理,如果沒有發送完成，繼續發送.
                            //本例程作為簡單demo，沒有對異常進行分類判斷，只要發生了讀寫異常，就關閉鏈路，釋放資源。
                            try {
                                channel.close();
                            } catch (IOException e) {
                                // ingnore on close
                            }
                        }
                    });
        }
    }

    @Override
    public void failed(Throwable exc, ByteBuffer attachment) {
        try {
            this.channel.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

客戶端代碼示例：

public class TimeClient {

    public static void main(String[] args) {
        int port = 8080;
        //通過一個獨立的I/O線程創建異步時間服務器客戶端handler，
        //在實際項目中，我們不需要獨立的線程創建異步連接對象，因為底層都是通過JDK的系統回調實現的.
        new Thread(new AsyncTimeClientHandler("127.0.0.1", port), "AIO-AsyncTimeClientHandler-001").start();
    }
}

import java.io.IOException;
import java.io.UnsupportedEncodingException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.AsynchronousSocketChannel;
import java.nio.channels.CompletionHandler;
import java.util.concurrent.CountDownLatch;

public class AsyncTimeClientHandler implements CompletionHandler<Void, AsyncTimeClientHandler>, Runnable {

    private AsynchronousSocketChannel client;
    private String host;
    private int port;
    private CountDownLatch latch;

    //首先通過AsynchronousSocketChannel的open方法創建一個新的AsynchronousSocketChannel對象。
    public AsyncTimeClientHandler(String host, int port) {
        this.host = host;
        this.port = port;
        try {
            client = AsynchronousSocketChannel.open();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    @Override
    public void run() {
        //創建CountDownLatch進行等待，防止異步操作沒有執行完成線程就退出。
        latch = new CountDownLatch(1);
        //通過connect方法發起異步操作，它有兩個參數，
        //A attachment：AsynchronousSocketChannel的附件，用於回調通知時作為入參被傳遞，調用者可以自定義；
        //CompletionHandler＜Void,? super A＞ handler：異步操作回調通知接口，由調用者實現。
        client.connect(new InetSocketAddress(host, port), this, this);
        try {
            latch.await();
        } catch (InterruptedException e1) {
            e1.printStackTrace();
        }
        try {
            client.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    //異步連接成功之后的方法回調——completed方法
    @Override
    public void completed(Void result, AsyncTimeClientHandler attachment) {
        //創建請求消息體，對其進行編碼，然后復制到發送緩沖區writeBuffer中，
        //調用Asynchronous SocketChannel的write方法進行異步寫。
        //與服務端類似，我們可以實現CompletionHandler ＜Integer, ByteBuffer＞接口用於寫操作完成后的回調。
        byte[] req = "QUERY TIME ORDER".getBytes();
        ByteBuffer writeBuffer = ByteBuffer.allocate(req.length);
        writeBuffer.put(req);
        writeBuffer.flip();
        client.write(writeBuffer, writeBuffer,
                new CompletionHandler<Integer, ByteBuffer>() {
                    @Override
                    public void completed(Integer result, ByteBuffer buffer) {
                        //如果發送緩沖區中仍有尚未發送的字節，將繼續異步發送，如果已經發送完成，則執行異步讀取操作。
                        if (buffer.hasRemaining()) {
                            client.write(buffer, buffer, this);
                        } else {
                            //客戶端異步讀取時間服務器服務端應答消息的處理邏輯
                            ByteBuffer readBuffer = ByteBuffer.allocate(1024);
                            //調用AsynchronousSocketChannel的read方法異步讀取服務端的響應消息。
                            //由於read操作是異步的，所以我們通過內部匿名類實現CompletionHandler＜Integer，ByteBuffer＞接口,
                            //當讀取完成被JDK回調時，構造應答消息。
　　　　　　　　　　　　　　　　　client.read(readBuffer,readBuffer, new CompletionHandler<Integer, ByteBuffer>() {
                                        @Override
                                        public void completed(Integer result,ByteBuffer buffer) {
                                            //從CompletionHandler的ByteBuffer中讀取應答消息，然后打印結果。
                                            buffer.flip();
                                            byte[] bytes = new byte[buffer.remaining()];
                                            buffer.get(bytes);
                                            String body;
                                            try {
                                                body = new String(bytes,"UTF-8");
                                                System.out.println("Now is : " + body);
                                                latch.countDown();
                                            } catch (UnsupportedEncodingException e) {
                                                e.printStackTrace();
                                            }
                                        }

                                        @Override
                                        public void failed(Throwable exc, ByteBuffer attachment) {
                                            //當讀取發生異常時，關閉鏈路，
                                            //同時調用CountDownLatch的countDown方法讓AsyncTimeClientHandler線程執行完畢，客戶端退出執行。
                                            try {
                                                client.close();
                                                latch.countDown();
                                            } catch (IOException e) {
                                                // ingnore on close
                                            }
                                        }
                                    });
                        }
                    }

                    @Override
                    public void failed(Throwable exc, ByteBuffer attachment) {
                        try {
                            client.close();
                            latch.countDown();
                        } catch (IOException e) {
                            // ingnore on close
                        }
                    }
                });
    }

    @Override
    public void failed(Throwable exc, AsyncTimeClientHandler attachment) {
        exc.printStackTrace();
        try {
            client.close();
            latch.countDown();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

需要指出的是，正如之前的NIO例程，我們並沒有完整的處理網絡的半包讀寫，在對例程進行功能測試的時候沒有問題，但是，如果對代碼稍加改造，進行壓力或者性能測試，就會發現輸出結果存在問題。

通過打印線程堆棧的方式看下JDK回調異步Channel CompletionHandler的調用情況:

從“Thread-2”線程堆棧中可以發現，JDK底層通過線程池ThreadPoolExecutor來執行回調通知，異步回調通知類由sun.nio.ch.AsynchronousChannelGroupImpl實現，它經過層層調用，最終回調com.phei.netty.aio.AsyncTimeClientHandler$1.completed方法，完成回調通知。

由此我們也可以得出結論：異步SocketChannel是被動執行對象，我們不需要像NIO編程那樣創建一個獨立的I/O線程來處理讀寫操作。對於AsynchronousServerSocketChannel和AsynchronousSocketChannel，它們都由JDK底層的線程池負責回調並驅動讀寫操作。

正因為如此，基於NIO2.0新的異步非阻塞Channel進行編程比NIO編程更為簡單。