Nio編程模型總結

本文轉載自查看原文 2019-06-27 20:48 928 NIO

終於,這兩天的考試熬過去了, 興致沖沖的來整理筆記來, 這篇博客是我近幾天的NIO印象筆記匯總,記錄了對Selector及Selector的重要參數的理解,對Channel的理解,常見的Channel,對NIO事件驅動的編程模型的理解,NIO與傳統IO的對比,NIO的TCP/IP編程的實踐.

Channel

什么是Channel

這個概念絕對是一級概念,Channel是一個管道,用於連接字節緩沖區和另一端的實體, 這個字節緩沖區就是ByteBuffer, 另一端的實體可以是一個File 或者是 Socket ;

基於IO的網絡編程, 數據的交互借助於InputStream或者是OutputStream, 而Channel可以理解成對Stream的又一層封裝;在這種編程模型中服務端想和客戶端進行交互,就需要從服務端自己的ServerSocketChannel中獲取前來連接的客戶端的SocketChannel,並把他注冊關聯上感性趣的事件到自己的Selector選擇器上, 這樣一旦客戶端把Buffer中的數據推送進channel, 服務端就可以感知,進而處理

常用的Chanenl

文件通道: FileChannel
套接字通道
- 服務端: ServerSocketChannel
- 客戶端: SocketChannel
數據包通道: DataGramSocket

Channel 與 Stream

Channel是NIO編程模型中一大組件,它類似IO中的Stream,但是兩者也有本質的區別;

為什么說是類似呢? 看下面的兩段代碼, 需求是磁盤上的文件進行讀寫

在IO編程中,我們第一步可能要像下面這樣獲取輸入流,按字節把磁盤上的數據讀取到程序中,再進行下一步操作

FileInputStream fileInputStream = new FileInputStream("123.txt");

在NIO編程中,目標是需要先獲取通道,再基於Channel進行讀寫

FileInputStream fileInputStream = new FileInputStream("123.txt");
FileChannel channel = fileInputStream.channel();

對用戶來說,在IO / NIO 中這兩種都直接關聯這磁盤上的數據文件,數據的讀寫首先都是獲取Stream和Channel,所以說他們相似;

但是: 對於Stream來說,所有的Stream都是單向的,對我們的程序來說,Stream要么只能是從里面獲取數據的輸入流,要么是往里面輸入數據的輸出流,因為InputStream和outputStream都是抽象類,在java中是不支持多繼承的, 而通道不同,他是雙向的,對一個通道可讀可寫

怎么理解 Channel可以是雙向的?

如上圖,凡是同時實現了readable,writeable接口的類,都雙向的通道. 下面是典型的例子

SocketChannel
在NIO網絡編程中,服務端可以通過ServerSocketChannel獲取客戶端的SocketChannel
這個SocketChannel可以read() 客戶端的消息存入Buffer, 往客戶端 write()buffer里的內容
socketChannel1.read(byteBuffer);
socketChannel1.write(byteBuffer);

對於一個channel,我們既能從中獲取數據,也能往外read數據

基於channel的文件拷貝方式和傳統的IO拷貝的競速

效率最低的按字節拷貝

public static  void text4() throws IOException {
   
        FileInputStream    fis = new FileInputStream("123.txt");
        FileOutputStream   fos = new FileOutputStream("output123.txt");
    int read=0;
    long start =0;
    System.out.println("開始: ... ");
    while((read=fis.read())!=-1){
        fos.write(read);
    }
    System.out.println("耗時: "+(System.currentTimeMillis()-start) );
    fis.close();
    fos.close();
}

一個3901KB的文件的拷貝,在我的機器上跑出了 1561097384707 的好成績; 實屬無奈,擦點以為編譯器卡死

以NIO,channel+buffer的模型,拷貝文件

try (
    FileInputStream  fis = new FileInputStream("123.txt");
    FileOutputStream   fos = new FileOutputStream("output123.txt");
){
    //1.獲取通道
    FileChannel   inChannel = fis.getChannel();
    FileChannel   outChannel = fos.getChannel();

    //2.分配指定大小的緩沖區
    ByteBuffer buffer = ByteBuffer.allocate(1024);
    long start = System.currentTimeMillis();
    //3.將通道中的數據緩沖區中
    while (inChannel.read(buffer) != -1) {
        buffer.flip();//切換成讀數據模式
        //4.將緩沖區中的數據寫入通道中
        outChannel.write(buffer);
        buffer.clear();//清空緩沖區
    }
    System.out.println("總耗時:" + (System.currentTimeMillis() - start));
} catch (Exception e) {
    e.printStackTrace();
}

速度明顯提升大約平均耗時 110

NIO+零拷貝復制文件

  // 直接獲取通道
    FileChannel inChannel2 = FileChannel.open(Paths.get("123.txt"), StandardOpenOption.READ);
    FileChannel outChannel2 = FileChannel.open(Paths.get("output123.txt"), StandardOpenOption.WRITE, StandardOpenOption.READ, StandardOpenOption.CREATE);
    //內存映射文件
    MappedByteBuffer inMappedBuf = inChannel2.map(FileChannel.MapMode.READ_ONLY, 0, inChannel2.size());
    MappedByteBuffer outMappedBuf = outChannel2.map(FileChannel.MapMode.READ_WRITE, 0, inChannel2.size());
    //直接對緩沖區進行數據讀寫操作
    byte[] dst = new byte[inMappedBuf.limit()];
    long start = System.currentTimeMillis();
    inMappedBuf.get(dst);
    outMappedBuf.put(dst);
    System.out.println("耗費的時間為：" + ( System.currentTimeMillis() - start));

    inChannel2.close();
    outChannel2.close();

或者

/*
     * 通道之間的數據傳輸（直接緩沖區）
     */
    FileChannel inChannel3 = FileChannel.open(Paths.get("123.txt"), StandardOpenOption.READ);
    FileChannel outChannel3 = FileChannel.open(Paths.get("output123.txt"), StandardOpenOption.WRITE, StandardOpenOption.READ, StandardOpenOption.CREATE);
    long start = System.currentTimeMillis();
    inChannel3.transferTo(0, inChannel3.size(), outChannel3);
    System.out.println("耗時: "+(System.currentTimeMillis()-start) );

    //等價於
    // outChannel3.transferFrom(inChannel3, 0, inChannel3.size());

    inChannel3.close();
    outChannel3.close();

零拷貝僅需要耗時 6 就可以完成

NIO的非阻塞與IO的阻塞

什么是阻塞? 舉個例子, 如果有一天我碰到了不會的作業題,於是我給老師發了條短息請教咋做, 這時,假如我進入了阻塞模式,我就會一直瞅着手機,別的也不干,就等着老師回信息, 假如我進入了非阻塞的模式,發完短信后跳過這個題,去做別的題

常見的阻塞比如, 鍵盤錄入, Socket的accept()以及IO的read write, 全部會卡在那行代碼直到執行完畢才會往下執行, 這種風格的好處是顯而易見的, 及其容易的進行順序編程

但是在NIO中,channel的read,write可以是阻塞的,也可以是非阻塞的,這取決於channel是否阻塞, 一般在進行網絡編程時,要搭配上selector選擇器,一起用, 同時channel我們也會設置成非阻塞的, 想想也不能讓服務器的讀寫阻塞住,因為它可不是面對一兩個用戶,我們需要它可以一遍一遍的正常流水運行

在客戶端,connect方法不再是阻塞的,和服務端進行數據交互之前,java提供了檢查機確保連接百分百健康, 如果服務端沒有接受連接,客戶端是是沒辦法進一步操作的

if (selectionKey.isConnectable()) {
// 強轉成 有連接事件發生的Channel
client = (SocketChannel) selectionKey.channel();
// 完成連接
if (client.isConnectionPending()) {
client.finishConnect();

從通道中的read和write方法也不是阻塞的,即刻返回,可以讓服務端的業務代碼很流暢的執行完,再接受新的請求,處理新請求

Selector

Selector選擇器NIO的第三個組件,三者的關系圖如上所示

什么是selector? 作用是什么?

selector是選擇器的意思, 和它直接關聯的組件是Channel, 沒錯,它的作用就是不斷的輪詢綁定在他身上的所有channel. 一旦有通道發生了它感興趣的事件,接着處理此事件

selector維護了什么?

無論是服務端的Selector 還是客戶端的Selector 它都維護了三個Set集合 , 里面封裝的是 SelectionKey, 他是channel注冊進Selector的產物,一般是使用它反向獲取channel

key set

他是一個全集,每當channel通過register方法注冊進選擇器時,於此同時也會把包含自己信息的key添加到這個全集中來 注冊的信息就會以SelectionKey的封裝形式保存在這個集合中, 選擇器每次輪詢的channel,就是這里面的channel

selected key

感興趣的key的集合, 舉個例子, 通道1注冊進選擇器時,告訴選擇器,我可能會給你發信息,你得盯着我,讀我給你的信息, 於是選擇器對通道1感性趣的事件是 read, 那么在選擇器輪詢channel時, 一旦通道1出現了write操作,就會被選擇器感知,開始read
每次遍歷selected key時我們會執行這行代碼: Set<SelectionKey> selectionKeys = selector.selectedKeys(); 它的意思是,我們取出了選擇器的感性事件的set集合,只要程序還在運行,只要選擇器一旦被open(),除非我們手動的close() 否則選擇器對象就不會被釋放,所以它的感興趣的set集合是不會被自動會收到,於是我們就得收到的把處理過的感興趣的事件對應的SelectionKey移除出這個set集合,不然下一次輪詢時,這個事件還會再一次被處理,並且無限制的處理下去
key有且僅有兩種方式從 selected-key-set 中剔除 1. 通過Set的remove()方法, 2.通過迭代器的remove()方法

cannelled key

取消的key的集合,代表原來感興趣的事件,現在不感興趣了. 下一次輪詢,進行select() 本集合中的SelectionKey會從key set中移除, 意味着它所關聯的channel將會被選擇器丟棄掉,不再進行監聽
關閉channel 或者是調用了cancel()方法都會將key添加到cannelled key 集合中
使用場景: 一般會在客戶端主動斷開連接的時候使用它.

selector的`select()`方法

select(long); // 設置超時時間

selectNow(); // 立即返回,不阻塞

select(); 阻塞輪詢

select()過程的細節:

第一步, cannelled-key中的每一個元素會從全集key set中剔除,表示這些可以關聯的通道不會被注冊
第二步操作系統幫我們輪詢每一個通道是否有選擇器感性趣的事情發生
- 對於一條准備就緒的channel(發生事件通道),他至少會發生下面兩件事之一:
  - 它的key會被添加進selected-key-set中,來標識它將被選中,進而處理
  - 如果它的key,已經存在於這個集合中了,下一步就是它的 read-operation將被更新
第三步: 如果在輪詢時發現了有任何key被放置在了cannelled-key-set中,重復第一步,不再注冊它關聯的通道

romove key 和 cannel key 的區別

前者是把key從selected key set集合,也就是被選中的集合中剔除出去,表示當前的事件已經處理完了

后者是表示,把key從全集中剔除出去, 表示想要廢棄這個key關聯的channel

selector的創建

他是根據不同操作系統提供的不同的Provider使用provide()創建出來的