Netty工作流程

Netty原理架構解析

轉載自：http://www.sohu.com/a/272879207_463994
本文轉載關於Netty的原理架構解析，方便之后鞏固復習

 

Netty是一個異步事件驅動的網絡應用程序框架，用於快速開發可維護的高性能協議服務器和客戶端。JDK原生也有一套網絡應用程序API，NIO，但是存在一些問題使得用起來不是很方便，主要如下：

1. NIO的類庫和API繁雜，使用麻煩。使用時需要熟練掌握Selector、ServerSocketChannel、SocketChannel、ByteBuffer等
2. 需要具備其他的額外技能做鋪墊。例如熟悉Java多線程編程，因為NIO編程涉及到Reactor模式，你必須對多線程和網絡編程非常熟悉，才能編寫出高質量的NIO程序
3. 可靠性能力補齊，開發工作量和難度都非常大。例如客戶端面臨斷連重連、網絡閃斷、半包讀寫、失敗緩存、網絡擁塞和異常碼流的處理等等。NIO編程的特點是功能開發相對容易，但是可靠性能力補齊工作量和難度都非常大
4. JDK NIO的Bug。例如臭名昭著的Epoll Bug，它會導致Selector空輪詢，最終導致CPU 100%。官方聲稱在JDK 1.6版本的update 18修復了該問題，但是直到JDK1.7版本該問題仍舊存在，只不過該Bug發生概率降低了一些而已，它並沒有被根本解決

Netty對JDK自帶的NIO的API進行封裝，解決上述問題，主要特點有：

1. 設計優雅，適用於各種傳輸類型的統一API阻塞和非阻塞Socket；基於靈活且可擴展的事件模型，可以清晰地分析關注點；高度可定制的線程模型-單線程，一個或多個線程池；真正的無連接數據報套接字支持
2. 使用方便，詳細記錄的Javadoc，用戶指南和示例；沒有其他依賴項，JDK5（Netty3.x）或6 (Netty4.x) 就足夠了
3. 高性能，吞吐量更高，延遲更低；減少資源消耗；最小化不必要的內存復制
4. 安全，完整的SSL/TLS和StartTLS支持
5. 社區活躍，不斷更新，社區活躍，版本迭代周期短，發現的Bug可以被及時修復，同時，更多的新功能會被加入

Netty常見的使用場景如下：

1. 互聯網行業。在分布式系統中，各個節點之間需要遠程服務調用，高性能的RPC框架必不可少，Netty作為異步高性能的通信框架，往往作為基礎通信組件被這些RPC框架使用。典型的應用有：阿里分布式服務框架Dubbo的RPC框架使用Dubbo協議進行節點間通信，Dubbo協議默認使用Netty作為基礎通信組件，用於實現各進程節點之間的內部通信
2. 游戲行業。無論是手游服務端還是大型的網絡游戲，Java語言得到了越來越廣泛的應用。Netty作為高性能的基礎通信組件，它本身提供了TCP/UDP和HTTP協議棧。非常方便定制和開發私有協議棧，賬號登錄服務器，地圖服務器之間可以方便的通過Netty進行高性能的通信
3. 大數據領域。經典的Hadoop的高性能通信和序列化組件Avro的RPC框架，默認采用Netty進行跨節點通信，它的Netty Service基於Netty框架二次封裝實現

Netty自以為異步事件驅動的網絡，高性能之處主要來自於其I/O模型和線程處理模型，前者決定如何收發數據，后者決定如何處理數據

阻塞I/O

傳統阻塞I/O（BIO）的特點是：

1. 每個請求都需要獨立的線程完成數據read，業務處理，數據write的完整操作問題
2. 當並發數較大時，需要創建大量線程來處理連接，系統資源占用較大
3. 連接建立后，如果當前線程暫時沒有數據可讀，則線程就阻塞在read上，造成線程資源浪費

I/O復用模型

在I/O復用模型中，會用到select，這個函數也會使進程阻塞，但是和阻塞I/O所不同的是這個函數可以在一個線程中同時阻塞多個I/O操作，而且可以同時對多個讀操作，多個寫操作的I/O函數進行檢測，直到有數據可讀或可寫時，才真正調用I/O函數。Netty的非阻塞I/O的實現關鍵是基於I/O復用模型，這里用selector對象表示。
Netty的IO線程NioEventLoop由於聚合了多路復用器Selector，可以同時並發處理成百上千個客戶端連接。
當線程從某客戶端Socket通道進行讀寫數據時，若沒有數據可用時，該線程可以進行其他任務
線程通常將非阻塞IO的空閑時間用於在其他通道上執行IO操作，所以單獨的線程可以管理多個輸入和輸出通道
由於讀寫操作都是非阻塞的，這就可以充分提升IO線程的運行效率，避免由於頻繁IO阻塞導致的線程掛起
一個I/O線程可以並發處理N個客戶端連接和讀寫操作，這從根本上解決了傳統同步阻塞I/O-連接-線程模型，架構的性能、彈性伸縮能力和可靠性都得到了極大的提升

基於Buffer

傳統的IO是面向字節流活字符流的，以流式的方式順序地從一個stream中讀取一個或多個字節，因此也就不能隨意改變讀取指針的位置
在NIO中，拋棄了傳統的IO流，，而是引入了Channel和Buffer的概念。在NIO中，只能從channel中讀取數據到Buffer中或將數據從Buffer中寫入到channel中
基於Buffer操作不像傳統IO的順序操作，NIO中可以隨意地讀取任意位置的數據

事件驅動模型

通常，我們設計一個事件處理模型的程序有兩種思路：

1. 輪詢方式，線程不斷輪詢訪問相關事件發生源有沒有發生事件，有發生事件就調用事件處理邏輯
2. 事件驅動方式，發生事件，主線程吧事件放入事件隊列，在另外線程不斷循環消費事件列表中的事件，調用事件對應的處理邏輯處理事件。事件驅動方式也被成為消息通知方式，其實是設計模式中的觀察者模式的思路

主要包括4個組件：

1. 事件隊列：接收事件的入口，存儲待處理事件
2. 分發器：將不同的事件分發到不同的業務邏輯單元
3. 事件通道：分發器與處理器之間的聯系渠道
4. 事件處理器：實現業務邏輯，處理完成后會發出事件，觸發下一步操作

可以看出，相對傳統輪詢模式，事件驅動有如下優點：

1. 可擴展性好，分布式的異步架構，事件處理器之間高度解耦，可以方便擴展事件處理邏輯
2. 高性能，基於隊列暫存事件，能方便並行異步處理事件

Reactor線程模型

Reactor是反應堆的意思，Reactor模型是指通過一個或多個輸入同時傳遞給服務處理器的服務請求的事件驅動處理模式
服務端程序處理傳入多路請求，並將它們同步分派給請求對應的處理線程，Reactor模式也叫Dispatcher模式，即I/O多路復用統一監聽事件，收到事件后分發(Dispatch給某進程)，是編寫高性能網絡服務器的必備技術之一

Reactor模型中有2個關鍵組成：

1. Reactor，在一個單獨的線程中運行，負責監聽和分發事件，分發給適當的處理程序來對IO事件作出反應。
2. Handlers，處理程序執行IO事件要完成的實際事件，，reactor通過調用適當的處理程序來響應IO事件，處理程序執行非阻塞操作

取決於Reactor的數量和Handler線程數量的不同，Reactor模型有3個變種：

1. 單reactor 單線程
2. 單reactor 多線程
3. 主從reactor 多線程

Netty線程模型

Netty主要是基於主從Reactors多線程模型(如下圖)做了一些修改，其中主從reactor多線程模型有多個reactor：

1. MainReactor負責客戶端的連接請求，並將請求轉交給SubReactor
2. SubReactor負責相應通道的IO讀寫請求
3. 非IO請求(具體邏輯處理)的任務則會直接進入寫入隊列，等到worker threads進行處理

這里引用Doug Lee大神的Reactor介紹：Scalable IO in Java里面關於主從Reactor多線程模型的圖：

特別說明的是：雖然Netty的線程模型基於主從Reactor多線程，借用了MainReactor和SubReactor的結構。但是實際實現上SubReactor和Worker線程在同一個線程池中

1. bossGroup線程池則只是在bind某個端口后，獲得其中一個線程作為MainReactor，專門處理端口的Accept事件，每個端口對應一個boss線程
2. workerGroup線程池會被各個SubReactor和Worker線程充分利用

異常處理

異步的概念和同步相對。當一個異步過程調用發出后，調用者不能立刻得到結果。實際處理這個調用的部件在完成后，通過狀態、通知和回調來通知調用者
Netty中的IO操作是異步的，包括Bind、Write、Connect等操作會簡單的返回一個channelFuture
調用者並不能立刻獲得結果，而是通過Future-Listener機制，用戶可以方便的主動獲取或通過通知機制來獲得IO操作結果
當future對象剛剛創建時，處於非完成狀態，調用者可以通過返回的ChannelFuture來獲取操作執行的狀態，注冊監聽函數來執行完成后的操作

模塊組件

Bootstrap、ServerBootstrap

Bootstrap 意思是引導，一個 Netty 應用通常由一個 Bootstrap 開始，主要作用是配置整個 Netty 程序，串聯各個組件，Netty 中 Bootstrap 類是客戶端程序的啟動引導類，ServerBootstrap 是服務端啟動引導類。

Future、ChannelFuture

正如前面介紹，在 Netty 中所有的 IO 操作都是異步的，不能立刻得知消息是否被正確處理。

但是可以過一會等它執行完成或者直接注冊一個監聽，具體的實現就是通過 Future 和 ChannelFutures，他們可以注冊一個監聽，當操作執行成功或失敗時監聽會自動觸發注冊的監聽事件。

Channel

Netty 網絡通信的組件，能夠用於執行網絡 I/O 操作。Channel 為用戶提供：

當前網絡連接的通道的狀態（例如是否打開？是否已連接？）
網絡連接的配置參數 （例如接收緩沖區大小）
提供異步的網絡 I/O 操作(如建立連接，讀寫，綁定端口)，異步調用意味着任何 I/O 調用都將立即返回，並且不保證在調用結束時所請求的 I/O 操作已完成。 調用立即返回一個 ChannelFuture 實例，通過注冊監聽器到 ChannelFuture 上，可以 I/O 操作成功、失敗或取消時回調通知調用方。
支持關聯 I/O 操作與對應的處理程序。
不同協議、不同的阻塞類型的連接都有不同的 Channel 類型與之對應。下面是一些常用的 Channel 類型：

NioSocketChannel，異步的客戶端 TCP Socket 連接。
NioServerSocketChannel，異步的服務器端 TCP Socket 連接。
NioDatagramChannel，異步的 UDP 連接。
NioSctpChannel，異步的客戶端 Sctp 連接。
NioSctpServerChannel，異步的 Sctp 服務器端連接，這些通道涵蓋了 UDP 和 TCP 網絡 IO 以及文件 IO。

Selector

Netty 基於 Selector 對象實現 I/O 多路復用，通過 Selector 一個線程可以監聽多個連接的 Channel 事件。

當向一個 Selector 中注冊 Channel 后，Selector 內部的機制就可以自動不斷地查詢(Select) 這些注冊的 Channel 是否有已就緒的 I/O 事件（例如可讀，可寫，網絡連接完成等），這樣程序就可以很簡單地使用一個線程高效地管理多個 Channel 。

NioEventLoop

NioEventLoop 中維護了一個線程和任務隊列，支持異步提交執行任務，線程啟動時會調用 NioEventLoop 的 run 方法，執行 I/O 任務和非 I/O 任務：

I/O 任務，即 selectionKey 中 ready 的事件，如 accept、connect、read、write 等，由 processSelectedKeys 方法觸發。
非 IO 任務，添加到 taskQueue 中的任務，如 register0、bind0 等任務，由 runAllTasks 方法觸發。
兩種任務的執行時間比由變量 ioRatio 控制，默認為 50，則表示允許非 IO 任務執行的時間與 IO 任務的執行時間相等。

NioEventLoopGroup

NioEventLoopGroup，主要管理 eventLoop 的生命周期，可以理解為一個線程池，內部維護了一組線程，每個線程(NioEventLoop)負責處理多個 Channel 上的事件，而一個 Channel 只對應於一個線程。

ChannelHandler

ChannelHandler 是一個接口，處理 I/O 事件或攔截 I/O 操作，並將其轉發到其 ChannelPipeline(業務處理鏈)中的下一個處理程序。

ChannelHandler 本身並沒有提供很多方法，因為這個接口有許多的方法需要實現，方便使用期間，可以繼承它的子類：

ChannelInboundHandler 用於處理入站 I/O 事件。
ChannelOutboundHandler 用於處理出站 I/O 操作。
或者使用以下適配器類：

ChannelInboundHandlerAdapter 用於處理入站 I/O 事件。
ChannelOutboundHandlerAdapter 用於處理出站 I/O 操作。
ChannelDuplexHandler 用於處理入站和出站事件。

ChannelHandlerContext

保存 Channel 相關的所有上下文信息，同時關聯一個 ChannelHandler 對象。

ChannelPipline

保存 ChannelHandler 的 List，用於處理或攔截 Channel 的入站事件和出站操作。

ChannelPipeline 實現了一種高級形式的攔截過濾器模式，使用戶可以完全控制事件的處理方式，以及 Channel 中各個的 ChannelHandler 如何相互交互。

下圖引用 Netty 的 Javadoc 4.1 中 ChannelPipeline 的說明，描述了 ChannelPipeline 中 ChannelHandler 通常如何處理 I/O 事件。

I/O 事件由 ChannelInboundHandler 或 ChannelOutboundHandler 處理，並通過調用 ChannelHandlerContext 中定義的事件傳播方法。

例如 ChannelHandlerContext.fireChannelRead（Object）和 ChannelOutboundInvoker.write（Object）轉發到其最近的處理程序。

入站事件由自下而上方向的入站處理程序處理，如圖左側所示。入站 Handler 處理程序通常處理由圖底部的 I/O 線程生成的入站數據。

通常通過實際輸入操作（例如 SocketChannel.read（ByteBuffer））從遠程讀取入站數據。

出站事件由上下方向處理，如圖右側所示。出站 Handler 處理程序通常會生成或轉換出站傳輸，例如 write 請求。

I/O 線程通常執行實際的輸出操作，例如 SocketChannel.write（ByteBuffer）。

在 Netty 中每個 Channel 都有且僅有一個 ChannelPipeline 與之對應，它們的組成關系如下：

一個 Channel 包含了一個 ChannelPipeline，而 ChannelPipeline 中又維護了一個由 ChannelHandlerContext 組成的雙向鏈表，並且每個 ChannelHandlerContext 中又關聯着一個 ChannelHandler。

入站事件和出站事件在一個雙向鏈表中，入站事件會從鏈表 head 往后傳遞到最后一個入站的 handler，出站事件會從鏈表 tail 往前傳遞到最前一個出站的 handler，兩種類型的 handler 互不干擾。

Netty 工作原理架構

初始化並啟動 Netty 服務端過程如下：

public static void main(String[] args) {

// 創建mainReactor

NioEventLoopGroup boosGroup = newNioEventLoopGroup();

// 創建工作線程組

NioEventLoopGroup workerGroup = newNioEventLoopGroup();

final ServerBootstrap serverBootstrap = newServerBootstrap();

serverBootstrap

// 組裝NioEventLoopGroup

. group(boosGroup, workerGroup)

// 設置channel類型為NIO類型

.channel(NioServerSocketChannel.class)

// 設置連接配置參數

.option(ChannelOption.SO_BACKLOG, 1024)

.childOption(ChannelOption.SO_KEEPALIVE, true)

.childOption(ChannelOption.TCP_NODELAY, true)

// 配置入站、出站事件handler

.childHandler( newChannelInitializer() {

@ Override

protectedvoidinitChannel(NioSocketChannel ch) {

// 配置入站、出站事件channel

ch.pipeline().addLast(…);

ch.pipeline().addLast(…);

}

});

// 綁定端口

intport = 8080;

serverBootstrap.bind(port).addListener(future -> {

if(future.isSuccess()) {

System. out.println( newDate() + “: 端口[”+ port + “]綁定成功!”);

} else{

System.err.println( “端口[”+ port + “]綁定失敗!”);

}

});

}

基本過程如下：

初始化創建 2 個 NioEventLoopGroup，其中 boosGroup 用於 Accetpt 連接建立事件並分發請求，workerGroup 用於處理 I/O 讀寫事件和業務邏輯。
基於 ServerBootstrap(服務端啟動引導類)，配置 EventLoopGroup、Channel 類型，連接參數、配置入站、出站事件 handler。
綁定端口，開始工作。
結合上面介紹的 Netty Reactor 模型，介紹服務端 Netty 的工作架構圖：

服務端 Netty Reactor 工作架構圖

Server 端包含 1 個 Boss NioEventLoopGroup 和 1 個 Worker NioEventLoopGroup。

NioEventLoopGroup 相當於 1 個事件循環組，這個組里包含多個事件循環 NioEventLoop，每個 NioEventLoop 包含 1 個 Selector 和 1 個事件循環線程。

每個 Boss NioEventLoop 循環執行的任務包含 3 步：

輪詢 Accept 事件。
處理 Accept I/O 事件，與 Client 建立連接，生成 NioSocketChannel，並將 NioSocketChannel 注冊到某個 Worker NioEventLoop 的 Selector 上。
處理任務隊列中的任務，runAllTasks。任務隊列中的任務包括用戶調用 eventloop.execute 或 schedule 執行的任務，或者其他線程提交到該 eventloop 的任務。
每個 Worker NioEventLoop 循環執行的任務包含 3 步：

輪詢 Read、Write 事件。
處理 I/O 事件，即 Read、Write 事件，在 NioSocketChannel 可讀、可寫事件發生時進行處理。
處理任務隊列中的任務，runAllTasks。
其中任務隊列中的 Task 有 3 種典型使用場景。

①用戶程序自定義的普通任務

ctx.channel().eventLoop().execute( newRunnable() {

@Override

public void run(){

//…

}

});

②非當前 Reactor 線程調用 Channel 的各種方法

例如在推送系統的業務線程里面，根據用戶的標識，找到對應的 Channel 引用，然后調用 Write 類方法向該用戶推送消息，就會進入到這種場景。最終的 Write 會提交到任務隊列中后被異步消費。

③用戶自定義定時任務

ctx.channel().eventLoop().schedule( newRunnable() {

@Override

publicvoidrun(){

}

}, 60, TimeUnit.SECONDS);

總結

現在穩定推薦使用的主流版本還是 Netty4，Netty5 中使用了 ForkJoinPool，增加了代碼的復雜度，但是對性能的改善卻不明顯，所以這個版本不推薦使用，官網也沒有提供下載鏈接。

Netty 入門門檻相對較高，是因為這方面的資料較少，並不是因為它有多難，大家其實都可以像搞透 Spring 一樣搞透 Netty。

在學習之前，建議先理解透整個框架原理結構，運行過程，可以少走很多彎路。

參考資料：

Netty入門與實戰：仿寫微信 IM 即時通訊系統
Netty官網
Netty 4.x學習筆記 - 線程模型
Netty入門與實戰
理解高性能網絡模型
Netty基本原理介紹
software-architecture-patterns.pdf
Netty高性能之道 —— 李林鋒
《Netty In Action》
《Netty權威指南》