Kqueue與epoll機制

首先介紹阻塞與非阻塞：
阻塞是個什么概念呢？比如某個時候你在等快遞，但是你不知道快遞什么時候過來，而且你沒有別的事可以干（或者說接下來的事要等快遞來了才能做）；那么你可以去睡覺了，因為你知道快遞把貨送來時一定會給你打個電話（假定一定能叫醒你）。

非阻塞忙輪詢。接着上面等快遞的例子，如果用忙輪詢的方法，那么你需要知道快遞員的手機號，然后每分鍾給他掛個電話：“你到了沒？”

很明顯一般人不會用第二種做法，不僅顯很無腦，浪費話費不說，還占用了快遞員大量的時間。
大部分程序也不會用第二種做法，因為第一種方法經濟而簡單，經濟是指消耗很少的CPU時間，如果線程睡眠了，就掉出了系統的調度隊列，暫時不會去瓜分CPU寶貴的時間片了。

為了了解阻塞是如何進行的，我們來討論緩沖區，以及內核緩沖區，最終把I/O事件解釋清楚。緩沖區的引入是為了減少頻繁I/O操作而引起頻繁的系統調用，當你操作一個流時，更多的是以緩沖區為單位進行操作，這是相對於用戶空間而言。對於內核來說，也需要緩沖區。
假設有一個管道，進程A為管道的寫入方，Ｂ為管道的讀出方。

1. 假設一開始內核緩沖區是空的，B作為讀出方，被阻塞着。然后首先A往管道寫入，這時候內核緩沖區由空的狀態變到非空狀態，內核就會產生一個事件告訴Ｂ該醒來了，這個事件姑且稱之為“緩沖區非空”。
2. 但是“緩沖區非空”事件通知B后，B卻還沒有讀出數據；且內核許諾了不能把寫入管道中的數據丟掉這個時候，Ａ寫入的數據會滯留在內核緩沖區中，如果內核也緩沖區滿了，B仍未開始讀數據，最終內核緩沖區會被填滿，這個時候會產生一個I/O事件，告訴進程A，你該等等（阻塞）了，我們把這個事件定義為“緩沖區滿”。
3. 假設后來Ｂ終於開始讀數據了，於是內核的緩沖區空了出來，這時候內核會告訴A，內核緩沖區有空位了，你可以從長眠中醒來了，繼續寫數據了，我們把這個事件叫做“緩沖區非滿”
4. 也許事件Y1已經通知了A，但是A也沒有數據寫入了，而Ｂ繼續讀出數據，知道內核緩沖區空了。這個時候內核就告訴B，你需要阻塞了！，我們把這個時間定為“緩沖區空”。

這四個情形涵蓋了四個I/O事件，緩沖區滿，緩沖區空，緩沖區非空，緩沖區非滿（說的內核緩沖區）。這四個I/O事件是進行阻塞同步的根本。

阻塞I/O模式下，一個線程只能處理一個流的I/O事件。如果想要同時處理多個流，要么多進程(fork)，要么多線程(pthread_create)，很不幸這兩種方法效率都不高。
於是再來考慮非阻塞忙輪詢的I/O方式，我們發現我們可以同時處理多個流了：

while true { for i in stream[]; { if i has data read until unavailable } }

 

我們只要不停的把所有流從頭到尾問一遍，又從頭開始。這樣就可以處理多個流了，但這樣的做法顯然不好，因為如果所有的流都沒有數據，那么只會白白浪費CPU。阻塞模式下，內核對於I/O事件的處理是阻塞或者喚醒，而非阻塞模式下則把I/O事件交給其他對象。

為了避免CPU空轉，可以引進了一個代理（select）。這個代理可以同時觀察許多流的I/O事件，在空閑的時候，會把當前線程阻塞掉，當有一個或多個流有I/O事件時，就從阻塞態中醒來，於是我們的程序就會輪詢一遍所有的流。

while true { select(streams[]) for i in streams[] { if i has data read until unavailable } }

 

如果沒有I/O事件產生，我們的程序就會阻塞在select處。但是依然有個問題，我們從select那里僅僅知道了，有I/O事件發生了，但卻並不知道是那幾個流（可能有一個，多個，甚至全部），我們只能無差別輪詢所有流，找出能讀出數據，或者寫入數據的流，對他們進行操作。
但是使用select，我們有O(n)的無差別輪詢復雜度，同時處理的流越多，每一次無差別輪詢時間就越長。

select/poll是通過輪詢的方法來獲得就緒的狀態，調用select/poll后就阻塞住，直到有就緒的文件描述符，或者超時，或者被中斷。返回值是就緒的文件描述符的個數，需要遍歷作為參數傳入的文件描述符的位域或數組獲得哪個文件描述符。

所以引入epoll：
epoll可以理解為event poll，不同於忙輪詢和無差別輪詢，epoll之會把哪個流發生了怎樣的I/O事件通知我們。此時我們對這些流的操作都是有意義的。（復雜度降低到了O(k)，k為產生I/O事件的流的個數，也有認為O(1)）

epoll是通過后台中斷的方式來獲得就緒的狀態，調用epoll_create創建實例，調用epoll_ctl添加或刪除監控的文件描述符，調用epoll_wait阻塞住，直到有就緒的文件描述符，通過epoll_event參數返回就緒狀態的文件描述符和事件

• epoll_create 創建一個epoll對象，一般epollfd = epoll_create()
• epoll_ctl （epoll_add/epoll_del的合體），往epoll對象中增加/刪除某一個流的某一個事件
  比如
  epoll_ctl(epollfd, EPOLL_CTL_ADD, socket, EPOLLIN);//有緩沖區內有數據時epoll_wait返回
  epoll_ctl(epollfd, EPOLL_CTL_DEL, socket, EPOLLOUT);//緩沖區可寫入時epoll_wait返回
• epoll_wait(epollfd,...)等待直到注冊的事件發生

（注：當對一個非阻塞流的讀寫發生緩沖區滿或緩沖區空，write/read會返回-1，並設置errno=EAGAIN。而epoll只關心緩沖區非滿和緩沖區非空事件）。
一個epoll模式的代碼如：

while true { active_stream[] = epoll_wait(epollfd) for i in active_stream[] { read or write till unavailable } }

epoll的原理就是：
你把要監控讀寫的文件交給內核（epoll_add)
設置你關心的事件（epoll_ctl），比如讀事件
然后等（epoll_wait），此時，如果沒有哪個文件有你關心的事件，則休眠，直到有事件，被喚醒
然后返回那些事件實現並發，還需要配合非阻塞的讀寫。這樣就可以一下搜集一大把文件（套接字），然后一下讀寫一大把文件（不會因為某個文件慢而阻塞），這樣來實現並發。

epoll的優勢在於，由接收數據的OS來負責通知你有數據可以操作，因為OS是知道什么時候有數據的。
仍然用快遞例子來說，ePoll的優勢就是，你可以隨便做其他的事情，當有快遞來的時候，他給你打電話讓你來拿，你空了的時候下來拿就好了。
不像阻塞那樣需要一直在窗邊看着快遞來沒來，也不需要像select那樣不停地打電話問快遞來沒來。尤其是在快遞比較多的時候，select需要問快遞你沒有你的快遞，快遞說有的時候，你還需要逐個問某一個包裹到沒到；ePoll會直接告訴你，你的哪個包裹的快遞到了。

 

kqueue與epoll非常相似，最初是2000年Jonathan Lemon在FreeBSD系統上開發的一個高性能的事件通知接口。注冊一批socket描述符到 kqueue 以后，當其中的描述符狀態發生變化時，kqueue 將一次性通知應用程序哪些描述符可讀、可寫或出錯了。

kqueue的接口包括 kqueue()、kevent() 兩個系統調用和 struct kevent 結構：

1. kqueue() 生成一個內核事件隊列，返回該隊列的文件描述符。其它 API 通過該描述符操作這個 kqueue。
2. kevent() 提供向內核注冊 / 反注冊事件和返回就緒事件或錯誤事件。
3. struct kevent 就是kevent()操作的最基本的事件結構。

struct kevent { 
     uintptr_t ident;       /* 事件 ID */ 
     short     filter;       /* 事件過濾器 */ 
     u_short   flags;        /* 行為標識 */ 
     u_int     fflags;       /* 過濾器標識值 */ 
     intptr_t  data;         /* 過濾器數據 */ 
     void      *udata;       /* 應用透傳數據 */ 
 };

在一個 kqueue 中，{ident, filter} 確定一個唯一的事件：

• ident

  事件的 id，一般設置為文件描述符。

• filter

  可以將 kqueue filter 看作事件。內核檢測 ident 上注冊的 filter 的狀態，狀態發生了變化，就通知應用程序。kqueue 定義了較多的 filter：

   與socket讀寫相關的filter：

1. EVFILT_READ：TCP 監聽 socket，如果在完成的連接隊列 ( 已收三次握手最后一個 ACK) 中有數據，此事件將被通知。收到該通知的應用一般調用 accept()，且可通過 data 獲得完成隊列的節點個數。 流或數據報 socket，當協議棧的 socket 層接收緩沖區有數據時，該事件會被通知，並且 data 被設置成可讀數據的字節數。
2. EVFILT_WRIT：當 socket 層的寫入緩沖區可寫入時，該事件將被通知；data 指示目前緩沖區有多少字節空閑空間。

　　

   行為標志flags：

1. EV_ADD：指示加入事件到 kqueue
2. EV_DELETE：指示將傳入的事件從 kqueue 中移除

　　

　過濾器標識值：

1. EV_ENABLE：過濾器事件可用，注冊一個事件時，默認是可用的。
2. EV_DISABLE：過濾器事件不可用，當內部描述可讀或可寫時，將不通知應用程序。

 

注冊事件到 kqueue

bool Register(int kq, int fd) 
{ 
      struct kevent changes[1]; 
      EV_SET(&changes[0], fd, EVFILT_READ, EV_ADD, 0, 0, NULL); 
  
      int ret = kevent(kq, changes, 1, NULL, 0, NULL); 
  
      return true; 
} 

 Register 將 fd 注冊到 kq 中。注冊的方法是通過 kevent() 將 eventlist 和 neventlist 置成 NULL 和 0 來達到的。

人們一般將 socket IO 設置成非阻塞模式，以提高讀寫性能的同時，避免 IO 讀寫不小心被鎖定。為了達到某種目的，有人會通過 getsocketopt 來偷看 socket 讀緩沖區的數據大小或寫緩區可用空間的大小。在 kevent 返回時，將讀寫緩沖區的可讀字節數或可寫空間大小告訴應用程序。基於這個特性，使用 kqueue 的應用一般不使用非阻塞 IO。每次讀時，根據 kevent 返回的可讀字節大小，將接收緩沖區中的數據一次性讀完；而發送數據時，也根據 kevent 返回的寫緩沖區可寫空間的大小，一次只發可寫空間大小的數據。

 


文章部分整合知乎上關於epoll和select的回答：https://www.zhihu.com/question/20122137