討論Linux環境下的network IO。
一、概念說明
1、內核態（內核空間）和用戶態（用戶空間）的區別和聯系？
用戶空間是用戶進程所在的內存區域，系統空間是操作系統所在的內存區域。
為了保證內核的安全，處於用戶態的程序只能訪問用戶空間，而處於內核態的程序可以訪問用戶空間和內核空間。
2、文件描述符fd
Linux將所有設備都當做文件來處理，文件描述符來標識每個文件對象。
當程序打開一個現有文件或者創建一個新文件時，內核向進程返回一個文件描述符。
3、緩存IO
Linux的緩存IO機制中，操作系統會將IO的數據緩存在文件系統的頁緩存中，也就是說，數據會先被拷貝到操作系統內核的緩沖區，然后才會從操作系統內核的緩沖區拷貝到應用程序的地址空間。
二、IO模式
對於一次IO訪問（以read為例），數據會先被拷貝到操作系統內核的緩沖區中，然后才會從操作系統內核的緩沖區拷貝到應用程序的地址空間。所以說，當一個read操作發生時，會獎勵兩個階段：
1、等待數據准備（Waiting for the data to be ready）
2、將數據從內核拷貝到進程中（Copy the data from kernel to the process）
linux系統產生了下面五種網絡模式的方案：
1、阻塞IO（blocking IO）
2、非阻塞IO（nonblocking IO）
3、IO多路復用（IO multiplexing）
4、信號驅動IO（signal driven IO）不常用
5、異步IO （asynchronous IO）
三、集中IO
1、阻塞IO
當用戶進程調用了recvfrom這個系統調用，kernel就開始了IO的第一個階段：准備數據（對於網絡IO來說，很多時候數據在一開始還沒有到達。比如，還沒有收到一個完整的UDP包。這個時候kernel就要等待足夠的數據到來）。這個過程需要等待，也就是說數據被拷貝到操作系統內核的緩沖區中是需要一個過程的。而在用戶進程這邊，整個進程會被阻塞（當然，是進程自己選擇的阻塞）。當kernel一直等到數據准備好了，它就會將數據從kernel中拷貝到用戶內存，然后kernel返回結果，用戶進程才解除block的狀態，重新運行起來。
所以，blocking IO的特點就是在IO執行的兩個階段都被block了。
2、非阻塞IO
Linux下，可以通過設置socket使其變為non-blocking。當對一個non-blocking socket執行讀操作時：
當用戶進程發出read操作時，如果kernel中的數據還沒有准備好，那么它並不會block用戶進程，而是立刻返回一個error。從用戶進程角度講 ，它發起一個read操作后，並不需要等待，而是馬上就得到了一個結果。用戶進程判斷結果是一個error時，它就知道數據還沒有准備好，於是它可以再次發送read操作。一旦kernel中的數據准備好了，並且又再次收到了用戶進程的system call，那么它馬上就將數據拷貝到了用戶內存，然后返回。
所以，nonblocking IO的特點是用戶進程需要不斷的主動詢問kernel數據好了沒有。
3、IO多路復用
IO multiplexing就是我們說的select，poll，epoll，有些地方也稱這種IO方式為event driven IO。select/epoll的好處就在於單個process就可以同時處理多個網絡連接的IO。它的基本原理就是select，poll，epoll這個function會不斷的輪詢所負責的所有socket，當某個socket有數據到達了，就通知用戶進程。
當用戶進程調用了select，那么整個進程就會被block，而同事，kernel會 “監視”所有select負責的socket，當任何一個socket中的數據准備好了，select就會返回。這個時候用戶進程再調用read操作，將數據從kernel拷貝到用戶進程。
所以，IO多路復用的特點是通過一種機制一個進程能同時等待多個文件描述符，而這些文件描述符（套接字描述符）其中的任意一個進入就緒狀態，select()函數就可以返回。
這里需要使用兩個system call（select 和 recvfrom），而blocking IO只調用了一個system call（recvfrom）。但是，用select的優勢在於它可以同時處理多個connection。
如果處理的連接數不是很高的話，使用select/epoll的web server不一定比使用mutil-threading + blocking IO的web server性能更好，可能延遲還更大。select/epoll 的優勢並不是對於單個連接能處理得更好，而是在於性能更多的連接。
4、異步IO
用戶進程發起read操作之后，立刻就可以開始去做其它的事。而另一方面，從kernel的角度，當它受到一個asynchronous read之后，首先它會立刻返回，所以不會對用戶進程產生任何block。然后，kernel會等待數據准備完成，然后將數據拷貝到用戶內存，當這一切都完成之后，kernel會給用戶進程發送一個signal，告訴它read操作完成了。
四、IO多路復用之select、poll、epoll詳解
select，poll，epoll都是IO多路復用的機制。I/O多路復用就是通過一種機制，一個進程可以監視多個描述符，一旦某個描述符就緒（一般是讀就緒或者寫就緒），能夠通知程序進行相應的讀寫操作。但select，poll，epoll本質上都是同步I/O，因為他們都需要在讀寫事件就緒后自己負責進行讀寫，也就是說這個讀寫過程是阻塞的，而異步I/O則無需自己負責進行讀寫，異步I/O的實現會負責把數據從內核拷貝到用戶空間。
1、select
select函數監視文件描述符，調用后select函數會阻塞，直到有描述符就緒，或者超時，函數返回，當select函數返回后，就可以遍歷描述符，找到就緒的描述符。
select的一個缺點在於單個進程能夠監視的文件描述符的數量也存在最大限制，在Linux上一般為1024，可以通過修改宏定義甚至重新編譯內核的方式提升這一限制。但是這樣也會造成效率的降低。
2、poll
沒有最大限制（但是數量過大后性能也是會下降）。和select函數一樣，poll返回后，需要輪詢來獲取就緒的描述符。
select和poll都需要在返回后，通過遍歷文件描述符來獲取已經就緒的socket。事實上，同時連接的大量客戶端在同一時刻可能只有很少的就緒狀態，因此隨着監視的描述符數量的增長，其效率也會線性下降。
3、epoll
相對於select和poll來說，epoll更加靈活，沒有描述符限制。epoll使用一個文件描述符管理多個描述符。
https://segmentfault.com/a/1190000003063859?utm_source=tag-newest#articleHeader0
http://www.imooc.com/article/265871
首先我們來定義流的概念，一個流可以是文件，socket，pipe等等可以進行I/O操作的內核對象。 不管是文件，還是套接字，還是管道，我們都可以把他們看作流。 之后我們來討論I/O的操作，通過read，我們可以從流中讀入數據；通過write，我們可以往流寫入數據。現在假定一個情形，我們需要從流中讀數據，但是流中還沒有數據，（典型的例子為，客戶端要從socket讀如數據，但是服務器還沒有把數據傳回來），這時候該怎么辦？ 阻塞：阻塞是個什么概念呢？比如某個時候你在等快遞，但是你不知道快遞什么時候過來，而且你沒有別的事可以干（或者說接下來的事要等快遞來了才能做）；那么你可以去睡覺了，因為你知道快遞把貨送來時一定會給你打個電話（假定一定能叫醒你）。 非阻塞忙輪詢：接着上面等快遞的例子，如果用忙輪詢的方法，那么你需要知道快遞員的手機號，然后每分鍾給他掛個電話：“你到了沒？” 很明顯一般人不會用第二種做法，不僅顯很無腦，浪費話費不說，還占用了快遞員大量的時間。 大部分程序也不會用第二種做法，因為第一種方法經濟而簡單，經濟是指消耗很少的CPU時間，如果線程睡眠了，就掉出了系統的調度隊列，暫時不會去瓜分CPU寶貴的時間片了。 為了了解阻塞是如何進行的，我們來討論緩沖區，以及內核緩沖區，最終把I/O事件解釋清楚。緩沖區的引入是為了減少頻繁I/O操作而引起頻繁的系統調用（你知道它很慢的），當你操作一個流時，更多的是以緩沖區為單位進行操作，這是相對於用戶空間而言。對於內核來說，也需要緩沖區。 假設有一個管道，進程A為管道的寫入方，Ｂ為管道的讀出方。 假設一開始內核緩沖區是空的，B作為讀出方，被阻塞着。然后首先A往管道寫入，這時候內核緩沖區由空的狀態變到非空狀態，內核就會產生一個事件告訴Ｂ該醒來了，這個事件姑且稱之為“緩沖區非空”。 但是“緩沖區非空”事件通知B后，B卻還沒有讀出數據；且內核許諾了不能把寫入管道中的數據丟掉這個時候，Ａ寫入的數據會滯留在內核緩沖區中，如果內核也緩沖區滿了，B仍未開始讀數據，最終內核緩沖區會被填滿，這個時候會產生一個I/O事件，告訴進程A，你該等等（阻塞）了，我們把這個事件定義為“緩沖區滿”。 假設后來Ｂ終於開始讀數據了，於是內核的緩沖區空了出來，這時候內核會告訴A，內核緩沖區有空位了，你可以從長眠中醒來了，繼續寫數據了，我們把這個事件叫做“緩沖區非滿” 也許事件Y1已經通知了A，但是A也沒有數據寫入了，而Ｂ繼續讀出數據，知道內核緩沖區空了。這個時候內核就告訴B，你需要阻塞了！，我們把這個時間定為“緩沖區空”。 這四個情形涵蓋了四個I/O事件，緩沖區滿，緩沖區空，緩沖區非空，緩沖區非滿（注都是說的內核緩沖區，且這四個術語都是我生造的，僅為解釋其原理而造）。這四個I/O事件是進行阻塞同步的根本。（如果不能理解“同步”是什么概念，請學習操作系統的鎖，信號量，條件變量等任務同步方面的相關知識）。 然后我們來說說阻塞I/O的缺點。但是阻塞I/O模式下，一個線程只能處理一個流的I/O事件。如果想要同時處理多個流，要么多進程(fork)，要么多線程(pthread_create)，很不幸這兩種方法效率都不高。 於是再來考慮非阻塞忙輪詢的I/O方式，我們發現我們可以同時處理多個流了（把一個流從阻塞模式切換到非阻塞模式再此不予討論）： while true { for i in stream[]; { if i has data read until unavailable } } 我們只要不停的把所有流從頭到尾問一遍，又從頭開始。這樣就可以處理多個流了，但這樣的做法顯然不好，因為如果所有的流都沒有數據，那么只會白白浪費CPU。這里要補充一點，阻塞模式下，內核對於I/O事件的處理是阻塞或者喚醒，而非阻塞模式下則把I/O事件交給其他對象（后文介紹的select以及epoll）處理甚至直接忽略。 為了避免CPU空轉，可以引進了一個代理（一開始有一位叫做select的代理，后來又有一位叫做poll的代理，不過兩者的本質是一樣的）。這個代理比較厲害，可以同時觀察許多流的I/O事件，在空閑的時候，會把當前線程阻塞掉，當有一個或多個流有I/O事件時，就從阻塞態中醒來，於是我們的程序就會輪詢一遍所有的流（於是我們可以把“忙”字去掉了）。代碼長這樣: while true { select(streams[]) for i in streams[] { if i has data read until unavailable } } 於是，如果沒有I/O事件產生，我們的程序就會阻塞在select處。但是依然有個問題，我們從select那里僅僅知道了，有I/O事件發生了，但卻並不知道是那幾個流（可能有一個，多個，甚至全部），我們只能無差別輪詢所有流，找出能讀出數據，或者寫入數據的流，對他們進行操作。 但是使用select，我們有O(n)的無差別輪詢復雜度，同時處理的流越多，沒一次無差別輪詢時間就越長。再次 說了這么多，終於能好好解釋epoll了 epoll可以理解為event poll，不同於忙輪詢和無差別輪詢，epoll之會把哪個流發生了怎樣的I/O事件通知我們。此時我們對這些流的操作都是有意義的。（復雜度降低到了O(1)） 在討論epoll的實現細節之前，先把epoll的相關操作列出： epoll_create 創建一個epoll對象，一般epollfd = epoll_create() epoll_ctl （epoll_add/epoll_del的合體），往epoll對象中增加/刪除某一個流的某一個事件 比如 epoll_ctl(epollfd, EPOLL_CTL_ADD, socket, EPOLLIN);//注冊緩沖區非空事件，即有數據流入 epoll_ctl(epollfd, EPOLL_CTL_DEL, socket, EPOLLOUT);//注冊緩沖區非滿事件，即流可以被寫入 epoll_wait(epollfd,...)等待直到注冊的事件發生 （注：當對一個非阻塞流的讀寫發生緩沖區滿或緩沖區空，write/read會返回-1，並設置errno=EAGAIN。而epoll只關心緩沖區非滿和緩沖區非空事件）。 一個epoll模式的代碼大概的樣子是： while true { active_stream[] = epoll_wait(epollfd) for i in active_stream[] { read or write till } } 限於篇幅，我只說這么多，以揭示原理性的東西，至於epoll的使用細節，請參考man和google，實現細節，請參閱linux kernel source。