應該是windows網絡編程第二版里面提到過。現在整理一下。
1:在IOCP中投遞WSASend返回WSA_IO_PENDING的時候,表示異步投遞已經成功,但是稍后發送才會完成。這其中涉及到了三個緩沖區。
網卡緩沖區,TCP/IP層緩沖區,程序緩沖區。
情況一:調用WSASend發送正確的時候(即立即返回,且沒有錯誤),TCP/IP將數據從程序緩沖區中拷貝到TCP/IP層緩沖區中,然后不鎖定該程序緩沖區,由上層程序自己處理。TCP/IP層緩沖區在網絡合適的時候,將其數據拷貝到網卡緩沖區,進行真正的發送。
情況二:調用WSASend發送錯誤,但是錯誤碼是WSA_IO_PENDING的時候,表示此時TCP/IP層緩沖區已滿,暫時沒有剩余的空間將程序緩沖區的數據拷貝出來,這時系統將鎖定用戶的程序緩沖區,按照書上說的WSASend指定的緩沖區將會被鎖定到系統的非分頁內存中。直到TCP/IP層緩沖區有空余的地方來接受拷貝我們的程序緩沖區數據才拷貝走,並將給IOCP一個完成消息。
情況三:調用WSASend發送錯誤,但是錯誤碼不是WSA_IO_PENDING,此時應該是發送錯誤,應該釋放該SOCKET對應的所有資源。
2:在IOCP中投遞WSARecv的時候,情況相似。
情況一:調用WSARecv正確,TCP/IP將數據從TCP/IP層緩沖區拷貝到緩沖區,然后由我們的程序自行處理了。清除TCP/IP層緩沖區數據。
情況二:調用WSARecv錯誤,但是返回值是WSA_IO_PENDING,此時是因為TCP/IP層緩沖區中沒有數據可取,系統將會鎖定我們投遞的WSARecv的buffer,直到TCP/IP層緩沖區中有新的數據到來。
情況三:調用WSARecv錯誤,錯誤值不是WSA_IO_PENDING,此時是接收出錯,應該釋放該SOCKET對應的所有資源。
在以上情況中有幾個非常要注意的事情:
系統鎖定非分頁內存的時候,最小的鎖定大小是4K(當然,這個取決於您系統的設置,也可以設置小一些,在注冊表里面可以改,當然我想這些數值微軟應該比我們更知道什么合適了),所以當我們投遞了很多WSARecv或者WSASend的時候,不管我們投遞的Buffer有多大(0除外),系統在出現IO_PENGDING的時候,都會鎖定我們4K的內存。這也就是經常有開發者出現WSANOBUF的情況原因了。
我們在解決這個問題的時候,要針對WSASend和WSARecv做處理
1:投遞WSARecv的時候,可以采用一個巧妙的設計,先投遞0大小Buf的WSARecv,如果返回,表示有數據可以接收,我們開啟真正的recv將數據從TCP/IP層緩沖區取出來,直到WSA_IO_PENGDING.
2:對投遞的WSARecv以及WSASend進行計數統計,如果超過了我們預定義的值,就不進行WSASend或者WSARecv投遞了。
3:現在我們應該就可以明白為什么WSASend會返回小於我們投遞的buffer空間數據值了,是因為TCP/IP層緩沖區小於我們要發送的緩沖區,TCP/IP只會拷貝他剩余可被Copy的緩沖區大小的數據走,然后給我們的WSASend的已發送緩沖區設置為移走的大小,下一次投遞的時候,如果TCP/IP層還未被發送,將返回WSA_IO_PENGDING。
4:在很多地方有提到,可以關閉TCP/IP層緩沖區,可以提高一些效率和性能,這個從上面的分析來看,有這個可能,要實際的網絡情況去實際分析了。