關於Tcp封包
很多朋友已經對此作了不少研究,也花費不少心血編寫了實現代碼和blog文檔。當然也充斥着一些各式的評論,自己看了一下,總結一些心得。
首先我們學習一下這些朋友的心得,他們是:
http://blog.csdn.net/stamhe/article/details/4569530
http://www.cppblog.com/tx7do/archive/2011/05/04/145699.html
//………………
當然還有太多,很多東西粘來粘區也不知道到底是誰的原作,J
看這些朋友的blog是我建議親自看一下TCP-IP詳解卷1中的相關內容【原理性的內容一定要看】。
TCP大致工作原理介紹:
工作原理
TCP-IP詳解卷1第17章中17.2節對TCP服務原理作了一個簡明介紹(以下藍色字體摘自《TCP-IP詳解卷1第17章17.2節》):
盡管T C P和U D P都使用相同的網絡層( I P),T C P卻向應用層提供與U D P完全不同的服務。T C P提供一種面向連接的、可靠的字節流服務。
面向連接意味着兩個使用T C P的應用(通常是一個客戶和一個服務器)在彼此交換數據之前必須先建立一個T C P連接。這一過程與打電話很相似,先撥號振鈴,等待對方摘機說“喂”,然后才說明是誰。在第1 8章我們將看到一個T C P連接是如何建立的,以及當一方通信結束后如何斷開連接。
在一個T C P連接中,僅有兩方進行彼此通信。在第1 2章介紹的廣播和多播不能用於T C P。
T C P通過下列方式來提供可靠性:
• 應用數據被分割成T C P認為最適合發送的數據塊。這和U D P完全不同,應用程序產生的數據報長度將保持不變。由T C P傳遞給I P的信息單位稱為報文段或段( s e g m e n t)(參見圖1 - 7)。在1 8 . 4節我們將看到T C P如何確定報文段的長度。
• 當T C P發出一個段后,它啟動一個定時器,等待目的端確認收到這個報文段。如果不能及時收到一個確認,將重發這個報文段。在第2 1章我們將了解T C P協議中自適應的超時及重傳策略。
• 當T C P收到發自T C P連接另一端的數據,它將發送一個確認。這個確認不是立即發送,通常將推遲幾分之一秒,這將在1 9 . 3節討論。
• T C P將保持它首部和數據的檢驗和。這是一個端到端的檢驗和,目的是檢測數據在傳輸過程中的任何變化。如果收到段的檢驗和有差錯, T C P將丟棄這個報文段和不確認收到此報文段(希望發端超時並重發)。
• 既然T C P報文段作為I P數據報來傳輸,而I P數據報的到達可能會失序,因此T C P報文段的到達也可能會失序。如果必要, T C P將對收到的數據進行重新排序,將收到的數據以正確的順序交給應用層。
• 既然I P數據報會發生重復, T C P的接收端必須丟棄重復的數據。
• T C P還能提供流量控制。T C P連接的每一方都有固定大小的緩沖空間。T C P的接收端只允許另一端發送接收端緩沖區所能接納的數據。這將防止較快主機致使較慢主機的緩沖區溢出。兩個應用程序通過T C P連接交換8 bit字節構成的字節流。T C P不在字節流中插入記錄標識符。我們將這稱為字節流服務( byte stream service)。如果一方的應用程序先傳1 0字節,又傳2 0字節,再傳5 0字節,連接的另一方將無法了解發方每次發送了多少字節。收方可以分4次接收這8 0個字節,每次接收2 0字節。一端將字節流放到T C P連接上,同樣的字節流將出現在T C P連接的另一端。另外,T C P對字節流的內容不作任何解釋。T C P不知道傳輸的數據字節流是二進制數據,還是A S C I I字符、E B C D I C字符或者其他類型數據。對字節流的解釋由T C P連接雙方的應用層解釋。這種對字節流的處理方式與U n i x操作系統對文件的處理方式很相似。U n i x的內核對一個應用讀或寫的內容不作任何解釋,而是交給應用程序處理。對U n i x的內核來說,它無法區分一個二進制文件與一個文本文件。
T C P如何確定報文段的長度
我仍然引用官方解釋《TCP-IP詳解卷1》第18章18.4節:
最大報文段長度( M S S)表示T C P傳往另一端的最大塊數據的長度。當一個連接建立時【三次握手】,連接的雙方都要通告各自的M S S。我們已經見過M S S都是1 0 2 4。這導致I P數據報通常是4 0字節長:2 0字節的T C P首部和2 0字節的I P首部。
在有些書中,將它看作可“協商”選項。它並不是任何條件下都可協商。當建立一個連
接時,每一方都有用於通告它期望接收的M S S選項(M S S選項只能出現在S Y N報文段中)。如果一方不接收來自另一方的M S S值,則M S S就定為默認值5 3 6字節(這個默認值允許2 0字節的I P首部和2 0字節的T C P首部以適合5 7 6字節I P數據報)。
一般說來,如果沒有分段發生, M S S還是越大越好(這也並不總是正確,參見圖2 4 - 3和圖2 4 - 4中的例子)。報文段越大允許每個報文段傳送的數據就越多,相對I P和T C P首部有更高的網絡利用率。當T C P發送一個S Y N時,或者是因為一個本地應用進程想發起一個連接,或者是因為另一端的主機收到了一個連接請求,它能將M S S值設置為外出接口上的M T U長度減去固定的I P首部和T C P首部長度。對於一個以太網, M S S值可達1 4 6 0字節。使用IEEE 802.3的封裝(參見2 . 2節),它的M S S可達1 4 5 2字節。
如果目的I P地址為“非本地的( n o n l o c a l )”,M S S通常的默認值為5 3 6。而區分地址是本地還是非本地是簡單的,如果目的I P地址的網絡號與子網號都和我們的相同,則是本地的;如果目的I P地址的網絡號與我們的完全不同,則是非本地的;如果目的I P地址的網絡號與我們的相同而子網號與我們的不同,則可能是本地的,也可能是非本地的。大多數T C P實現版都提供了一個配置選項(附錄E和圖E - 1),讓系統管理員說明不同的子網是屬於本地還是非本地。這個選項的設置將確定M S S可以選擇盡可能的大(達到外出接口的M T U長度)或是默認值5 3 6。
M S S讓主機限制另一端發送數據報的長度。加上主機也能控制它發送數據報的長度,這將使以較小M T U連接到一個網絡上的主機避免分段。
只有當一端的主機以小於5 7 6字節的M T U直接連接到一個網絡中,避免這種分段才會有效。
如果兩端的主機都連接到以太網上,都采用5 3 6的M S S,但中間網絡采用2 9 6的M T U,也將會
出現分段。使用路徑上的M T U發現機制(參見2 4 . 2節)是關於這個問題的唯一方法。
以上說明MSS的值可以通過協商解決,這個協商過程會涉及MTU的值的大小,前面說了:【MSS=外出接口上的MTU-IP首部-TCP首部】,我們來看看數據進入TCP協議棧的封裝過程:
最后一層以太網幀的大小應該就是我們的出口MTU大小了。當目的主機收到一個以太網數據幀時,數據就開始從協議棧中由底向上升,同時去掉各層協議加上的報文首部。每層協議盒都要去檢查報文首部中的協議標識,以確定接收數據的上層協議。這個過程稱作分用( D e m u l t i p l e x i n g),圖1 - 8顯示了該過程是如何發生的。
那么什么是MTU呢,這實際上是數據鏈路層的一個概念,以太網和802.3這兩種局域網技術標准都對“鏈路層”的數據幀有大小限制:
l 最大傳輸單元MTU
正如在圖2 - 1看到的那樣,以太網和8 0 2 . 3對數據幀的長度都有一個限制,其最大值分別是1 5 0 0和1 4 9 2字節。鏈路層的這個特性稱作M T U,最大傳輸單元。不同類型的網絡大多數都有一個上限。
如果I P層有一個數據報要傳,而且數據的長度比鏈路層的M T U還大,那么I P層就需要進行分片( f r a g m e n t a t i o n),把數據報分成若干片,這樣每一片都小於M T U。我們將在11 . 5節討論I P分片的過程。
圖2 - 5列出了一些典型的M T U值,它們摘自RFC 1191[Mogul and Deering 1990]。點到點的鏈路層(如S L I P和P P P)的M T U並非指的是網絡媒體的物理特性。相反,它是一個邏輯限制,目的是為交互使用提供足夠快的響應時間。在2 . 1 0節中,我們將看到這個限制值是如何計算出來的。在3 . 9節中,我們將用n e t s t a t命令打印出網絡接口的M T U。
l 路徑MTU
當在同一個網絡上的兩台主機互相進行通信時,該網絡的M T U是非常重要的。但是如果
兩台主機之間的通信要通過多個網絡,那么每個網絡的鏈路層就可能有不同的M T U。重要的
不是兩台主機所在網絡的M T U的值,重要的是兩台通信主機路徑中的最小M T U。它被稱作路
徑M T U。
兩台主機之間的路徑M T U不一定是個常數。它取決於當時所選擇的路由。而選路不一定
是對稱的(從A到B的路由可能與從B到A的路由不同),因此路徑M T U在兩個方向上不一定是
一致的。
RFC 1191[Mogul and Deering 1990]描述了路徑M T U的發現機制,即在任何時候確定路徑
M T U的方法。我們在介紹了I C M P和I P分片方法以后再來看它是如何操作的。在11 . 6節中,我
們將看到I C M P的不可到達錯誤就采用這種發現方法。在11 . 7節中,還會看到, t r a c e r o u t e程序
也是用這個方法來確定到達目的節點的路徑M T U。在11 . 8節和2 4 . 2節,將介紹當產品支持路
徑M T U的發現方法時,U D P和T C P是如何進行操作的。
TCP的超時與重傳
前面談到TCP如何保證傳輸可靠性是說到“當T C P發出一個段后,它啟動一個定時器,等待目的端確認收到這個報文段。如果不能及時收到一個確認,將重發這個報文段”,下面我看一下TCP的超時與重傳。
T C P提供可靠的運輸層。它使用的方法之一就是確認從另一端收到的數據。但數據和確認都有可能會丟失。T C P通過在發送時設置一個定時器來解決這種問題。如果當定時器溢出時還沒有收到確認,它就重傳該數據。對任何實現而言,關鍵之處就在於超時和重傳的策略,即怎樣決定超時間隔和如何確定重傳的頻率。
對每個連接,T C P管理4個不同的定時器。
1) 重傳定時器使用於當希望收到另一端的確認。
2) 堅持( p e r s i s t )定時器使窗口大小信息保持不斷流動,即使另一端關閉了其接收窗口。
3) 保活( k e e p a l i v e )定時器可檢測到一個空閑連接的另一端何時崩潰或重啟。
4) 2MSL定時器測量一個連接處於T I M E _ WA I T狀態的時間。
T C P超時與重傳中最重要的部分就是對一個給定連接的往返時間( RT T)的測量。由於路由器和網絡流量均會變化,因此我們認為這個時間可能經常會發生變化, T C P應該跟蹤這些變化並相應地改變其超時時間。
大多數源於伯克利的T C P實現在任何時候對每個連接僅測量一次RT T值。在發送一個報文段時,如果給定連接的定時器已經被使用,則該報文段不被計時。
具體RTT值的估算比較麻煩,需要可以參考《TCP-IP詳解卷1第21章》
TCP經受延時的確認
交互數據總是以小於最大報文段長度的分組發送。對於這些小的報文段,接收方使用經受時延的確認方法來判斷確認是否可被推遲發送,以便與回送數據一起發送。這樣通常會減少報文段的數目 。
通常T C P在接收到數據時並不立即發送A C K;相反,它推遲發送,以便將A C K與需要沿該方向發送的數據一起發送(有時稱這種現象為數據捎帶A C K)。絕大多數實現采用的時延為200 ms,也就是說,T C P將以最大200 ms 的時延等待是否有數據一起發送。
我們看看另一位朋友的blog對此的介紹:
摘要:當使用TCP傳輸小型數據包時,程序的設計是相當重要的。如果在設計方案中不對TCP數據包的
延遲應答,Nagle算法,Winsock緩沖作用引起重視,將會嚴重影響程序的性能。這篇文章討論了這些
問題,列舉了兩個案例,給出了一些傳輸小數據包的優化設計方案。
背景:當Microsoft TCP棧接收到一個數據包時,會啟動一個200毫秒的計時器。當ACK確認數據包
發出之后,計時器會復位,接收到下一個數據包時,會再次啟動200毫秒的計時器。為了提升應用程序
在內部網和Internet上的傳輸性能,Microsoft TCP棧使用了下面的策略來決定在接收到數據包后
什么時候發送ACK確認數據包:
1、如果在200毫秒的計時器超時之前,接收到下一個數據包,則立即發送ACK確認數據包。
2、如果當前恰好有數據包需要發給ACK確認信息的接收端,則把ACK確認信息附帶在數據包上立即發送。
3、當計時器超時,ACK確認信息立即發送。
為了避免小數據包擁塞網絡,Microsoft TCP棧默認啟用了Nagle算法,這個算法能夠將應用程序多次
調用Send發送的數據拼接起來,當收到前一個數據包的ACK確認信息時,一起發送出去。下面是Nagle
算法的例外情況:
1、如果Microsoft TCP棧拼接起來的數據包超過了MTU值,這個數據會立即發送,而不等待前一個數據
包的ACK確認信息。在以太網中,TCP的MTU(Maximum Transmission Unit)值是1460字節。
2、如果設置了TCP_NODELAY選項,就會禁用Nagle算法,應用程序調用Send發送的數據包會立即被
投遞到網絡,而沒有延遲。
為了在應用層優化性能,Winsock把應用程序調用Send發送的數據從應用程序的緩沖區復制到Winsock
內核緩沖區。Microsoft TCP棧利用類似Nagle算法的方法,決定什么時候才實際地把數據投遞到網絡。
內核緩沖區的默認大小是8K,使用SO_SNDBUF選項,可以改變Winsock內核緩沖區的大小。如果有必要的話,
Winsock能緩沖大於SO_SNDBUF緩沖區大小的數據。在絕大多數情況下,應用程序完成Send調用僅僅表明數據
被復制到了Winsock內核緩沖區,並不能說明數據就實際地被投遞到了網絡上。唯一一種例外的情況是:
通過設置SO_SNDBUT為0禁用了Winsock內核緩沖區。
Winsock使用下面的規則來向應用程序表明一個Send調用的完成:
1、如果socket仍然在SO_SNDBUF限額內,Winsock復制應用程序要發送的數據到內核緩沖區,完成Send調用。
2、如果Socket超過了SO_SNDBUF限額並且先前只有一個被緩沖的發送數據在內核緩沖區,Winsock復制要發送
的數據到內核緩沖區,完成Send調用。
3、如果Socket超過了SO_SNDBUF限額並且內核緩沖區有不只一個被緩沖的發送數據,Winsock復制要發送的數據
到內核緩沖區,然后投遞數據到網絡,直到Socket降到SO_SNDBUF限額內或者只剩余一個要發送的數據,才
完成Send調用。
案例1
一個Winsock TCP客戶端需要發送10000個記錄到Winsock TCP服務端,保存到數據庫。記錄大小從20字節到100
字節不等。對於簡單的應用程序邏輯,可能的設計方案如下:
1、客戶端以阻塞方式發送,服務端以阻塞方式接收。
2、客戶端設置SO_SNDBUF為0,禁用Nagle算法,讓每個數據包單獨的發送。
3、服務端在一個循環中調用Recv接收數據包。給Recv傳遞200字節的緩沖區以便讓每個記錄在一次Recv調用中
被獲取到。
性能:
在測試中發現,客戶端每秒只能發送5條數據到服務段,總共10000條記錄,976K字節左右,用了半個多小時
才全部傳到服務器。
分析:
因為客戶端沒有設置TCP_NODELAY選項,Nagle算法強制TCP棧在發送數據包之前等待前一個數據包的ACK確認
信息。然而,客戶端設置SO_SNDBUF為0,禁用了內核緩沖區。因此,10000個Send調用只能一個數據包一個數據
包的發送和確認,由於下列原因,每個ACK確認信息被延遲200毫秒:
1、當服務器獲取到一個數據包,啟動一個200毫秒的計時器。
2、服務端不需要向客戶端發送任何數據,所以,ACK確認信息不能被發回的數據包順路攜帶。
3、客戶端在沒有收到前一個數據包的確認信息前,不能發送數據包。
4、服務端的計時器超時后,ACK確認信息被發送到客戶端。
如何提高性能:
在這個設計中存在兩個問題。第一,存在延時問題。客戶端需要能夠在200毫秒內發送兩個數據包到服務端。
因為客戶端默認情況下使用Nagle算法,應該使用默認的內核緩沖區,不應該設置SO_SNDBUF為0。一旦TCP
棧拼接起來的數據包超過MTU值,這個數據包會立即被發送,不用等待前一個ACK確認信息。第二,這個設計
方案對每一個如此小的的數據包都調用一次Send。發送這么小的數據包是不很有效率的。在這種情況下,應該
把每個記錄補充到100字節並且每次調用Send發送80個記錄。為了讓服務端知道一次總共發送了多少個記錄,
客戶端可以在記錄前面帶一個頭信息。
案例二:
一個Winsock TCP客戶端程序打開兩個連接和一個提供股票報價服務的Winsock TCP服務端通信。第一個連接
作為命令通道用來傳輸股票編號到服務端。第二個連接作為數據通道用來接收股票報價。兩個連接被建立后,
客戶端通過命令通道發送股票編號到服務端,然后在數據通道上等待返回的股票報價信息。客戶端在接收到第一
個股票報價信息后發送下一個股票編號請求到服務端。客戶端和服務端都沒有設置SO_SNDBUF和TCP_NODELAY
選項。
性能:
測試中發現,客戶端每秒只能獲取到5條報價信息。
分析:
這個設計方案一次只允許獲取一條股票信息。第一個股票編號信息通過命令通道發送到服務端,立即接收到
服務端通過數據通道返回的股票報價信息。然后,客戶端立即發送第二條請求信息,send調用立即返回,
發送的數據被復制到內核緩沖區。然而,TCP棧不能立即投遞這個數據包到網絡,因為沒有收到前一個數據包的
ACK確認信息。200毫秒后,服務端的計時器超時,第一個請求數據包的ACK確認信息被發送回客戶端,客戶端
的第二個請求包才被投遞到網絡。第二個請求的報價信息立即從數據通道返回到客戶端,因為此時,客戶端的
計時器已經超時,第一個報價信息的ACK確認信息已經被發送到服務端。這個過程循環發生。
如何提高性能:
在這里,兩個連接的設計是沒有必要的。如果使用一個連接來請求和接收報價信息,股票請求的ACK確認信息會
被返回的報價信息立即順路攜帶回來。要進一步的提高性能,客戶端應該一次調用Send發送多個股票請求,服務端
一次返回多個報價信息。如果由於某些特殊原因必須要使用兩個單向的連接,客戶端和服務端都應該設置TCP_NODELAY
選項,讓小數據包立即發送而不用等待前一個數據包的ACK確認信息。
提高性能的建議:
上面兩個案例說明了一些最壞的情況。當設計一個方案解決大量的小數據包發送和接收時,應該遵循以下的建議:
1、如果數據片段不需要緊急傳輸的話,應用程序應該將他們拼接成更大的數據塊,再調用Send。因為發送緩沖區
很可能被復制到內核緩沖區,所以緩沖區不應該太大,通常比8K小一點點是很有效率的。只要Winsock內核緩沖區
得到一個大於MTU值的數據塊,就會發送若干個數據包,剩下最后一個數據包。發送方除了最后一個數據包,都不會
被200毫秒的計時器觸發。
2、如果可能的話,避免單向的Socket數據流接連。
3、不要設置SO_SNDBUF為0,除非想確保數據包在調用Send完成之后立即被投遞到網絡。事實上,8K的緩沖區適合大多數
情況,不需要重新改變,除非新設置的緩沖區經過測試的確比默認大小更高效。
4、如果數據傳輸不用保證可靠性,使用UDP。
結論:
1. TCP提供了面向“連續字節流”的可靠的傳輸服務,TCP並不理解流所攜帶的數據內容,這個內容需要應用層自己解析。
2. “字節流”是連續的、非結構化的,而我們的應用需要的是有序的、結構化的數據信息,因此我們需要定義自己的“規則”去解讀這個“連續的字節流“,那解決途徑就是定義自己的封包類型,然后用這個類型去映射“連續字節流”。
如何定義封包,我們回顧一下前面這個數據進入協議棧的封裝過程圖:
封包其實就是將上圖中進入協議棧的用戶數據[即用戶要發送的數據]定義為一種方便識別和交流的類型,這有點類似信封的概念,信封就是一種人們之間通信的格式,信封格式如下:
信封格式:
收信人郵編
收信人地址
收信人姓名
信件內容
那么在程序里面我們也需要定義這種格式:在C++里面只有結構和類這種兩種類型適合表達這個概念了。網絡上很多朋友對此表述了自己的看法並貼出了代碼:比如
/************************************************************************/
/* 數據封包信息定義開始 */
/************************************************************************/
#pragma pack(push,1) //將原對齊方式壓棧,采用新的1字節對齊方式
/* 封包類型枚舉[此處根據需求列舉] */
typedef enum{
NLOGIN=1,
NREG=2,
NBACKUP=3,
NRESTORE=3,
NFILE_TRANSFER=4,
NHELLO=5
} PACKETTYPE;
/* 包頭 */
typedef struct tagNetPacketHead{
byte version;//版本
PACKETTYPE ePType;//包類型
WORD nLen;//包體長度
} NetPacketHead;
/* 封包對象[包頭&包體] */
typedef struct tagNetPacket{
NetPacketHead netPacketHead;//包頭
char * packetBody;//包體
} NetPacket;
#pragma pack(pop)
/**************數據封包信息定義結束**************************/
3. 發包順序與收包問題
a) 由於TCP要通過協商解決發送出去的報文段的長度,因此我們發送的數據很有可能被分割甚至被分割后再重組交給網絡層發送,而網絡層又是采用分組傳送,即網絡層數據報到達目標的順序完全無法預測,那么收包會出現半包、粘包問題。舉個例子,發送端連續發送兩端數據msg1和msg2,那么發送端[傳輸層]可能會出現以下情況:
i. Msg1和msg2小於TCP的MSS,兩個包按照先后順序被發出,沒有被分割和重組
ii. Msg1過大被分割成兩段TCP報文msg1-1、msg2-2進行傳送,msg2較小直接被封裝成一個報文傳送
iii. Msg1過大被分割成兩段TCP報文msg1-1、msg2-2,msg1-1先被傳送,剩下的msg1-2和msg2[較小]被組合成一個報文傳送
iv. Msg1過大被分割成兩段TCP報文msg1-1、msg2-2,msg1-1先被傳送,剩下的msg1-2和msg2[較小]組合起來還是太小,組合的內容在和后面再發送的msg3的前部分數據組合起來發送
v. ……………………….太多……………………..
b) 接收端[傳輸層]可能出現的情況
i. 先收到msg1,再收到msg2,這種方式太順利了。
ii. 先收到msg1-1,再收到msg1-2,再收到msg2
iii. 先收到msg1,再收到msg2-1,再收到msg2-2
iv. 先收到msg1和msg2-1,再收到msg2-2
v. //…………還有很多………………
c) 其實“接收端網絡層”接收到的分組數據報順序和發送端比較可能完全是亂的,比如發“送端網絡層”發送1、2、3、4、5,而接收端網絡層接收到的數據報順序卻可能是2、1、5、4、3,但是“接收端的傳輸層”會保證鏈接的有序性和可靠性,“接收端的傳輸層”會對“接收端網絡層”收到的順序紊亂的數據報重組成有序的報文[即發送方傳輸層發出的順序],然后交給“接收端應用層”使用,所以“接收端傳輸層”總是能夠保證數據包的有序性,“接收端應用層”[我們編寫的socket程序]不用擔心接收到的數據的順序問題。
d) 但是如上所述,粘包問題和半包問題不可避免。我們在接收端應用層需要自己編碼處理粘包和半包問題。一般做法是定義一個緩沖區或者是使用標准庫/框架提供的容器循環存放接收到數據,邊接收變判斷緩沖區數據是否滿足包頭大小,如果滿足包頭大小再判斷緩沖區剩下數據是否滿足包體大小,如果滿足則提取。詳細步驟如下:
1. 接收數據存入緩沖區尾部
2. 緩沖區數據滿足包頭大小否
3. 緩沖區數據不滿足包頭大小,回到第1步;緩沖區數據滿足包頭大小則取出包頭,接着判斷緩沖區剩余數據滿足包頭中定義的包體大小否,不滿足則回到第1步。
4. 緩沖區數據滿足一個包頭大小和一個包體大小之和,則取出包頭和包體進行使用,此處使用可以采用拷貝方式轉移緩沖區數據到另外一個地方,也可以為了節省內存直接采取調用回調函數的方式完成數據使用。
5. 清除緩沖區的第一個包頭和包體信息,做法一般是將緩沖區剩下的數據拷貝到緩沖區首部覆蓋“第一個包頭和包體信息”部分即可。
粘包、半包處理具體實現很多朋友都有自己的做法,比如最前面貼出的鏈接,這里我也貼出一段參考:
緩沖區實現頭文件:
#include <windows.h>
#ifndef _CNetDataBuffer_H_
#define _CNetDataBuffer_H_
#ifndef TCPLAB_DECLSPEC
#define TCPLAB_DECLSPEC _declspec(dllimport)
#endif
/************************************************************************/
/* 數據封包信息定義開始 */
/************************************************************************/
#pragma pack(push,1) //將原對齊方式壓棧,采用新的1字節對齊方式
/* 封包類型枚舉[此處根據需求列舉] */
typedef enum{
NLOGIN=1,
NREG=2,
NBACKUP=3,
NRESTORE=3,
NFILE_TRANSFER=4,
NHELLO=5
} PACKETTYPE;
/* 包頭 */
typedef struct tagNetPacketHead{
byte version;//版本
PACKETTYPE ePType;//包類型
WORD nLen;//包體長度
} NetPacketHead;
/* 封包對象[包頭&包體] */
typedef struct tagNetPacket{
NetPacketHead netPacketHead;//包頭
char * packetBody;//包體
} NetPacket;
#pragma pack(pop)
/**************數據封包信息定義結束**************************/
//緩沖區初始大小
#define BUFFER_INIT_SIZE 2048
//緩沖區膨脹系數[緩沖區膨脹后的大小=原大小+系數*新增數據長度]
#define BUFFER_EXPAND_SIZE 2
//計算緩沖區除第一個包頭外剩下的數據的長度的宏[緩沖區數據總長度-包頭大小]
#define BUFFER_BODY_LEN (m_nOffset-sizeof(NetPacketHead))
//計算緩沖區數據當前是否滿足一個完整包數據量[包頭&包體]
#define HAS_FULL_PACKET ( \
(sizeof(NetPacketHead)<=m_nOffset) && \
((((NetPacketHead*)m_pMsgBuffer)->nLen) <= BUFFER_BODY_LEN) \
)
//檢查包是否合法[包體長度大於零且包體不等於空]
#define IS_VALID_PACKET(netPacket) \
((netPacket.netPacketHead.nLen>0) && (netPacket.packetBody!=NULL))
//緩沖區第一個包的長度
#define FIRST_PACKET_LEN (sizeof(NetPacketHead)+((NetPacketHead*)m_pMsgBuffer)->nLen)
/* 數據緩沖 */
class /*TCPLAB_DECLSPEC*/ CNetDataBuffer
{
/* 緩沖區操作相關成員 */
private:
char *m_pMsgBuffer;//數據緩沖區
int m_nBufferSize;//緩沖區總大小
int m_nOffset;//緩沖區數據大小
public:
int GetBufferSize() const;//獲得緩沖區的大小
BOOL ReBufferSize(int);//調整緩沖區的大小
BOOL IsFitPacketHeadSize() const;//緩沖數據是否適合包頭大小
BOOL IsHasFullPacket() const;//緩沖區是否擁有完整的包數據[包含包頭和包體]
BOOL AddMsg(char *pBuf,int nLen);//添加消息到緩沖區
const char *GetBufferContents() const;//得到緩沖區內容
void Reset();//緩沖區復位[清空緩沖區數據,但並未釋放緩沖區]
void Poll();//移除緩沖區首部的第一個數據包
public:
CNetDataBuffer();
~CNetDataBuffer();
};
#endif
緩沖區實現文件:
#define TCPLAB_DECLSPEC _declspec(dllexport)
#include "CNetDataBuffer.h"
/* 構造 */
CNetDataBuffer::CNetDataBuffer()
{
m_nBufferSize = BUFFER_INIT_SIZE;//設置緩沖區大小
m_nOffset = 0;//設置數據偏移值[數據大小]為0
m_pMsgBuffer = NULL;
m_pMsgBuffer = new char[BUFFER_INIT_SIZE];//分配緩沖區為初始大小
ZeroMemory(m_pMsgBuffer,BUFFER_INIT_SIZE);//緩沖區清空
}
/* 析構 */
CNetDataBuffer::~CNetDataBuffer()
{
if (m_nOffset!=0)
{
delete [] m_pMsgBuffer;//釋放緩沖區
m_pMsgBuffer = NULL;
m_nBufferSize=0;
m_nOffset=0;
}
}
/************************************************************************/
/* Description: 獲得緩沖區中數據的大小 */
/* Return: 緩沖區中數據的大小 */
/************************************************************************/
INT CNetDataBuffer::GetBufferSize() const
{
return this->m_nOffset;
}
/************************************************************************/
/* Description: 緩沖區中的數據大小是否足夠一個包頭大小 */
/* Return: 如果滿足則返回True,否則返回False
/************************************************************************/
BOOL CNetDataBuffer::IsFitPacketHeadSize() const
{
return sizeof(NetPacketHead)<=m_nOffset;
}
/************************************************************************/
/* Description: 判斷緩沖區是否擁有完整的數據包(包頭和包體) */
/* Return: 如果緩沖區包含一個完整封包則返回True,否則False */
/************************************************************************/
BOOL CNetDataBuffer::IsHasFullPacket() const
{
//如果連包頭大小都不滿足則返回
//if (!IsFitPacketHeadSize())
// return FALSE;
return HAS_FULL_PACKET;//此處采用宏簡化代碼
}
/************************************************************************/
/* Description: 重置緩沖區大小 */
/* nLen: 新增加的數據長度 */
/* Return: 調整結果 */
/************************************************************************/
BOOL CNetDataBuffer::ReBufferSize(int nLen)
{
char *oBuffer = m_pMsgBuffer;//保存原緩沖區地址
try
{
nLen=(nLen<64?64:nLen);//保證最小增量大小
//新緩沖區的大小=增加的大小+原緩沖區大小
m_nBufferSize = BUFFER_EXPAND_SIZE*nLen+m_nBufferSize;
m_pMsgBuffer = new char[m_nBufferSize];//分配新的緩沖區,m_pMsgBuff指向新緩沖區地址
ZeroMemory(m_pMsgBuffer,m_nBufferSize);//新緩沖區清零
CopyMemory(m_pMsgBuffer,oBuffer,m_nOffset);//將原緩沖區的內容全部拷貝到新緩沖區
}
catch(...)
{
throw;
}
delete []oBuffer;//釋放原緩沖區
return TRUE;
}
/************************************************************************/
/* Description: 向緩沖區添加消息 */
/* pBuf: 要添加的數據 */
/* nLen: 添加的消息長度
/* return: 添加成功返回True,否則False */
/************************************************************************/
BOOL CNetDataBuffer::AddMsg(char *pBuf,int nLen)
{
try
{
//檢查緩沖區長度是否滿足,不滿足則重新調整緩沖區大小
if (m_nOffset+nLen>m_nBufferSize)
ReBufferSize(nLen);
//拷貝新數據到緩沖區末尾
CopyMemory(m_pMsgBuffer+sizeof(char)*m_nOffset,pBuf,nLen);
m_nOffset+=nLen;//修改數據偏移
}
catch(...)
{
return FALSE;
}
return TRUE;
}
/* 得到緩沖區內容 */
const char * CNetDataBuffer::GetBufferContents() const
{
return m_pMsgBuffer;
}
/************************************************************************/
/* 緩沖區復位 */
/************************************************************************/
void CNetDataBuffer::Reset()
{
if (m_nOffset>0)
{
m_nOffset = 0;
ZeroMemory(m_pMsgBuffer,m_nBufferSize);
}
}
/************************************************************************/
/* 移除緩沖區首部的第一個數據包 */
/************************************************************************/
void CNetDataBuffer::Poll()
{
if(m_nOffset==0 || m_pMsgBuffer==NULL)
return;
if (IsFitPacketHeadSize() && HAS_FULL_PACKET)
{
CopyMemory(m_pMsgBuffer,m_pMsgBuffer+FIRST_PACKET_LEN*sizeof(char),m_nOffset-FIRST_PACKET_LEN);
}
}
對TCP發包和收包進行簡單封裝:
頭文件:
#include <windows.h>
#include "CNetDataBuffer.h"
// #ifndef TCPLAB_DECLSPEC
// #define TCPLAB_DECLSPEC _declspec(dllimport)
// #endif
#ifndef _CNETCOMTEMPLATE_H_
#define _CNETCOMTEMPLATE_H_
//通信端口
#define TCP_PORT 6000
/* 通信終端[包含一個Socket和一個緩沖對象] */
typedef struct {
SOCKET m_socket;//通信套接字
CNetDataBuffer m_netDataBuffer;//該套接字關聯的數據緩沖區
} ComEndPoint;
/* 收包回調函數參數 */
typedef struct{
NetPacket *pPacket;
LPVOID processor;
SOCKET comSocket;
} PacketHandlerParam;
class CNetComTemplate{
/* Socket操作相關成員 */
private:
public:
void SendPacket(SOCKET m_connectedSocket,NetPacket &netPacket);//發包函數
BOOL RecvPacket(ComEndPoint &comEndPoint,void (*recvPacketHandler)(LPVOID)=NULL,LPVOID=NULL);//收包函數
public:
CNetComTemplate();
~CNetComTemplate();
};
#endif
實現文件:
#include "CNetComTemplate.h"
CNetComTemplate::CNetComTemplate()
{
}
CNetComTemplate::~CNetComTemplate()
{
}
/************************************************************************/
/* Description:發包 */
/* m_connectedSocket:建立好連接的套接字 */
/* netPacket:要發送的數據包 */
/************************************************************************/
void CNetComTemplate::SendPacket(SOCKET m_connectedSocket,NetPacket &netPacket)
{
if (m_connectedSocket==NULL || !IS_VALID_PACKET(netPacket))//如果尚未建立連接則退出
{
return;
}
::send(m_connectedSocket,(char*)&netPacket.netPacketHead,sizeof(NetPacketHead),0);//先發送包頭
::send(m_connectedSocket,netPacket.packetBody,netPacket.netPacketHead.nLen,0);//在發送包體
}
/**************************************************************************/
/* Description:收包 */
/* comEndPoint:通信終端[包含套接字和關聯的緩沖區] */
/* recvPacketHandler:收包回調函數,當收到一個包后調用該函數進行包的分發處理*/
/**************************************************************************/
BOOL CNetComTemplate::RecvPacket(ComEndPoint &comEndPoint,void (*recvPacketHandler)(LPVOID),LPVOID pCallParam)
{
if (comEndPoint.m_socket==NULL)
return FALSE;
int nRecvedLen = 0;
char pBuf[1024];
//如果緩沖區數據不夠包大小則繼續從套接字讀取tcp報文段
while (!(comEndPoint.m_netDataBuffer.IsHasFullPacket()))
{
nRecvedLen = recv(comEndPoint.m_socket,pBuf,1024,0);
if (nRecvedLen==SOCKET_ERROR || nRecvedLen==0)//若果Socket錯誤或者對方連接已經正常關閉則結束讀取
break;
comEndPoint.m_netDataBuffer.AddMsg(pBuf,nRecvedLen);//將新接收的數據存入緩沖區
}
//執行到此處可能是三種情況:
//1.已經讀取到的數據滿足一個完整的tcp報文段
//2.讀取發生socket_error錯誤
//3.在還未正常讀取完畢的過程中對方連接已經關閉
//如果沒有讀取到數據或者沒有讀取到完整報文段則返回返回
if (nRecvedLen==0 || (!(comEndPoint.m_netDataBuffer.IsHasFullPacket())))
{
return FALSE;
}
if (recvPacketHandler!=NULL)
{
//構造准備傳遞給回調函數的數據包
NetPacket netPacket;
netPacket.netPacketHead = *(NetPacketHead*)comEndPoint.m_netDataBuffer.GetBufferContents();
netPacket.packetBody = new char[netPacket.netPacketHead.nLen];//動態分配包體空間
//構造回調函數參數
PacketHandlerParam packetParam;
packetParam.pPacket = &netPacket;
packetParam.processor = pCallParam;
//呼叫回調函數
recvPacketHandler(&packetParam);
delete []netPacket.packetBody;
}
//移除緩沖區的第一個包
comEndPoint.m_netDataBuffer.Poll();
return TRUE;
}
from:http://www.cnblogs.com/jiangtong/archive/2012/03/22/2411985.html