最近一直在做中間件相關的東西，所以接觸到的各種協議比較多，總的來說有TCP，UDP，HTTP等各種網絡傳輸協議，因此樓主想先從協議最基本的TCP粘包問題搞起，把計算機網絡這部分基礎夯實一下。
貼個廣告
樓主的博客已全部搬遷至自己的博客，感興趣的小伙伴請移步haifeiWu與他朋友們的博客專欄
TCP協議的簡單介紹
TCP是面向連接的運輸層協議
簡單來說，在使用TCP協議之前，必須先建立TCP連接，就是我們常說的三次握手。在數據傳輸完畢之后，必須是釋放已經建立的TCP連接，否則會發生不可預知的問題，造成服務的不可用狀態。
每一條TCP連接都是可靠連接，且只有兩個端點
TCP連接是從Server端到Client端的點對點的，通過TCP傳輸數據，無差錯，不重復不丟失。
TCP協議的通信是全雙工的
TCP協議允許通信雙方的應用程序在任何時候都能發送數據。TCP 連接的兩端都設有發送緩沖區和接收緩沖區，用來臨時存放雙向通信的數據。發送數據時，應用程序把數據傳送給TCP的緩沖后，就可以做自己的事情，而TCP在合適的時候將數據發送出去。在接收的時候，TCP把收到的數據放入接收緩沖區，上層應用在合適的時候讀取數據。
TCP協議是面向字節流的
TCP中的流是指流入進程或者從進程中流出的字節序列。所以向Java，golang等高級語言在進行TCP通信是都需要將相應的實體序列化才能進行傳輸。還有就是在我們使用Redis做緩存的時候，都需要將放入Redis的數據序列化才可以，原因就是Redis底層就是實現的TCP協議。
TCP並不知道所傳輸的字節流的含義，TCP並不能保證接收方應用程序和發送方應用程序所發出的數據塊具有對應大小的關系（這就是TCP傳輸過程中產生的粘包問題）。但是應用程序接收方最終受到的字節流與發送方發送的字節流是一定相同的。因此，我們在使用TCP協議的時候應該制定合理的粘包拆包策略。
下圖是TCP的協議傳輸的整個過程：
下面這個圖是從老錢的博客里面取到的，非常生動
TCP粘包問題復現
理論推敲
如下圖所示，出現的粘包問題一共有三種情況
第一種情況：
如上圖中的第一根bar所示，服務端一共讀到兩個數據包，每個數據包都是完成的，並沒有發生粘包的問題，這種情況比較好處理，服務器只需要簡單的從網絡緩沖區去讀就好了，每次服務端讀取到的消息都是完成的，並不會出現數據不正確的情況。
第二種情況：
服務端僅收到一個數據包，這個數據包包含客戶端發出的兩條消息的完整信息，這個時候基於第一種情況的邏輯實現的服務端就蒙了，因為服務端並不能很好的處理這個數據包，甚至不能處理，這種情況其實就是TCP的粘包問題。
第三種情況：
服務端收到了兩個數據包，第一個數據包只包含了第一條消息的一部分，第一條消息的后半部分和第二條消息都在第二個數據包中，或者是第一個數據包包含了第一條消息的完整信息和第二條消息的一部分信息，第二個數據包包含了第二條消息的剩下部分，這種情況其實是發送了TCP拆包問題，因為發生了一條消息被拆分在兩個包里面發送了，同樣上面的服務器邏輯對於這種情況是不好處理的。
為什么會發生TCP粘包、拆包
-
應用程序寫入的數據大於套接字緩沖區大小，這將會發生拆包。
-
應用程序寫入數據小於套接字緩沖區大小，網卡將應用多次寫入的數據發送到網絡上，這將會發生粘包。
-
進行MSS（最大報文長度）大小的TCP分段，當TCP報文長度-TCP頭部長度>MSS的時候將發生拆包。
-
接收方法不及時讀取套接字緩沖區數據，這將發生粘包。
如何處理粘包、拆包
通常會有以下一些常用的方法：
-
使用帶消息頭的協議、消息頭存儲消息開始標識及消息長度信息，服務端獲取消息頭的時候解析出消息長度，然后向后讀取該長度的內容。
-
設置定長消息，服務端每次讀取既定長度的內容作為一條完整消息，當消息不夠長時，空位補上固定字符。
-
設置消息邊界，服務端從網絡流中按消息編輯分離出消息內容，一般使用‘\n’。
-
更為復雜的協議，例如樓主最近接觸比較多的車聯網協議808,809協議。
TCP粘包拆包的代碼實踐
下面代碼樓主主要演示了使用規定消息頭，消息體的方式來解決TCP的粘包，拆包問題。
server端代碼： server端代碼的主要邏輯是接收客戶端發送過來的消息，重新組裝出消息，並打印出來。
import java.io.*;
import java.net.InetSocketAddress;
import java.net.ServerSocket;
import java.net.Socket;
/**
* @author wuhf
* @Date 2018/7/16 15:50
**/
public class TestSocketServer {
public static void main(String args[]) {
ServerSocket serverSocket;
try {
serverSocket = new ServerSocket();
serverSocket.bind(new InetSocketAddress(8089));
while (true) {
Socket socket = serverSocket.accept();
new ReceiveThread(socket).start();
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
static class ReceiveThread extends Thread {
public static final int PACKET_HEAD_LENGTH = 2;//包頭長度
private Socket socket;
private volatile byte[] bytes = new byte[0];
public ReceiveThread(Socket socket) {
this.socket = socket;
}
public byte[] mergebyte(byte[] a, byte[] b, int begin, int end) {
byte[] add = new byte[a.length + end - begin];
int i = 0;
for (i = 0; i < a.length; i++) {
add[i] = a[i];
}
for (int k = begin; k < end; k++, i++) {
add[i] = b[k];
}
return add;
}
@Override
public void run() {
int count = 0;
while (true) {
try {
InputStream reader = socket.getInputStream();
if (bytes.length < PACKET_HEAD_LENGTH) {
byte[] head = new byte[PACKET_HEAD_LENGTH - bytes.length];
int couter = reader.read(head);
if (couter < 0) {
continue;
}
bytes = mergebyte(bytes, head, 0, couter);
if (couter < PACKET_HEAD_LENGTH) {
continue;
}
}
// 下面這個值請注意，一定要取2長度的字節子數組作為報文長度，你懂得
byte[] temp = new byte[0];
temp = mergebyte(temp, bytes, 0, PACKET_HEAD_LENGTH);
String templength = new String(temp);
int bodylength = Integer.parseInt(templength);//包體長度
if (bytes.length - PACKET_HEAD_LENGTH < bodylength) {//不夠一個包
byte[] body = new byte[bodylength + PACKET_HEAD_LENGTH - bytes.length];//剩下應該讀的字節(湊一個包)
int couter = reader.read(body);
if (couter < 0) {
continue;
}
bytes = mergebyte(bytes, body, 0, couter);
if (couter < body.length) {
continue;
}
}
byte[] body = new byte[0];
body = mergebyte(body, bytes, PACKET_HEAD_LENGTH, bytes.length);
count++;
System.out.println("server receive body: " + count + new String(body));
bytes = new byte[0];
} catch (Exception e) {
e.printStackTrace();
}
}
}
}
}
client端代碼：客戶端代碼主要邏輯是組裝要發送的消息，確定消息頭，消息體，然后發送到服務端。
import java.io.*;
import java.net.InetSocketAddress;
import java.net.Socket;
/**
* @author wuhf
* @Date 2018/7/16 15:45
**/
public class TestSocketClient {
public static void main(String args[]) throws IOException {
Socket clientSocket = new Socket();
clientSocket.connect(new InetSocketAddress(8089));
new SendThread(clientSocket).start();
}
static class SendThread extends Thread {
Socket socket;
PrintWriter printWriter = null;
public SendThread(Socket socket) {
this.socket = socket;
try {
printWriter = new PrintWriter(new OutputStreamWriter(socket.getOutputStream()));
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
@Override
public void run() {
String reqMessage = "HelloWorld！ from clientsocket this is test half packages!";
for (int i = 0; i < 100; i++) {
sendPacket(reqMessage);
}
if (socket != null) {
try {
socket.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
public void sendPacket(String message) {
try {
OutputStream writer = socket.getOutputStream();
writer.write(message.getBytes());
writer.flush();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
}
小結
最近一直在寫一些框架性的博客，專門針對某些問題進行原理性的技術探討的博客還比較少，所以樓主想着怎樣能在自己學到東西的同時也可以給一同在技術這條野路子上奮斗的小伙伴們一些啟發，是樓主一直努力的方向。