產生原因
TCP 連接關閉時，會有 4 次通訊（四次揮手），來確認雙方都停止收發數據了。如上圖，主動關閉方，最后發送 ACK 時，會進入 TIME_WAIT 狀態，要等 2MSL 時間后，這條連接才真正消失。
TIME_WAIT 狀態
TCP 的可靠傳輸機制要求，被動關閉方（簡稱 S）要確保最后發送的 FIN K 對方能收到。比如網絡中的某個路由器出現異常，主動關閉方（簡稱 C）回復的 ACK K+1 沒有及時到達，S 就會重發 FIN K 給 C。如果此時 C 不進入 TIME_WAIT 狀態，立馬關閉連接，會有 2 種情況：
- C 機器上，有可能新起的連接會重用舊連接的端口，此時新連接就會收到 S 端重發的 FIN K 消息，可能干擾新連接傳輸數據。
- C 機器上，並沒有用舊連接端口，此時會回復給 S 端一個 RST 類型的消息，應用程序報 connect reset by peer 異常。
為避免上面情況， TCP 會等待 2 MSL 時間，讓 S 發的 FIN K 和 C 回復的 ACK K+1 在網絡上消失，才真正清除掉連接。
2 MSL 時間
MSL是 Maximum Segment Lifetime的英文縮寫，可譯為“最長報文段壽命”，是 TCP 協議規定報文段在網絡中最長生存時間，超出后報文段就會被丟棄。RFC793 定義 MSL 為 2 分鍾，Linux 實現會默認設置 30 秒。
MSL 時間，是從 C 回復 ACK 后開始 TIME_WAIT 計時，如果這期間收到 S 重發的 FIN 在回復 ACK 后，重新開始計時。這塊代碼是 Linux tcp_timewait_state_process 函數處理的。
2 MSL 是為了確保 C 和 S 兩端發送的數據都在網絡中消失，不會影響后續的新連接，該如何理解？
假設 C 回復 ACK ，S 經過 t 時間后收到，則有 0 < t <= MSL，因為 C 並不知道 S 多久收到，所以 C 至少要維持 MSL 時間的 TIME_WAIT 狀態，才確保回復的 ACK 從網絡中消失。 如果 S 在 MSL 時間收到 ACK， 而收到前一瞬間， 因為超時又重傳一個 FIN ，這個包又要 MSL 時間才會從網絡中消失。
回復 MSL 后消失 + 發送 MSL 后消失 = 2 MSL。
序列號回繞
前面介紹的第一種情況，可能會干擾新連接數據的原因，在於 TCP 傳輸數據數據時會攜帶 sequence number。這個值每次傳輸時會加上要傳輸的字節數量，單位是無符號 32 位的，最大 2^32 - 1，雙方交換大約 4G 數據，就會回繞到 0 重新計算。注意初始值 ISN 並不是 0 ，而是隨機的。
假設立馬關閉 TIME_WAIT 連接並復用，這條新連接，在協議規定的 2 分鍾 MSL 內，就發生回繞。在低速互聯網時代，沒有這樣的問題，傳輸 4G 數據，早超過舊連接數據段的最大 MSL 了。 帶寬回繞臨界值如下：
網絡 bits/sec bytes/sec 回繞時間（秒）
ARPANET 56kbps 7KBps 3*10**5 (~3.6 days)
DS1 1.5Mbps 190KBps 10**4 (~3 hours)
Ethernet 10Mbps 1.25MBps 1700 (~30 mins)
DS3 45Mbps 5.6MBps 380
FDDI 100Mbps 12.5MBps 170
這個回繞在 rfc1185 有更詳細的介紹。解決辦法就是增加時間戳（tcp_timestamps），用以區分是回繞后的新序列號，還是舊序列號。
導致問題
從前面的分析來看，出現 TIME_WAIT 屬於正常行為。但在實際生產環境中，大量的 TIME_WAIT 會導致系統異常。
假設前面的 C 是 Client，S 是 Server，如果 C 出現大量的 TIME_WAIT，會導致新連接無端口可以用，出現
Cannot assign requested address 錯誤。這是因為端口被占完了，Linux 一般默認端口范圍是：32768-61000，可以通過 cat /proc/sys/net/ipv4/ip_local_port_range 來查看。根據 TCP 連接四元組計算，C 連接 S 最多有 28232 可以用，也就是說最多同時有 28232 個連接保持。
看着挺多，但如果用短連接的話很快就會出現上面錯誤，因為每個連接關閉后，需要保持 2 MSL 時間，也就是 1分鍾。這意味着 1 分鍾內最多建立 28232 個連接，每秒鍾 470 個，在高並發系統下肯定是不夠用的。
Nginx
連接主動關閉方會進入 TIME_WAIT，如果 C 先關閉，C 會出現上面錯誤。如果是客戶端時真正的客戶（瀏覽器），一般不會觸發上面的錯誤。
如果 C 是應用程序或代理，比如 Nginx，此時鏈路是：瀏覽器 -> Nginx -> 應用。 因為 Nginx 是轉發請求，自身也是客戶端，所以如果 Nginx 到應用是短連接，每次轉發完請求都主動關閉連接，那很快會觸發到端口不夠用的錯誤。
Nginx 默認配置連接到后端是 HTTP/1.0 不支持 HTTP keep-alive，所以每次后端應用都會主動關閉連接，這樣后端出現 TIME_WAIT，而 Nginx 不會出現。
后端出現大量的 TIME_WAIT 一般問題不明顯，有個需要注意的點是：
查看服務器上/var/log/messages 有沒有 TCP: time wait bucket table overflow 的日志，有的話是超出最大 TIME_WAIT 的數量了，超出后系統會把多余的 TIME_WAIT 刪除掉，會導致前面章節介紹的 2 種情況。
這個錯誤可以調大內核參數 /etc/sysctl.conf 中 tcp_max_tw_buckets 來解決。
長連接
一個解決方案是 Nginx 與后端調用，啟用 HTTP/1.1 開啟 keep-alive ，保持長連接。配置如下：
http{
upstream www{
keepalive 500; # 保持和后端的最大空閑連接數量
}
proxy_set_header X-Real-IP $remote_addr; ## 不會生效
server {
location / {
proxy_http_version 1.1; # 啟用 HTTP/1.1
proxy_set_header Connection "";
}
}
}
proxy_set_header Connection ""; 這個配置是設置 Nginx 請求后端的 Connection header 的值為空。目的是防止客戶端傳值 close 給 Nginx，Nginx 又轉發給后端，導致無法保持長連接。
在 Nginx 配置中有個注意的點是：當前配置 location 中如果定義了 proxy_set_header ，則不會從上級繼承proxy_set_header 了，如上面配置的 proxy_set_header X-Real-IP $remote_addr 則不會生效。
沒有顯示定義的 header，Nginx 默認只帶下面 2 個 header：
proxy_set_header Host $proxy_host;
proxy_set_header Connection close;
參數優化
除保持長連接外，調整系統參數也可以解決端口不夠用的問題。
復用 TIME_WAIT 連接
設置 tcp_tw_reuse = 1： 1 表示開啟復用 TIME_WAIT 狀態的連接，復用的前提條件：
- 要同時開啟 tcp_timestamps ，已默認開啟；
- 舊連接最后收到數據段超過 1 秒；
這 2 個條件保證從數據完整性的角度，復用是安全的。為什么這么說呢？
前面介紹快速關閉並復用，會導致舊連接的數據段發給新連接。開啟復用后 TCP 如果收到舊連接的數據段，發現時間小於新連接的接收時間，會直接丟棄掉，這樣就不會干擾新連接數據。
這個參數在 Linux tcp_twsk_unique 函數中讀取的：
int reuse = sock_net(sk)->ipv4.sysctl_tcp_tw_reuse;
// tcptw->tw_ts_recent_stamp 為 1 表示舊的 TIME_WAIT 連接是攜帶時間戳的。
// tcp_tw_reuse reuse 開啟復用
// time_after32 表示舊的 TIME_WAIT 連接，最后收到數據已超過 1 秒。
if (tcptw->tw_ts_recent_stamp &&
(!twp || (reuse && time_after32(ktime_get_seconds(),
tcptw->tw_ts_recent_stamp)))) {
if (likely(!tp->repair)) {
u32 seq = tcptw->tw_snd_nxt + 65535 + 2;
if (!seq)
seq = 1;
WRITE_ONCE(tp->write_seq, seq);
tp->rx_opt.ts_recent = tcptw->tw_ts_recent;
tp->rx_opt.ts_recent_stamp = tcptw->tw_ts_recent_stamp;
}
sock_hold(sktw);
return 1;
}
增加端口數量
ip_local_port_range = 1024 65535: 調整后最大端口數量 64511， 64511 / 60 = 1075，每秒鍾可建立連接 1 075 個。
TCP 建立連接選取端口的規則：
- 檢查是否已綁定端口，沒有則自動挑選一個；
- 獲取端口范圍 inet_get_local_port_range ，計算端口起始值；
- 從小到大循環，檢查是否時保留端口、是否可以復用（上面 tcp_tw_reuse 介紹）
挑選端口的源碼如下：
int inet_hash_connect(struct inet_timewait_death_row *death_row,
struct sock *sk)
{
u32 port_offset = 0;
if (!inet_sk(sk)->inet_num) //檢查是否已綁定端口
port_offset = inet_sk_port_offset(sk);// 計算偏移量
return __inet_hash_connect(death_row, sk, port_offset,
__inet_check_established); // 連接
}
int __inet_hash_connect()
{
inet_get_local_port_range(net, &low, &high); // 獲取端口范圍
high++; /* [32768, 60999] -> [32768, 61000[ */
remaining = high - low;
if (likely(remaining > 1))
remaining &= ~1U;
offset = (hint + port_offset) % remaining; // 計算偏移量
for (i = 0; i < remaining; i += 2, port += 2) {
if (unlikely(port >= high))
port -= remaining;
if (inet_is_local_reserved_port(net, port)) // 檢查是否保留端口
continue;
head = &hinfo->bhash[inet_bhashfn(net, port,
hinfo->bhash_size)]; // 找到端口下的連接桶
inet_bind_bucket_for_each(tb, &head->chain) { //遍歷
if (net_eq(ib_net(tb), net) && tb->l3mdev == l3mdev &&
tb->port == port) { // 已被占用
if (!check_established(death_row, sk,
port, &tw)) // 端口是否可以復用
goto ok; //成功
goto next_port; //失敗，繼續
}
}
}
}
// check_established -> twsk_unique(前面章節的 tcp_twsk_unique)
加快回收
配置連接在 TIME_WAIT 狀態下的過期時間。比如設置 10 秒后回收，接着前面計算 64511 / 60 = 6451， 每秒鍾可建立連接 6451 個。
修改 TIME_WAIT 過期時間與 TCP/IP 協議相違背，所以在 Llinux 下並沒有這個參數，需要修改內核參數編譯：
// linux/include/net/tcp.h
#define TCP_TIMEWAIT_LEN (60*HZ) /* how long to wait to destroy TIME-WAIT
* state, about 60 seconds */
也有定制版 Linux 支持修改，比如 Aliyun Linux 2 增加了 tcp_tw_timeout 參數，允許修改過期時間。
其他
tcp_tw_recycle 也有效果，但不建議調整，Linux 4.12 后已經移除這個參數了，這里不做介紹了。
調整參數的命令：
// 臨時生效
sysctl -w net.ipv4.tcp_tw_reuse = 1
sysctl -p
// 長久生效
vi /etc/sysctl.conf
sysctl -p
參考
https://www.rfc-editor.org/rfc/rfc1185.txt
http://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy_set_header
https://github.com/torvalds/linux
https://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt