Linux參數優化

目錄

• limits.conf配置
• sysctl.conf配置
• sysctl和proc文件系統
  • /proc文件系統與sysctl.conf的對應關系
  • 常用文件
• 遇到的坑
  • Cannot allocate memory 問題的處理
  • 端口不夠用
  • TIME_WAIT占用端口過多，
• 常用操作
  • 設置腳本開機自啟動

參考：ulimit、limits.conf、sysctl和proc文件系統

limits.conf配置

位置：/etc/security/limits.conf（或/etc/security/limits.d/里面）
格式：<domain> <type> <item> <value>（參考limits.conf中的注釋部分的說明）

• domain: username|@groupname
• type: soft、hard、-
• item:
  • core - 限制內核文件的大小
  • date - 最大數據大小
  • fsize - 最大文件大小
  • memlock - 最大鎖定內存地址空間
  • nofile - 打開文件的最大數目
  • rss - 最大持久設置大小
  • stack - 最大棧大小
  • cpu - 以分鍾為單位的最多 CPU 時間
  • noproc - 進程的最大數目
  • as - 地址空間限制
  • maxlogins - 此用戶允許登錄的最大數目
• value: 值的大小

注意：nofile最大可以設置為1024*1024=1048576，再大的話會導致系統無法登錄

/proc/sys/fs/file-max
內核可分配的最大文件數

/proc/sys/fs/nr_open
單個進程可分配的最大文件數

nofile的值需要小於nr_open的值
對單一程序的限制，進程級別的

修改之后重新登錄即可生效
示例：

*          soft    nproc     unlimited
*          hard    nproc     unlimited

*          soft    nofile    1024000
*          hard    nofile    1024000

# 當前用戶最大登錄數
# max number of logins for this user
* soft maxlogins 100
* hard maxlogins 100

# 系統最大登錄用戶數
# max number of logins on the system
* soft maxsyslogins 100
* hard maxsyslogins 100

sysctl.conf配置

摘抄的一套配置

# Kernel sysctl configuration file for Red Hat Linux
#
# For binary values, 0 is disabled, 1 is enabled.  See sysctl(8) and
# sysctl.conf(5) for more details.

# Controls IP packet forwarding
net.ipv4.ip_forward = 0

# Controls source route verification
net.ipv4.conf.default.rp_filter = 1

# Do not accept source routing
net.ipv4.conf.default.accept_source_route = 0

# Controls the System Request debugging functionality of the kernel

# Controls whether core dumps will append the PID to the core filename.
# Useful for debugging multi-threaded applications.
kernel.core_uses_pid = 1

# Controls the use of TCP syncookies
net.ipv4.tcp_syncookies = 1

# Disable netfilter on bridges.
net.bridge.bridge-nf-call-ip6tables = 0
net.bridge.bridge-nf-call-iptables = 0
net.bridge.bridge-nf-call-arptables = 0

# Controls the default maxmimum size of a mesage queue
kernel.msgmnb = 65536

# Controls the maximum size of a message, in bytes
kernel.msgmax = 65536

# Controls the maximum shared segment size, in bytes
kernel.shmmax = 68719476736

# Controls the maximum number of shared memory segments, in pages
kernel.shmall = 4294967296
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.default.secure_redirects = 0
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.default.accept_redirects = 0
net.netfilter.nf_conntrack_max = 1000000
kernel.unknown_nmi_panic = 0
kernel.sysrq = 0
fs.file-max = 1000000
vm.swappiness = 10
fs.inotify.max_user_watches = 10000000
net.core.wmem_max = 327679
net.core.rmem_max = 327679

一份帶說明的配置參考

#優化TCP
vi /etc/sysctl.conf
#禁用包過濾功能 
net.ipv4.ip_forward = 0  
#啟用源路由核查功能 
net.ipv4.conf.default.rp_filter = 1  
#禁用所有IP源路由 
net.ipv4.conf.default.accept_source_route = 0  
#使用sysrq組合鍵是了解系統目前運行情況，為安全起見設為0關閉
kernel.sysrq = 0  
#控制core文件的文件名是否添加pid作為擴展
kernel.core_uses_pid = 1  
#開啟SYN Cookies，當出現SYN等待隊列溢出時，啟用cookies來處理
net.ipv4.tcp_syncookies = 1  
#每個消息隊列的大小（單位：字節）限制
kernel.msgmnb = 65536  
#整個系統最大消息隊列數量限制
kernel.msgmax = 65536  
#單個共享內存段的大小（單位：字節）限制，計算公式64G*1024*1024*1024(字節)
kernel.shmmax = 68719476736  
#所有內存大小（單位：頁，1頁 = 4Kb），計算公式16G*1024*1024*1024/4KB(頁)
kernel.shmall = 4294967296  
#timewait的數量，默認是180000
net.ipv4.tcp_max_tw_buckets = 6000  
#開啟有選擇的應答
net.ipv4.tcp_sack = 1  
#支持更大的TCP窗口. 如果TCP窗口最大超過65535(64K), 必須設置該數值為1
net.ipv4.tcp_window_scaling = 1  
#TCP讀buffer
net.ipv4.tcp_rmem = 4096 131072 1048576
#TCP寫buffer
net.ipv4.tcp_wmem = 4096 131072 1048576   
#為TCP socket預留用於發送緩沖的內存默認值（單位：字節）
net.core.wmem_default = 8388608
#為TCP socket預留用於發送緩沖的內存最大值（單位：字節）
net.core.wmem_max = 16777216  
#為TCP socket預留用於接收緩沖的內存默認值（單位：字節）  
net.core.rmem_default = 8388608
#為TCP socket預留用於接收緩沖的內存最大值（單位：字節）
net.core.rmem_max = 16777216
#每個網絡接口接收數據包的速率比內核處理這些包的速率快時，允許送到隊列的數據包的最大數目
net.core.netdev_max_backlog = 262144  
#web應用中listen函數的backlog默認會給我們內核參數的net.core.somaxconn限制到128，而nginx定義的NGX_LISTEN_BACKLOG默認為511，所以有必要調整這個值
net.core.somaxconn = 262144  
#系統中最多有多少個TCP套接字不被關聯到任何一個用戶文件句柄上。這個限制僅僅是為了防止簡單的DoS攻擊，不能過分依靠它或者人為地減小這個值，更應該增加這個值(如果增加了內存之后)
net.ipv4.tcp_max_orphans = 3276800  
#記錄的那些尚未收到客戶端確認信息的連接請求的最大值。對於有128M內存的系統而言，缺省值是1024，小內存的系統則是128
net.ipv4.tcp_max_syn_backlog = 262144  
#時間戳可以避免序列號的卷繞。一個1Gbps的鏈路肯定會遇到以前用過的序列號。時間戳能夠讓內核接受這種“異常”的數據包。這里需要將其關掉
net.ipv4.tcp_timestamps = 0  
#為了打開對端的連接，內核需要發送一個SYN並附帶一個回應前面一個SYN的ACK。也就是所謂三次握手中的第二次握手。這個設置決定了內核放棄連接之前發送SYN+ACK包的數量
net.ipv4.tcp_synack_retries = 1  
#在內核放棄建立連接之前發送SYN包的數量
net.ipv4.tcp_syn_retries = 1  
#開啟TCP連接中time_wait sockets的快速回收
net.ipv4.tcp_tw_recycle = 1  
#開啟TCP連接復用功能，允許將time_wait sockets重新用於新的TCP連接（主要針對time_wait連接）
net.ipv4.tcp_tw_reuse = 1  
#1st低於此值,TCP沒有內存壓力,2nd進入內存壓力階段,3rdTCP拒絕分配socket(單位：內存頁)
net.ipv4.tcp_mem = 94500000 915000000 927000000   
#如果套接字由本端要求關閉，這個參數決定了它保持在FIN-WAIT-2狀態的時間。對端可以出錯並永遠不關閉連接，甚至意外當機。缺省值是60 秒。2.2 內核的通常值是180秒，你可以按這個設置，但要記住的是，即使你的機器是一個輕載的WEB服務器，也有因為大量的死套接字而內存溢出的風險，FIN- WAIT-2的危險性比FIN-WAIT-1要小，因為它最多只能吃掉1.5K內存，但是它們的生存期長些。
net.ipv4.tcp_fin_timeout = 15  
#表示當keepalive起用的時候，TCP發送keepalive消息的頻度（單位：秒）
net.ipv4.tcp_keepalive_time = 30  
#對外連接端口范圍
net.ipv4.ip_local_port_range = 2048 65000
#表示文件句柄的最大數量
fs.file-max = 102400

sysctl和proc文件系統

/proc文件系統與sysctl.conf的對應關系

1. 去掉前面部分/proc/sys
2. 將文件名中的斜杠變為點

常用文件

• /proc/meminfo 內存信息
• /proc/cpuinfo CPU信息
• /proc/sys/fs/file-max 文件打開數
• /proc/sys/fs/file-nr 整個系統目前使用的文件句柄數量

遇到的坑

Cannot allocate memory 問題的處理

查看最大進程數 sysctl kernel.pid_max
查看進程數 ps -eLf | wc -l
確認是進程數滿了
臨時修改：
echo 1000000 > /proc/sys/kernel/pid_max
永久生效：

echo "kernel.pid_max=1000000 " >> /etc/sysctl.conf
sysctl -p

端口不夠用

查看可用端口范圍

cat /proc/sys/net/ipv4/ip_local_port_range
32768   60999

修改端口可用范圍

# 臨時修改
echo 1024 65000 > /proc/sys/net/ipv4/ip_local_port_range
# 永久修改：在/etc/sysctl.conf中添加如下信息
net.ipv4.ip_local_port_range = 1024 65535
# 然后生效一下
sysctl -p

TIME_WAIT占用端口過多，

壓測過程中，TCP連接的主動關閉方會出現大量的TIME_WAIT狀態，導致端口不夠用等問題

# 同樣，在/etc/sysctl.conf中添加如下信息，最后使用sysctl -p生效一下

# 表示開啟SYN cookies。當出現SYN等待隊列溢出時，啟用cookies來處理，可防范少量SYN攻擊，默認為0，表示關閉
net.ipv4.tcp_syncookies = 1
# 表示開啟重用。允許將TIME-WAIT sockets重新用於新的TCP連接，默認為0，表示關閉；
net.ipv4.tcp_tw_reuse = 1
# 表示開啟TCP連接中TIME-WAIT sockets的快速回收，默認為0，表示關閉
net.ipv4.tcp_tw_recycle = 1
# 修改系統默認的 TIMEOUT 時間
net.ipv4.tcp_fin_timeout = 30

常用操作

設置腳本開機自啟動

將啟動命令添加到/etc/rc.d/rc.local中