CentOS/Linux 操作系统性能调优持续更新2020

1. 优化内核相关参数

配置文件/etc/sysctl.conf

配置方法直接将参数添加进文件每条一行.

• sysctl -a可以查看默认配置

• sysctl -p 执行并检测是否有错误
  例如设置错了参数:

  [root@ossec makeit]# sysctl -p net.ipv4.ip_forward = 1 sysctl: cannot stat /proc/sys/net/core/somaxconn1: 没有那个文件或目录 

网络相关

• net.core.somaxconn=65535
  一个端口最大监听TCP连接队列的长度
• net.core.netdev_max_backlog=65535
  数据包速率比内核处理快时,送到队列的数据包上限
• net.ipv4.tcp_max_syn_backlog=65535
TCP syn 队列的最大长度, 第一次握手的连接参数过大可能也会遭受syn flood攻击
• net.ipv4.tcp_fin_timeout=10
  fin超时时间,表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间
• net.ipv4.tcp_tw_reuse=1
  是否允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0 关闭
• net.ipv4.tcp_tw_recycle=1
  是否开启TCP连接中TIME-WAIT sockets的快速回收，默认为0 关闭

关于网络参数调优模板,模板配置为8和16g内存[按需调整]

参数	默认配置	调整配置	说明
fs.file-max	1048576	9999999	所有进程打开的文件描述符数
fs.nr_open	1635590	1635590	单个进程可分配的最大文件数
net.core.rmem_default	124928	262144	默认的TCP读取缓冲区
net.core.wmem_default	124928	262144	默认的TCP发送缓冲区
net.core.rmem_max	124928	8388608	默认的TCP最大读取缓冲区
net.core.wmem_max	124928	8388608	默认的TCP最大发送缓冲区
net.ipv4.tcp_wmem	4096 16384 4194304	4096 16384 8388608	TCP发送缓冲区
net.ipv4.tcp_rmem	4096 87380 4194304	4096 87380 8388608	TCP读取缓冲区
net.ipv4.tcp_mem	384657 512877 769314	384657 512877 3057792	TCP内存大小
net.core.netdev_max_backlog	1000	5000	在每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目
net.core.optmem_max	20480	81920	每个套接字所允许的最大缓冲区的大小
net.core.somaxconn	128	2048	每一个端口最大的监听队列的长度，这是个全局的参数
net.ipv4.tcp_fin_timeout	60	30	对于本端断开的socket连接，TCP保持在FIN-WAIT-2状态的时间（秒）。对方可能会断开连接或一直不结束连接或不可预料的进程死亡
net.core.netdev_max_backlog	1000	10000	在每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目
net.ipv4.tcp_max_syn_backlog	1024	2048	对于还未获得对方确认的连接请求，可保存在队列中的最大数目。如果服务器经常出现过载，可以尝试增加这个数字
net.ipv4.tcp_max_tw_buckets	5000	5000	系统在同时所处理的最大timewait sockets数目
net.ipv4.tcp_tw_reuse	0	1	是否允许将TIME-WAIT sockets重新用于新的TCP连接
net.ipv4.tcp_keepalive_time	7200	900	表示TCP链接在多少秒之后没有数据报文传输时启动探测报文（发送空的报文）
net.ipv4.tcp_keepalive_intvl	75	30	表示前一个探测报文和后一个探测报文之间的时间间隔
net.ipv4.tcp_keepalive_probes	9	3	表示探测的次数

注意：

* 参数值并不是设置的越大越好，有的需要考虑服务器的硬件配置，参数对服务器上其它服务的影响等。 

本地端口号

有时候我们修改了文件句柄限制数后，错误日志又会提示 "Can’t assignrequested address"。这是因为TCP 建立连接，在创建 Socket 句柄时，需要占用一个本地端口号（与 TCP 协议端口号不一样），相当于一个进程，便于与其它进程进行交互。而Linux内核的TCP/IP 协议实现模块对本地端口号的范围进行了限制。当端口号用尽，就会出现这种错误了。

我们可以修改本地端口号的范围。

# 查看IP协议本地端口号限制 cat /proc/sys/net/ipv4/ip_local_port_range #一般系统默认为以下值 32768 61000 #修改本地端口号 vim /etc/sysctl.conf #修改参数 net.ipv4.ip_local_port_range = 1024 65000 #保存修改后，需要执行sysctl命令让修改生效 sysctl -p 

注意：
1、net.ipv4.ip_local_port_range的最小值为1024，1024以下的端口已经规划为TCP协议占用，如果想将 TCP 协议端口设置为8080等大端口号，可以将这里的最小值调大。

2、如果存在应用服务端口号大于1024的，应该将 net.ipv4.ip_local_port_range 的起始值修改为大于应用服务端口号，否则服务会报错。

kernel.shmmax=4294967295
该参数定义了共享内存段的最大尺寸（以字节为单位）。

其值应>=sag_max_size初始化参数的大小,否则SAG由多个内存段构成,效率降低,
还要不小于物理内存的一半,默认情况下在32位x86系统中,Oracle SGA最大不能超过1.7GB.

kernel.shmmni=4096
这个内核参数用于设置系统范围内共享内存段的最大数量。该参数的默认值是 4096.

kernel.shmall = 2097152
该参数表示系统任意时刻可以分配的所有共享内存段的总和的最大值(以页为单位).

其值应不小于shmmax/page_size.缺省值就是2097152，如果服务器上运行的所有实例的
SGA总和不超过8GB(通常系统可分配的共享内存的和最大值为8GB),通常不需要修改.

vm.swappiness=0

内存分配策略,设置为0是告诉系统除非虚拟内存完全满了 否则不要使用交换区

风险:

• 降低操作系统性能
• 在系统资源不足下,容易被OOM kill掉

重要参数：

somaxconn

/proc/sys/net/core/somaxconn这个参数，linux中内核的一个不错的参数somaxconn 

　　看下其解析：

　　对于一个TCP连接，Server与Client需要通过三次握手来建立网络连接.当三次握手成功后,

　　我们可以看到端口的状态由LISTEN转变为ESTABLISHED,接着这条链路上就可以开始传送数据了.

　　每一个处于监听(Listen)状态的端口,都有自己的监听队列.监听队列的长度,与如下两方面有关:

　　- somaxconn参数.

　　- 使用该端口的程序中listen()函数.

　　1. 关于somaxconn参数:

　　定义了系统中每一个端口最大的监听队列的长度,这是个全局的参数,默认值为128,具体信息为:

　　Purpose:

　　Specifies the maximum listen backlog.

　　Values:

　　Default: 128 connections

　　Range: 0 to MAXSHORT

　　Type: Connect

　　Diagnosis:

　　N/A

　　Tuning

　　Increase this parameter on busy Web servers to handle peak connection rates.

　　看下FREEBSD的解析：

　　限制了接收新 TCP 连接侦听队列的大小。对于一个经常处理新连接的高负载 web服务环境来说，默认的 128 太小了。大多数环境这个值建议增加到 1024 或者更多。

   

修改somaxconn

该内核参数默认值一般是128，对于负载很大的服务程序来说大大的不够。一般会将它修改为2048或者更大。

echo 2048 >   /proc/sys/net/core/somaxconn    但是这样系统重启后保存不了

在/etc/sysctl.conf中添加如下

net.core.somaxconn = 2048

然后在终端中执行

sysctl -p

大量TIME_WAIT

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

通过以上命令执行，查看time_wait如果较多，我这里是4000以上。

vim /etc/sysctl.conf
编辑文件，加入以下内容：

net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 1200
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000

全面优化：
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_syncookies = 1
net.core.somaxconn = 262144
net.core.netdev_max_backlog = 262144
net.ipv4.tcp_max_orphans = 262144
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_fin_timeout = 1
net.ipv4.tcp_keepalive_time = 30
将上面的内核参数值加入 /etc/sysctl.conf 文件中，然后执行如
下命令使之生效 ：
/sbin/sysctl -p

可以用下面的精简版

net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
然后执行 /sbin/sysctl -p 让参数生效。

net.ipv4.tcp_syncookies = 1 表示开启SYN cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭；
net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；
net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。
net.ipv4.tcp_fin_timeout 修改系統默认的 TIMEOUT 时间
下面附上TIME_WAIT状态的意义：

客户端与服务器端建立TCP/IP连接后关闭SOCKET后，服务器端连接的端口
状态为TIME_WAIT

是不是所有执行主动关闭的socket都会进入TIME_WAIT状态呢？
有没有什么情况使主动关闭的socket直接进入CLOSED状态呢？

主动关闭的一方在发送最后一个 ack 后
就会进入 TIME_WAIT 状态 停留2MSL（max segment lifetime）时间
这个是TCP/IP必不可少的，也就是“解决”不了的。