碼上快樂

相關內容    簡體    繁體

linux配置文件的一些調優

本文轉載自   查看原文   2015-11-18 22:53   4330    LINUX/ linux

Linux中所有東西都是文件，一個socket就對應着一個文件描述符，因此系統配置的最大打開文件數以及單個進程能夠打開的最大文件數就決定了socket的數目上限；但是linux是有文件句柄限制的，而且默認不是很高，一般都是1024，生產服務器用其實很容易就達到這個數量

一、limits.conf文件

工作原理

limits.conf文件實際是Linux PAM（插入式認證模塊，Pluggable Authentication Modules 中 pam_limits.so 的配置文件），突破系統的默認限制，對系統訪問資源有一定保護作用，當用戶訪問服務器時，服務程序將請求發送到PAM模塊，PAM模塊根據服務名稱在/etc/pam.d目錄下選擇一個對應的服務文件，然后根據服務文件的內容選擇具體的PAM模塊進行處理

limits.conf 和sysctl.conf區別在於limits.conf是針對用戶，而sysctl.conf是針對整個系統參數配置

文件格式

username|@groupname   type  resource  limit

1）username|@groupname

設置需要被限制的用戶名，組名前面加@和用戶名區別。也可用通配符*來做所有用戶的限制

2）type

類型有soft，hard 和 -

  • soft 指的是當前系統生效的設置值

  • hard 表明系統中所能設定的最大值，soft 的限制不能比 hard 限制高

  • - 就表明同時設置了 soft 和 hard 的值

3）resource： 表示要限制的資源

  • core - 限制內核文件的大小

  • core file : 當一個程序崩潰時，在進程當前工作目錄的core文件中復制了該進程的存儲映像。core文件僅僅是一個內存映象（同時加上調試信息），主要是用來調試的。core文件是個二進制文件，需要用相應的工具來分析程序崩潰時的內存映像，系統默認core文件的大小為0，所以沒有被創建。可以用ulimit命令查看和修改core文件的大小。 ＃ulimit -c 0 #ulimit -c 1000 #ulimit -c unlimited 注意：如果想讓修改永久生效，則需要修改配置文件，如 .bash_profile、/etc/profile或/etc/security/limits.conf

  • date - 最大數據大小

  • fsize - 最大文件大小

  • memlock - 最大鎖定內存地址空間

  • nofile - 打開文件的最大數目

  • 對於需要做許多套接字連接並使它們處於打開狀態的應用程序而言，最好通過使用ulimit -n，或者通過設置nofile參數，為用戶把文件描述符的數量設置得比默認值高一些

  • rss - 最大持久設置大小

  • stack - 最大棧大小

  • cpu - 以分鍾為單位的最多 CPU 時間

  • noproc - 進程的最大數目

  • as - 地址空間限制

  • maxlogins - 此用戶允許登錄的最大數目

示例

限制admin用戶登錄到sshd的服務不能超 過2個

echo session required pam_limits.so >> /etc/pam.d/sshd 
echo admin - maxlogins 2 >> /etc/security/limits.conf

  • 查看應用程序能否被PAM支持，用ldd

  • 同理limits.conf要使用就必須保證/etc/pam.d/login 中有下面：session required pam_***.so

二、ulimit命令

ulimit 用於限制 shell 啟動進程所占用的資源，支持以下各種類型的限制：所創建的內核文件的大小、進程數據塊的大小、Shell 進程創建文件的大小、內存鎖住的大小、常駐內存集的大小、打開文件描述符的數量、分配堆棧的最大大小、CPU 時間、單個用戶的最大線程數、Shell 進程所能使用的最大虛擬內存，同時它支持硬資源和軟資源的限制

作為臨時限制，ulimit 可以作用於通過使用其命令登錄的 shell 會話，在會話終止時便結束限制，並不影響於其他 shell 會話，對於長期的固定限制，ulimit 命令語句又可以被添加到由登錄 shell 讀取的文件中，作用於特定的 shell 用戶，該命令總結如下：

  • 一般只對當前tty（終端有效），若要每次都生效的話，可以把ulimit參數放到對應用戶的.bash_profile里面

  • ulimit命令本身就有分軟硬設置，加-H就是硬，加-S就是軟

  • 默認顯示的是軟限制，如果運行ulimit命令修改的時候沒有加上的話，就是兩個參數一起改變生效

ulimit命令用來限制系統用戶對shell資源的訪問，常用參數解釋如下

ulimit(選項)

-a：顯示目前資源限制的設定；
-c <core文件上限>：設定core文件的最大值，單位為區塊；
-d <數據節區大小>：程序數據節區的最大值，單位為KB；
-f <文件大小>：shell所能建立的最大文件，單位為區塊；
-H：設定資源的硬性限制，也就是管理員所設下的限制；
-m <內存大小>：指定可使用內存的上限，單位為KB；
-n <文件數目>：指定同一時間最多可開啟的文件數；
-p <緩沖區大小>：指定管道緩沖區的大小，單位512字節；
-s <堆疊大小>：指定堆疊的上限，單位為KB；
-S：設定資源的彈性限制；
-t <CPU時間>：指定CPU使用時間的上限，單位為秒；
-u <程序數目>：用戶最多可開啟的程序數目；
-v <虛擬內存大小>：指定可使用的虛擬內存上限，單位為KB。

如何修改ulimit最大限制

1）使用命令修改

查詢當前終端的文件句柄數： ulimit -n，一般的系統默認的1024；修改文件句柄數為65535，ulimit -n 65535

2）將ulimit 值添加到/etc/profile文件中（適用於有root權限登錄的系統），為了每次系統重新啟動時，都可以獲取更大的ulimit值，將ulimit 加入到/etc/profile 文件底部

echo ulimit -n 65535 >>/etc/profile
source /etc/profile
ulimit -n

3）好多朋友都以為大功告成了，可以突然發現自己再次登錄進來的時候，ulimit的值還是1024，這是為什么呢 ？

關鍵的原因是你登錄的用戶是什么身份，是不是root用戶，由於服務器的root用戶權限很大，一般是不能用來登錄的，都是通過自己本人的登錄權限進行登錄，並通過sudo方式切換到root用戶下進行工作。 用戶登錄的時候執行shell腳本的順序：

/etc/profile.d/file 
/etc/profile 
/etc/bashrc 
/home/.admin/.bashrc 
/home/.admin/.bash_profile

由於ulimit -n的腳本命令加載在第二部分，用戶登錄時由於權限原因在第二步還不能完成ulimit的修改，所以ulimit的值還是系統默認的1024

解決辦法： 修改linux的軟硬件限制文件

echo '
* soft nproc 11000
* hard nproc 11000
* soft nofile 655350
* hard nofile 655350' >> /etc/security/limits.conf
	
/*
這里針對的是所有用戶
nproc 打開的最大進程數
nofile 打的開最大文件數

所有進程打開的文件描述符數不能超過/proc/sys/fs/file-max
單個進程打開的文件描述符數不能超過user limit中nofile的soft limit
nofile的soft limit不能超過其hard limit
nofile的hard limit不能超過/proc/sys/fs/nr_open
*/

4）經過以上修改，在有些系統中，用一般用戶再登陸，仍然沒有修改過來，那么需要檢查是否有如下文件，如果沒有，則要添加如下內容：

echo session required /lib/security/pam_limits.so >> /etc/pam.d/sshd
service sshd reload

5）如果仍然不行，那么需要修改如下文件

echo UsePrivilegeSeparation no >>  /etc/ssh/sshd_config

三、File Descriptors的設置

設置多少合適？

a、/proc/sys/fs/file-max

決定了當前內核可以打開的最大的文件句柄數

The value  in  file-max  denotes  the  maximum number of file handles that the Linux kernel will allocate. When you get a lot of error messages about running out of  file handles, you might want to raise this limit. The default value is 10% of  RAM in kilobytes.  To  change it, just  write the new number  into the file

意思是file-max一般為內存大小（KB）的10%來計算，如果使用shell，可以這樣計算

grep -r MemTotal /proc/meminfo | awk '{printf("%d",$2/10)}'

b、/proc/sys/fs/file-nr

file-nr 中的值由三部分組成，分別為：

  • 已經分配的文件句柄數

  • 已經分配單沒有使用的文件句柄數

  • 最大文件句柄數

第二項的值總為0，這並不是一個錯誤，它實際上意味着已經分配的文件句柄無一浪費的都已經被使用了

Historically, the three values in file-nr denoted the number of allocated file handles,  the number of  allocated but  unused file  handles, and  the maximum number of file handles. Linux 2.6 always  reports 0 as the number of free file handles -- this  is not an error,  it just means that the  number of allocated file handles exactly matches the number of used file handles.

查找文件句柄問題的時候，還有一個很實用的程序lsof，可以很方便看到某個進程開了那些句柄，也可以看到某個文件/目錄被什么進程占用了

lsof -n |awk '{print $2}'|sort|uniq -c |sort -nr|more

這兩個參數可以讓你來決定設置多少比較合適

如何設置？

系統級別的設置

sysctl -w fs.file-max=100000  //臨時生效
vi /etc/sysctl.conf  +fs.file-max = 100000 //永久生效

//查看

cat /proc/sys/fs/file-max 
or
sysctl fs.file-max

用戶級別的設置

  • 在/etc/security/limits.conf文件，可以對系統用戶組，進行cpu、文件數等限制的，通過它可以針對某個用戶或全部進行限制

  • （*表示所有用戶、soft表示可以超出，但只是警告；hard表示絕對不能超出，unlimited用於表示不限制）也可以放在/etc/profile文件里面，下面是該文件里面的默認參數：ulimit -S -c 0 > /dev/null 2>&1

vi /etc/security/limits.conf

//添加

httpd soft nofile 4096
httpd hard nofile 10240


//查看
su - httpd
ulimit -Hn
ulimit -Sn

//如果不生效/etc/pam.d/login中加上pam_limts.so文件 +session required pam_limits.so

ulimit -n and /proc/sys/fs/file-max 有什么區別？

1、file-max  是內核級別的，所有的進程總和不能超過這個數

2、ulimit是進程級別的

[root@dev ~]# ulimit -n
1024
[root@dev ~]# lsof | grep me | wc -l
8145

#!/usr/bin/perl

$count = 0;
@filedescriptors;

while ($count <= 1024) {
    $FILE = ${count};
    open $FILE, ">", "/tmp/example$count" or die "\n\n FDs: $count $!";
    push(@filedescriptors, $FILE);
    $count ++;
}

//FDs: 1021 Too many open files at ./test.pl line 8.
//1021 because there were 3 open file descriptors before reaching the while loop (stdout, stdin and stderr) 

三、關閉IPV6

目前為止我們還不需要IPv6，系統安裝完之后是自帶並且開啟了的，需要我們關閉

ifconfig | grep inet6  || lsmod | grep ipv6

1、如果出現inet6 addr…的字樣，說明就是安裝了

2、顯示內核加載的ipv6相關模塊

通過以下命令禁用 

sed -i 's/^NETWORKING_IPV6=yes/NETWORKING_IPV6=no/' /etc/sysconfig/network

echo '
alias net-pf-10 off
alias ipv6 off ' >> /etc/modprobe.d/dist.conf

chkconfig ip6tables off

四、sysctl.conf的配置

sysctl命令被用於在內核運行時動態地修改內核的運行參數，可用的內核參數在目錄/proc/sys中。它包含一些TCP/IP堆棧和虛擬內存系統的高級選項， 這可以讓有經驗的管理員提高引人注目的系統性能。用sysctl可以讀取設置超過五百個系統變量

#禁用包過濾功能
net.ipv4.ip_forward = 0
#啟用源路由核查功能
net.ipv4.conf.default.rp_filter = 1
#禁用所有IP源路由
net.ipv4.conf.default.accept_source_route = 0
#使用sysrq組合鍵是了解系統目前運行情況，為安全起見設為0關閉
kernel.sysrq = 0
#控制core文件的文件名是否添加pid作為擴展
kernel.core_uses_pid = 1
#開啟SYN Cookies，當出現SYN等待隊列溢出時，啟用cookies來處理
net.ipv4.tcp_syncookies = 1
#每個消息隊列的大小（單位：字節）限制
kernel.msgmnb = 65536
#整個系統最大消息隊列數量限制
kernel.msgmax = 65536
#單個共享內存段的大小（單位：字節）限制，計算公式64G*1024*1024*1024(字節)
kernel.shmmax = 68719476736
#所有內存大小（單位：頁，1頁 = 4Kb），計算公式16G*1024*1024*1024/4KB(頁)
kernel.shmall = 4294967296
#timewait的數量，默認是180000
net.ipv4.tcp_max_tw_buckets = 6000
#開啟有選擇的應答
net.ipv4.tcp_sack = 1
#支持更大的TCP窗口. 如果TCP窗口最大超過65535(64K), 必須設置該數值為1
net.ipv4.tcp_window_scaling = 1
#TCP讀buffer
net.ipv4.tcp_rmem = 4096 131072 1048576
#TCP寫buffer
net.ipv4.tcp_wmem = 4096 131072 1048576
#為TCP socket預留用於發送緩沖的內存默認值（單位：字節）
net.core.wmem_default = 8388608
#為TCP socket預留用於發送緩沖的內存最大值（單位：字節）
net.core.wmem_max = 16777216
#為TCP socket預留用於接收緩沖的內存默認值（單位：字節）
net.core.rmem_default = 8388608
#為TCP socket預留用於接收緩沖的內存最大值（單位：字節）
net.core.rmem_max = 16777216
#每個網絡接口接收數據包的速率比內核處理這些包的速率快時，允許送到隊列的數據包的最大數目
net.core.netdev_max_backlog = 262144
#web應用中listen函數的backlog默認會給我們內核參數的net.core.somaxconn限制到128，而nginx定義的NGX_LISTEN_BACKLOG默認為511，所以有必要調整這個值
net.core.somaxconn = 262144
#系統中最多有多少個TCP套接字不被關聯到任何一個用戶文件句柄上。這個限制僅僅是為了防止簡單的DoS攻擊，不能過分依靠它或者人為地減小這個值，更應該增加這個值(如果增加了內存之后)
net.ipv4.tcp_max_orphans = 3276800
#記錄的那些尚未收到客戶端確認信息的連接請求的最大值。對於有128M內存的系統而言，缺省值是1024，小內存的系統則是128
net.ipv4.tcp_max_syn_backlog = 262144
#時間戳可以避免序列號的卷繞。一個1Gbps的鏈路肯定會遇到以前用過的序列號。時間戳能夠讓內核接受這種“異常”的數據包。這里需要將其關掉
net.ipv4.tcp_timestamps = 0
#為了打開對端的連接，內核需要發送一個SYN並附帶一個回應前面一個SYN的ACK。也就是所謂三次握手中的第二次握手。這個設置決定了內核放棄連接之前發送SYN+ACK包的數量
net.ipv4.tcp_synack_retries = 1
#在內核放棄建立連接之前發送SYN包的數量
net.ipv4.tcp_syn_retries = 1
#開啟TCP連接中time_wait sockets的快速回收
net.ipv4.tcp_tw_recycle = 1
#開啟TCP連接復用功能，允許將time_wait sockets重新用於新的TCP連接（主要針對time_wait連接）
net.ipv4.tcp_tw_reuse = 1
#1st低於此值,TCP沒有內存壓力,2nd進入內存壓力階段,3rdTCP拒絕分配socket(單位：內存頁)
net.ipv4.tcp_mem = 94500000 915000000 927000000
#如果套接字由本端要求關閉，這個參數決定了它保持在FIN-WAIT-2狀態的時間。對端可以出錯並永遠不關閉連接，甚至意外當機。缺省值是60 秒。2.2 內核的通常值是180秒，你可以按這個設置，但要記住的是，即使你的機器是一個輕載的WEB服務器，也有因為大量的死套接字而內存溢出的風險，FIN- WAIT-2的危險性比FIN-WAIT-1要小，因為它最多只能吃掉1.5K內存，但是它們的生存期長些。
net.ipv4.tcp_fin_timeout = 15
#表示當keepalive起用的時候，TCP發送keepalive消息的頻度（單位：秒）
net.ipv4.tcp_keepalive_time = 30
#對外連接端口范圍
net.ipv4.ip_local_port_range = 2048 65000
#表示文件句柄的最大數量
fs.file-max = 102400

/sbin/sysctl -p最后記得刷新立即生效

 

參考文章

http://serverfault.com/questions/122679/how-do-ulimit-n-and-proc-sys-fs-file-max-differ

http://www.cyberciti.biz/faq/linux-increase-the-maximum-number-of-open-files/


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 Linux 中一些配置文件存放地址集合 一些Nginx的Linux命令和conf配置文件 ansible-配置文件優化-性能調優 JVM調優總結（一）-- 一些概念 【進階之路】線程池配置與調優的一些高級選項（一） 性能測試的一些大實話：會linux命令以及其它工具，到底能不能做性能分析調優？ 【Linux】一些文件限制配置 04 . Filebeat簡介原理及配置文件和一些案例 鳥哥筆記：postfix的一些重要配置文件 apache配置文件說明及一些指令
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM