Linux學習系列之Nginx調優實戰

Nginx配置文件性能微調

全局的配置

user www-data; 
pid /var/run/nginx.pid; 
worker_processes auto; 
worker_rlimit_nofile 100000; 

worker_process定義了nginx對外提供Web服務時的worker進程數,起始可以設置為CPU的核數,CPU核數是多少就設置為多少(設置為"auto"將自動檢測)

worker_rlimit_nofile更改worker進程的最大打開文件限制,如果沒設置的話，這個值為操作系統的限制.設置后你的操作系統和Nginx可以處理比"ulimit -a"更多的文件,所以把這個值設高,這樣nginx就不會有"too many open files"問題了

Event模塊部分

events { 
worker_connections 2048; 
multi_accept on; 
use epoll; 
} 

worker_connections設置可由一個worker進程同時打開的最大連接數.如果設置了上面提到的worker_rlimit_nofile,我們可以將這個值設得很高

注意:最大客戶數也由系統的可用socket連接數限制（~ 64K）,所以設置不切實際的高沒什么好處

multi_accept告訴nginx收到一個新連接通知后接受盡可能多的連接

use epoll使用epoll模型,效率更高

HTTP模塊部分

http { 
   server_tokens off; 
   sendfile on; 
   tcp_nopush on; 
   tcp_nodelay on; 
... 
} 

service_tokens隱藏Nginx版本號

sendfile可以讓sendfile()發揮作用.sendfile()可以在磁盤和TCP socket之間互相拷貝數據(或任意兩個文件描述符)

默認是Pre-sendfile,傳送數據之前在用戶空間申請數據緩沖區,之后用read()將數據從文件拷貝到這個緩沖區,write()將緩沖區數據寫入網絡.sendfile()是立即將數據從磁盤讀到OS緩存,sendfile()要比組合read()和write()以及打開關閉丟棄緩沖更加有效

tcp_nopush告訴nginx在一個數據包里發送所有頭文件,而不一個接一個的發送

tcp_nodelay告訴nginx不要緩存數據,而是一段一段的發送--當需要及時發送數據時,就應該給應用設置這個屬性,這樣發送一小塊數據信息時就不能立即得到返回值

keepalive_timeout 10; 
client_header_timeout 10; 
client_body_timeout 10; 
reset_timedout_connection on; 
send_timeout 10; 

keepalive_timeout 給客戶端分配keep-alive鏈接超時時間.服務器將在這個超時時間過后關閉鏈接.我們將它設置低些可以讓ngnix持續工作的時間更長

client_header_timeout和client_body_timeout 設置請求頭和請求體(各自)的超時時間,在一定時間內收不到客戶端的請求頭請求體就關閉連接

reset_timedout_connection 告訴nginx關閉不響應的客戶端連接.這將會釋放那個客戶端所占有的內存空間

send_timeout指定客戶端的響應超時時間.這個設置不會用於整個轉發器,而是在兩次客戶端讀取操作之間.如果在這段時間內,客戶端沒有讀取任何數據,nginx就會關閉連接

limit_conn_zone $binary_remote_addr zone=addr:5m; 
limit_conn addr 100; 

limit_conn_zone設置用於保存各種key（比如當前連接數）的共享內存的參數.5m就是5兆字節,這個值應該被設置的足夠大以存儲（32K*5）32byte狀態或者（16K*5）64byte狀態

limit_conn addr為給定的key設置最大連接數.這里key是addr,我們設置的值是100,也就是說我們允許每一個IP地址最多同時打開有100個連接

include /etc/nginx/mime.types; 
default_type text/html; 
charset UTF-8; 

include只是一個在當前文件中包含另一個文件內容的指令。這里我們使用它來加載稍后會用到的一系列的MIME類型

default_type設置文件使用的默認的MIME-type

charset設置我們的頭文件中的默認的字符集

gzip on;
gzip_min_length 1k;      #最小1K的文件才啟動壓縮
gzip_buffers 4 32k;      #壓縮過程都寫到buffer里面,壓縮完成才發給客戶端
gzip_http_version 1.1;
gzip_comp_level 9;       #壓縮的級別
gzip_types text/css text/xml application/javascripts;  #對什么樣的內容壓縮
gzip_vary on;            #讓前邊的緩存服務器識別壓縮后的文件

gzip是告訴nginx采用gzip壓縮的形式發送數據,這將會減少我們發送的數據量
gzip_min_length設置對數據啟用壓縮的最少字節數.如果一個請求小於1K,我們最好不要壓縮它,因為壓縮這些小的數據會降低處理此請求的所有進程的速度
gzip_buffers 
gzip_http_version是http協議
gzip_comp_level設置數據的壓縮等級.這個等級可以是1-9之間的任意數值,9是最慢但是壓縮比最大的.我們設置為4,這是一個比較折中的設置
gzip_types設置需要壓縮的數據格式
gzip_vary 讓前邊的緩存服務器識別壓縮后的文件

open_file_cache max=100000 inactive=20s; 
open_file_cache_valid 30s; 
open_file_cache_min_uses 2; 
open_file_cache_errors on; 

open_file_cache打開緩存的同時也指定了緩存最大數目,以及緩存的時間.我們可以設置一個相對高的最大時間,這樣我們可以在它們不活動超過20秒后清除掉

open_file_cache_valid在open_file_cache中指定檢測正確信息的間隔時間

 open_file_cache_min_uses 定義了open_file_cache中指令參數不活動時間期間里最小的文件數

open_file_cache_errors指定了當搜索一個文件時是否緩存錯誤信息,也包括再次給配置中添加文件.我們也包括了服務器模塊,這些是在不同文件中定義的.如果你的服務器模塊不在這些位置,你就得修改這一行來指定正確的位置

Nginx expires緩存

介紹

簡單的說,nginx expire功能就是為用戶訪問的訪問內容設定一個過期時間,當用戶第一次訪問到這些內容時,會把這些內容存儲在用戶瀏覽器本地,這樣用戶第二次訪問該網站,瀏覽器會加載檢查已經緩存在用戶瀏覽器恩地的內容,就不去服務器下載了

作用

在網站開發和運營中,對於視頻、圖片、css、js等不長修改的元素緩存在客戶瀏覽器本地.
圖片可以緩存365天,css、js、html等代碼緩存10-30天,這樣用戶第一次打開頁面后,會按過期時間在客戶瀏覽器緩存上述內容,下次用戶在打開頁面的時候重復的元素就無需加載了可放位置:

http server location,我們一般放在location段根據匹配規則設置過期時間

配置

location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)${
             expires 3650d;
        }
        location ~ .*\.(js|css)?$ {
             expires 30d;
        }
        location \image {
             expires 1d;
        }

Nginx日志相關優化與安全

配置日志切割

編寫腳本實現nginx日志輪詢
    vim cut_nginx_log.sh
    #!/bin/bash
    cd /application/nginx/log
    /bin/mv www_access.log www_access_$(date +%F -d -1day).log 
    /application/nginx/sbin/nginx -s reload 
將腳本加入定時任務定期執行
    crontab -e 
    00 00 * * * /bin/sb /root/cut_nginx_log.sh > /dev/null 2 >&1

不需要記錄的日志

比如訪問一些圖片等是不需要記錄日志的     location ~ .*\. (js|jpg}JPG|jpeg|css|bmp|gif|GIF|)$ {
        access_log off;
    }
說明:用location標簽匹配不記錄日志的元素擴展名,然后關掉日志

Nginx站點目錄及文件URL訪問控制

根據擴展名限制程序和文件訪問

location ~ ^/images/.*\.(php|php5|.sh|.pl|.py)$ {
    deny all;
}
location ~ ^/static/.*\.(php|pph5|.sh|.pl|.py)$ {
    deny all;
}    
說明:用location標簽匹配不被解析的文件,然后關掉訪問權限   

禁止訪問指定目錄下所有的文件和目錄

單目錄
location ~ ^/(static)/ {        #寫法一
    deny all;
}
location ~ ^/static {           #寫法二
    deny all'
}
    
多目錄
location ~ ^/(static|image) {
    deny all;
}

禁止訪問指定目錄,如果訪問就返回404

location /admin/ {
    return 404;
}
location /templates/ {
    return 403; 
}

限制來源IP訪問

應用場景:網站后台,只允許個別IP或者網段訪問 location ~ ^/oldboy/{
    allow 192.168.0.20;
    deny all;
}
        
location ~ ^/admin/ {
    deny 192.168.0.1;
    allow 192.168.0.0/24;
    allow 10.1.1.0/16;
    deny all;          #一旦deny all;下面就不能再接IP或者IP段了
}

Nginx防止惡意解析

什么是惡意解析

假如你們公司里web服務器是多台組成的一個集群,所以IP是不一樣的,對方在ping你們域名的時候會出來一個IP,但是這個IP不是萬網對應你們域名的IP,然后他們拿到這個IP,在萬網上邊把他們的域名解析到你這個IP上來,這就造成一個問題:如果他們的域名沒備案的話,公安局就會一直找你們公司

解決方案

讓使用IP直接訪問網站的,或者訪問惡意解析到你們公司IP的域名,收到501錯誤

配置

server {                       #這個虛擬主機必須放在其他虛擬主機的前邊
    listen 80 default_server;
    server_name _;
    return 501;
}
說明:假如nginx多個虛擬主機,如果直接訪問IP的話,nginx會默認訪問第一個虛擬主機,所以通過IP直接訪問的話就是訪問第一個虛擬主機,就會報501錯誤,如果其他域名惡意解析到你這個IP上了也會返回501錯誤

Nginx配置防盜鏈

什么是資源盜鏈

假如把別人網站上的一段視頻或一張圖片,復制鏈接,然后放在自己的網站上,用戶來自己網站訪問這些內容的時候,承受負擔和流量的是別人的服務器

常見防盜鏈解決方案基本原理

根據http referer實現防盜鏈

在HTTP協議中,有一個表頭字段叫referer,使用URL格式來表示從哪里來的鏈接到當前網頁的資源.
通過referer可以檢測目標訪問的來源網頁,如果是資源文件,可以跟蹤到顯示它的網頁地址,一旦檢測出來不是本站,馬上執行阻止或者返回指定圖片、錯誤信息等
一句話說明:只允許指定的域名使用資源文件,如果其他域名使用則返回指定錯誤信息

什么是HTTP referer　　

HTTP referer是header的一部分,當瀏覽器向Web服務器發送請求的時候,一般會帶上referer,告訴我服務器我是從哪個頁面鏈接過來的.

配置通過referer實現防盜鏈 

編輯nginx.conf配置文件,加入第三個location字段部分,可以根據實際情況修改     vim nginx.conf
    server {
    listen       80;
    server_name  blog.etiantian.org;
    root  html/blog;
    location / {
        index  index.php index.html index.htm;
    }
    location ~ .*\.(php|php5)?$ {
        fastcgi_pass 127.0.0.1:9000;
        fastcgi_index index.php;
        include fastcgi.conf;
     }
             
     location ~* \.(jpg|gif|png|swf|flv|wma|asf|mp3|mmf|zip|rar)$ { valid_referers none blocked *.etiantian.org etiantian.org #允許使用資源文件的域名 if ($invalid_referer){ #如果不是上邊允許的域名使用資源文件的時候,就返回另一張圖片,或者返回403也可以 rewrite ^/http://blog.etiantian.org/img/nolink.jps } #通過location匹配需要防盜的資源文件    
     }
             access_log logs/access_blog.log main;
}

Nginx錯誤頁面優雅顯示

參數:error_page

可放位置:http,server

原理:如果發現404錯誤等,也可以是其他錯誤代碼,自動跳轉到某個頁面(頁面自定義)

配置404優雅顯示 

編輯nginx.conf配置文件,放在server下面就是針對某個虛擬主機的404做優雅顯示，放在http就是對所有虛擬主機的404做優雅顯示 vim nginx.conf
    server {
    listen       80;
    server_name  blog.etiantian.org;
    root  html/blog;
    location / {
        index  index.php index.html index.htm;
    }
    location ~ .*\.(php|php5)?$ {
        fastcgi_pass 127.0.0.1:9000;
        fastcgi_index index.php;
        include fastcgi.conf;
     }
     #方法一
     error_page 404 /error/404.html           #如果發現404錯誤就跳轉到html/blog/error/404.html頁面
     #方法二
     error_page 404 www.baidu.com             #如果發現404錯誤就跳轉到www.baidu.com
     方法三 
     error_page  404 403     /error/404.html  #如果發現404、403錯誤就跳轉指定頁面
     access_log logs/access_blog.log main;
}

Nginx站點目錄文件及目錄權限優化

單機LNMP環境,站點目錄和文件屬性設置如下

所有目錄權限755 所有文件權限644 所有目錄和文件屬主屬組都是root 用戶上傳資源的目錄權限755,屬主屬組都是nginx服務用戶

集群參考

Nginx限制HTTP請求

我們可以通過nginx限制http請求的方法來達到提升服務器安全的目的,例如:讓http只能使用GET、HEAD、POST放的配置如下

if (request_method !~ ^T|HEAD|POST)$) {
    return 501;
}      

還可以通過限制上傳服務器的Web服務(可以具體到文件)使用GET方法,來達到防止用戶通過上傳服務器訪問存儲內容,讓訪問存儲渠道只能從靜態或圖片服務器入口進入,例如在上傳上限制HTTP的GET方法

if ($request_method ~* ^(GET)$) {
    return 501;
}
#請參考專業的nginx架構邏輯圖

基於nginx Web服務linux系統內核參數優化

http://oldboy.blog.51cto.com/2561410/1336488
http://yangrong.blog.51cto.com/6945369/1321594

Nginx程序架構優化

為網站程序解耦 

簡單的說就是把一堆程序代碼按照業務員用途分開,然后提供方服務,例如:注冊登錄、上傳、下載、瀏覽列表、商品內容頁面、訂單支付等都應該是獨立的程序服務,只不過在客戶端看來是一個整體
中小公司必須做到以下幾個程序模塊獨立

• 網頁頁面服務
• 圖片附件及下載服務
• 上傳圖片服務

使用普通用戶啟動Nginx

為什么讓Nginx服務使用普通用戶 

默認情況下,Nignx的master進程使用的是root用戶,worker進程使用的是nginx指定的普通用戶,使用root用戶跑nginx進程有兩個最大的問題

• 管理權限必須是root,
• 使用root跑nginx服務,一旦網站出現漏洞,用戶就可以很容易的獲得服務器的root權限

給nginx服務降權解決方案 

1. 給nginx服務降權,用inca用戶跑nginx服務,給開發及運維設置普通賬號,只要和inca同組即可管理nginx,該方案解決了nginx管理問題,防止root分配權限過大
2. 開發人員使用普通賬號即可管理nginx服務及其站點下的程序,看日志

給nginx服務降權實戰 

安裝nginx使用root用戶裝到/application/nginx下 

創建用來跑nginx的普通用戶 

[root@lnmp02 ~]# useradd inca

配置inca用戶的nginx

[root@lnmp02 ~]# su - inca 
[inca@lnmp02 ~]$ mkdir conf  www logs
[inca@lnmp02 ~]$ touch conf/nginx.conf
[inca@lnmp02 ~]$ vim nginx.conf
    worker_processes  1;
    error_log /home/inca/logs/error.log;
    user inca inca;
    pid /home/inca/logs/nginx.pid;


    events {
        worker_connections  1024;
        use epoll;
    }


    http {
        include       mime.types;
        default_type  application/octet-stream;
        sendfile   on;
        keepalive_timeout 65;

        log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                          '$status $body_bytes_sent "$http_referer" '
                          '"$http_user_agent" "$http_x_forwarded_for"';

        server {
            listen       8080;
            server_name  www.etiantian.org;
            root /home/inca/www;
            location / {
                index  index.html index.htm;
            }

        access_log  /home/inca/logs/www_access.log  main;
        }

    }
[inca@lnmp02 ~]$ cp /application/nginx/conf/mime.types /home/inca/conf/.

啟動Nginx

[inca@lnmp02 ~]$ /application/nginx/sbin/nginx  -c /home/inca/conf/nginx.conf 

測試Nginx進程是否是inca用戶

[inca@lnmp02 ~]$ ps -ef |grep nginx
 inca      28697      1  0 02:50 ?        00:00:00 nginx: master process /application/nginx/sbin/nginx -c /home/inca/conf/nginx.conf  #可以看到nginx進程已經是inca賬戶了
 inca      28698  28697  0 02:50 ?        00:00:00 nginx: worker process    

Nginx頁面緩存

模塊:proxy_cache
緩存靜態的文件,例如:CSS、JS、圖片等
無緩存時用戶訪問流程

有緩存時用戶訪問流程

應用場景:Nginx作為反向代理的時候做Web頁面緩存
作用

Web緩存位於Web服務器和客戶端之間,當用戶訪問一個URL時,Web緩存服務器會去后端服務器取回要輸出的內容,當下一個請求到來時,如果訪問的是相同的URL,Web緩存服務器直接輸出內容給客戶端,就不再次向后端服務器發出請求了,從而降低了Web服務器、數據庫的負載,減少了網絡延遲,提高了用戶訪問速度

proxy_cache相關指令集

proxy_cache_path
　　可放位置:http段
　　語法:proxy_cache_path path [levels=number] keys_zone=zone_name:zone_size[inactive=time] [max_size=size];
　　實例:proxy_cache_path /tmp/ngx_cache levels=1:2 keys_zone=cache_one:500m inactive=1d max_size=5g;
　　path:存放目錄
　　levels:指定該緩存空間有兩層目錄hash目錄,第一層目錄為一個字母,第二層目錄為兩個字母,例如:/tmp/ngx_cache/c/29/xxxxxxxxxxxx
　　keys_zone:指定該緩存區的名字
　　500m:指內存緩存空間大小為500m
　　inactive:指定過期時間,如果緩存數據在1天內沒有被訪問就刪除
　　max_size:的5g是指硬盤緩存空間為30G
　　作用:用於設置緩存文件的存放路徑
proxy_cache_methods
　　可放位置:
　　語法:proxy_cache_methods[GET HEAD POST];
　　實例:proxy_cache_methods[GET HEAD];
　　作用:用於設置緩存哪些HTTP方法,默認緩存HTTP的GET/HEAD方法,不緩存POST方法
proxy_cache_min_uses
　　可放位置
　　語法:proxy_cache_min_uses the_number
　　實例:語法:proxy_cache_min_uses 1
　　作用:用於設置緩存最小使用次數,默認值為1
proxy_cache_valid
　　可放位置:location
　　語法:proxy_cache_valid reply_code [reply_code...] time ;
　　實例:proxy_cache_valid 200 304 12h;
　　實例:proxy_cache_valid 301 302 1m;
　　實例:proxy_cache_valid any 1m;
　　作用:設置200、304狀態的URL緩存12h,301、302狀態的URL緩存1m,其他的都緩存1m
proxy_cache_key
　　可放位置:location
　　語法:proxy_cache_key line ;
　　實例:proxy_cache_key $host$uri$is_args$args;
　　作用:用來設置Web緩存的key值,Nginx根據Key值md5哈希存儲緩存,一般根據$host(域名),$request_uri(請求的路徑)等變量組合成proxy_cache_key
proxy_cache
　　可放位置:location
　　語法:proxy_cache [name]
　　實例:proxy_cache cache_one
　　作用:調用http段定義的proxy_cache_path
proxy_set_header
　　可放位置:location
　　實例:roxy_set_header HOST $host;
　　實例:proxy_set_header X-Forwarded-For $remote_addr;
　　作用:記錄host主機名和客戶端IP地址

配置Nginx Web緩存

環境說明

　　nginx-proxy 192.168.0.93 nginx
　　realserver 192.168.0.94 nginx

配置realserver

安裝Nginx省略
配置nginx虛擬主機
    [root@realserver   ~]# vim /application/nginx/conf/nginx.conf
    worker_processes  1;

    events {
    worker_connections  1024;
    }


    http {
        include       mime.types;
        default_type  application/octet-stream;
        sendfile        on;
        keepalive_timeout  65;
                    


        server {
            listen       8080;

            location / {
                root   html/test;
                index  index.html index.htm;
            }
        }

    }
配置網站程序
    [root@realserver   ~]# vim /application/nginx/html/test/index.html
    <img src="/root/test.jpg" />     
啟動nginx
    [root@realserver   ~]# /application/nginx/sbin/nginx
測試此虛擬主機
    [root@realserver   ~]# curl 192.168.0.94:8080/index.html   #出來一張圖片則為成功

配置Nginx Web緩存

安裝Nginx省略
配置Nginx Web緩存
    [root@nginx-proxy ~]# vim /application/nginx/conf/nginx.conf
    worker_processes  1;

    events {
        worker_connections  1024;
    }


    http {
        include       mime.types;
        default_type  application/octet-stream;

        log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                     '$status $body_bytes_sent "$http_referer" '
                     '"$http_user_agent" "$http_x_forwarded_for"';
                     '"addr:$upstream_addr-status:$upstream_status- cachestatus:$upstream_cache_status"' ;
        sendfile        on;
        keepalive_timeout  65;
        proxy_cache_path /tmp/ngx_cache levels=1:2 keys_zone=cache:500m  inactive=1d max_size=5g;
        upstream server_pool{
           server 192.168.0.194:8080;
        }


        server {
            listen       80;
            server_name  www.etiantian.org;

            location / {
               proxy_pass http://server_pool;
               proxy_cache cache;
               proxy_cache_valid 200 304 12h;
               proxy_cache_valid 301 302 1m;
               proxy_cache_valid any 1m;
               proxy_cache_key $host$uri$is_args$args;
               proxy_set_header HOST $host;
               proxy_set_header X-Forwarded-For $remote_addr;
               expires 1d;
               add_header  Nginx-Cache "$upstream_cache_status";  #curl -I的時候可以查看是否命中
            }
         access_log logs/www_access.log main;
            }
    }
     
測試Nginx Web緩存
    [root@nginx-proxy ~]# curl -I 192.168.0.93
    HTTP/1.1 200 OK
    Server: nginx/1.6.3
    Date: Sun, 06 Nov 2016 00:25:20 GMT
    Content-Type: text/html
    Content-Length: 29
    Connection: keep-alive
    Last-Modified: Sat, 05 Nov 2016 23:37:38 GMT
    ETag: "581e6d42-1d"
    Expires: Mon, 07 Nov 2016 00:25:20 GMT
    Cache-Control: max-age=86400 
    Nginx-Cache: MISS                            #可以看到第一次是MISS的,因為第一次請求Nginx還沒緩存
    Accept-Ranges: bytes
            
    [root@nginx-proxy ~]# curl -I 192.168.0.93
    HTTP/1.1 200 OK
    Server: nginx/1.6.3
    Date: Sun, 06 Nov 2016 00:25:23 GMT
    Content-Type: text/html
    Content-Length: 29
    Connection: keep-alive
    Last-Modified: Sat, 05 Nov 2016 23:37:38 GMT
    ETag: "581e6d42-1d"
    Expires: Mon, 07 Nov 2016 00:25:23 GMT
    Cache-Control: max-age=86400
    Nginx-Cache: HIT                             #可以看到第二次就命中了
    Accept-Ranges: bytes