由於面試被問到nginx優化做過哪些
后來發現,其實做過的也不少,忘了的更不少,因此寫個博客記錄一下(里面有一些內容來源於其他作者)。
配置文件樣例為生產環境樣例。
1、nginx基本優化
安裝方式有2種:
1、源碼包安裝
2、yum(apt-get)安裝
區別為如果用yum安裝的話,很方便,並且基本不報錯。如果對性能要求不是很高的話,可以采用這種安裝方式(比如測試環境)
如果是源碼包安裝的話,因為在服務器上編譯的軟件,會讓nginx的性能相對更高一些,建議生產環境使用源碼包安裝
基本配置優化(優化后配置樣例,可以改后直接上生產)
#頭部配置 user nginx nginx; #定義nginx的啟動用戶,不建議使用root worker_processes 4; #定位為cpu的內核數量,因為我的環境配置是4核,所以就寫4。不過這值最多也就是8,8個以上也就沒什么意義了,想繼續提升性能只能參考下面一項配置 worker_cpu_affinity 0001 0010 0100 1000; #此項配置為開啟多核CPU,對你先弄提升性能有很大幫助nginx默認是不開啟的,1為開啟,0為關閉,因此先開啟第一個倒過來寫, 第一位0001(關閉第四個、關閉第三個、關閉第二個、開啟第一個) 第二位0010(關閉第四個、關閉第三個、開啟第二個、關閉第一個) 第三位0100(關閉第四個、開啟第三個、關閉第二個、關閉第一個) 后面的依次類推,有智商的應該都可以看懂了吧? 那么如果是16核或者8核cpu,就注意為00000001、00000010、00000100,總位數與cpu核數一樣。 error_log /data/logs/nginx/error.log crit; #這兩項基本不用我說 pid /usr/local/nginx/nginx.pid; #Specifies the value for maximum file descriptors that can be opened by this process. worker_rlimit_nofile 65535; #這個值為nginx的worker進程打開的最大文件數,如果不配置,會讀取服務器內核參數(通過ulimit -a查看),如果內核的值設置太低會讓nginx報錯(too many open file),但是在此設置后,就會讀取自己配置的參數不去讀取內核參數 events { use epoll; #客戶端線程輪詢方法、內核2.6版本以上的建議使用epoll worker_connections 65535; #設置一個worker可以打開的最大連接數 } http { include mime.types; default_type application/octet-stream; #charset gb2312; server_tokens off; #為錯誤頁面上的nginx版本信息,建議關閉,提升安全性 server_names_hash_bucket_size 128; client_header_buffer_size 32k; large_client_header_buffers 4 32k; client_max_body_size 8m; sendfile on; #開啟sendfile()函數,sendfile可以再磁盤和tcp socket之間互相copy數據。 tcp_nopush on; #告訴nginx在數據包中發送所有頭文件,而不是一個一個的發 #keepalive_timeout 15; keepalive_timeout 120; tcp_nodelay on; proxy_intercept_errors on; fastcgi_intercept_errors on; fastcgi_connect_timeout 1300; fastcgi_send_timeout 1300; fastcgi_read_timeout 1300; fastcgi_buffer_size 512k; fastcgi_buffers 4 512k; fastcgi_busy_buffers_size 512k; fastcgi_temp_file_write_size 512k; proxy_connect_timeout 20s; proxy_send_timeout 30s; proxy_read_timeout 30s; gzip on; #gzip是告訴nginx采用gzip后的數據來傳輸文件,會大量減少我們的發數據的量 gzip_min_length 1k; gzip_buffers 4 16k; gzip_http_version 1.0; gzip_comp_level 2; gzip_types text/plain application/x-javascript text/css application/xml text/javascript application/x-httpd-php image/jpeg image/gif image/png; gzip_vary on; gzip_disable msie6; #limit_zone crawler $binary_remote_addr 10m; log_format main '$http_host $remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" ' '$request_time $upstream_response_time'; #proxy_temp_path和proxy_cache_path指定的路徑必須在同一分區,因為它們之間是硬鏈接的關系 #proxy_temp_path /var/cache/nginx/proxy_temp_dir; #設置Web緩存區名稱為cache_one,內存緩存空間大小為200MB,1天沒有被訪問的內容自動清除,硬盤緩存空間大小為30GB。 #proxy_cache_path /var/cache/nginx/proxy_cache_dir levels=1:2 keys_zone=cache_one:200m inactive=1d max_size=30g; include /usr/local/nginx/conf/vhosts/*.conf; error_page 404 = https://www.niu.com/404/; #error_page 500 502 503 504 = http://service.niu.com/alien/; }
如果是高並發架構,需要在nginx的服務器上添加如下的內核參數
這些參數追加到/etc/sysctl.conf,然后執行sysctl -p 生效。
#每個網絡接口接收數據包速度比內核處理速度快的時候,允許發送隊列數目數據包的最大數
net.core.netdev_max_backlog = 262144
#調節系統同時發起的tcp連接數
net.core.somaxconn = 262144
#該參數用於設定系統中最多允許存在多少TCP套接字不被關聯到任何一個用戶文件句柄上,主要目的為防止Ddos攻擊
net.ipv4.tcp_max_orphans = 262144
#該參數用於記錄尚未收到客戶端確認信息的連接請求的最大值
net.ipv4.tcp_max_syn_backlog = 262144
#nginx服務上建議關閉(既為0)
net.ipv4.tcp_timestamps = 0
#該參數用於設置內核放棄TCP連接之前向客戶端發送SYN+ACK包的數量,為了建立對端的連接服務,服務器和客戶端需要進行三次握手,第二次握手期間,內核需要發送SYN並附帶一個回應前一個SYN的ACK,這個參
數主要影響這個過程,一般賦予值為1,即內核放棄連接之前發送一次SYN+ACK包。
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
2、nginx配置lua,添加接口返回值,方便開發debug,這個我在上一篇博客里寫過,鏈接如下:
https://www.cnblogs.com/howtobuildjenkins/p/10876841.html
3、nginx配置https
#server端基本配置
server { listen 80; listen 443 ssl spdy; server_name io.123.com; include ssl/io.com; #注意看下一個文件 location / { proxy_pass http://lb_io; if ($scheme = http ) { return 301 https://$host$request_uri; #此項配置為轉換為https的基本配置 } proxy_set_header X-Real-IP $remote_addr; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade"; } access_log /data/logs/nginx/access/niuaero.log main; }
ssl_certificate ssl/ca/io.com.pem; #這個為購買的https證書,供應商會生成 ssl_certificate_key ssl/ca/io.com.key; ssl_session_timeout 5m; ssl_protocols TLSv1 TLSv1.1 TLSv1.2; #啟用TLS1.1、TLS1.2要求OpenSSL1.0.1及以上版本,若您的OpenSSL版本低於要求,請使用 ssl_protocols TLSv1; ssl_ciphers HIGH:!RC4:!MD5:!aNULL:!eNULL:!NULL:!DH:!EDH:!EXP:+MEDIUM; ssl_prefer_server_ciphers on;
4、nginx配置反爬蟲
這一塊是我最近換工作,想爬個數據(boss直聘、拉鈎、智聯招聘),看看哪個平台招聘信息多,后來發現boss直聘有個反爬蟲機制。。。沒讓我成功,所以就研究了一下怎么在nginx做這些,內容來源於博客:https://www.centos.bz/2018/01/nginx%E6%94%AF%E6%8C%81https%E5%B9%B6%E4%B8%94%E6%94%AF%E6%8C%81%E5%8F%8D%E7%88%AC%E8%99%AB/
#以下內容添加nginx虛擬主機配置里,proxypass之后
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } #禁止指定UA及UA為空的訪問 if ($http_user_agent ~ "WinHttp|WebZIP|FetchURL|node-superagent|java/|FeedDemon|Jullo|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|Java|Feedly|Apache-HttpAsyncClient|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|BOT/0.1|YandexBot|FlightDeckReports|Linguee Bot|^$" ) { return 403; } #禁止非GET|HEAD|POST方式的抓取 if ($request_method !~ ^(GET|HEAD|POST)$) { return 403; }
好了,暫時能想到的也就這么多,以后要是有新的了再來補齊