【教程主題】：1.linux服務器的性能分析與優化
【主要內容】
【1】影響Linux服務器性能的因素
操作系統級
Ø CPU
目前大部分CPU在同一時間只能運行一個線程，超線程的處理器可以在同一時間處理多個線程，因此可以利用超線程特性提高系統性能。
在linux系統下只有運行SMP內核才能支持超線程，但是安裝的CPu數量越多，從超線程獲得的性能提升越少。
另外linux內核會將多核的處理器當做多個單獨的CPU來識別，例如，兩個4核的CPU會被當成8個單個CPU，從性能角度講，兩個4核的CPU整體性能要比8個單核CPU低25%-30%。
可能出現CPU瓶頸的應用有郵件服務器、動態web服務器等。
Ø 內存
內存太小，系統進程將被阻塞，應用也將變得緩慢，甚至失去響應；內存太大，導致資源浪費。
虛擬內存可以緩解物理內存的不足，但是虛擬內存的過多占用會導致應用程序的性能明顯下降。
在一個32位處理器的linux系統中超過8GB的物理內存都將被浪費，因此要使用更大的內存，建議安裝64位的操作系統，同時開啟linux的大內存內核支持。
由於處理器尋址范圍的限制，在32位linux操作系統上，應用程序單個進程最大只能使用2GB的內存。
可能出現內存瓶頸的有打印服務器、數據庫服務器、靜態web服務器等。
Ø 磁盤I/O性能
磁盤RAID技術，Redundant Array of Independent Disk，即獨立磁盤冗余陣列，簡稱磁盤陣列。
RAID通過將多塊獨立的磁盤（物理硬盤）按不同的方式組合起來形成一個磁盤組（邏輯硬盤），從而提供比單個磁盤更高的IO性能和數據冗余。
根據磁盤組合方式不同，分為RAID0、RAID1、RAID2、RAID3、RAID4、RAID5、RAID6、RAID7、RAID0+1、RAID10等，常用的有RAID0、RAID1、RAID5、RAID0+1。
RAID0：通過把多塊硬盤粘合成一個容量更大的硬盤組，提高磁盤的性能和吞吐量，成本低，至少兩塊磁盤，但是沒有容錯和數據修復功能，只能用在對數據安全性要求不高的環境中。
RAID1：也就是磁盤鏡像，通過把一個磁盤的數據鏡像到另外一個磁盤上，最大限度的保證磁盤數據的可靠性和可修改性，具有很高的數據冗余能力，但是磁盤利用率只有50%，成本較高，多用在保存重要數據的場合。
RAID5：磁盤分段加奇偶校驗技術，提高了系統的可靠性。讀出效率很高，寫效率一般，至少需要3塊磁盤，允許一塊磁盤故障，不影響數據的可用性。
RAID0+1：把RAID0和RAID1技術結合起來，至少需要4塊硬盤，每個盤都有其鏡像盤，提高全冗余能力，並具有快速讀寫能力。
Ø 網絡帶寬
程序應用級
【2】系統性能評估標准
其中：
%user：表示CPU處在用戶模式下的時間百分比。
%sys：表示CPU處在系統模式下的時間百分比。
%iowait：表示CPU等待輸入輸出完成時間的百分比。
swap in：即si，表示虛擬內存的頁導入，即從SWAP DISK交換到RAM
swap out：即so，表示虛擬內存的頁導出，即從RAM交換到SWAP DISK。
【3】系統性能分析工具
常用系統命令
Vmstat、sar、iostat、netstat、free、ps、top等
常用組合方式
l 用vmstat、sar、iostat檢測是否是CPU瓶頸
l 用free、vmstat檢測是否是內存瓶頸
l 用iostat檢測是否是磁盤I/O瓶頸
l 用netstat檢測是否是網絡帶寬瓶頸
1：系統整體性能評估（uptime命令）
[root@web1 ~]# uptime
16:38:00 up 118 days, 3:01, 5 users, load average: 1.22, 1.02, 0.91
這里需要注意的是：load average這個輸出值，這三個值的大小一般不能大於系統CPU的個數，例如，本輸出中系統有8個CPU,如果load average的三個值長期大於8時，說明CPU很繁忙，負載很高，可能會影響系統性能，但是偶爾大於8時，倒不用擔心，一般不會影響系統性能。相反，如果load average的輸出值小於CPU的個數，則表示CPU還有空閑的時間片，比如本例中的輸出，CPU是非常空閑的。
2：cpu性能評估
（1）利用vmstat命令監控系統CPU
該命令可以顯示關於系統各種資源之間相關性能的簡要信息，這里我們主要用它來看CPU一個負載情況。
下面是vmstat命令在某個系統的輸出結果：
[root@node1 ~]# vmstat 2 3 #每2秒更新信息，統計3次
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 0 162240 8304 67032 0 0 13 21 1007 23 0 1 98 0 0
0 0 0 162240 8304 67032 0 0 1 0 1010 20 0 1 100 0 0
0 0 0 162240 8304 67032 0 0 1 1 1009 18 0 1 99 0 0
Procs
r列表示運行和等待cpu時間片的進程數，這個值如果長期大於系統CPU的個數，說明CPU不足，需要增加CPU。
b列表示在等待資源的進程數，比如正在等待I/O、或者內存交換等。
Cpu
us列顯示了用戶進程消耗的CPU 時間百分比。us的值比較高時，說明用戶進程消耗的cpu時間多，但是如果長期大於50%，就需要考慮優化程序或算法。
sy列顯示了內核進程消耗的CPU時間百分比。Sy的值較高時，說明內核消耗的CPU資源很多。
根據經驗，us+sy的參考值為80%，如果us+sy大於 80%說明可能存在CPU資源不足。
（2） 利用sar命令監控系統CPU
sar功能很強大，可以對系統的每個方面進行單獨的統計，但是使用sar命令會增加系統開銷，不過這些開銷是可以評估的，對系統的統計結果不會有很大影響。
下面是sar命令對某個系統的CPU統計輸出：
[root@webserver ~]# sar -u 3 5 #u顯示系統所有cpu在采樣時間內的負載狀態
Linux 2.6.9-42.ELsmp (webserver) 11/28/2008 _i686_ (8 CPU)
11:41:24 AM CPU %user %nice %system %iowait %steal %idle
11:41:27 AM all 0.88 0.00 0.29 0.00 0.00 98.83
11:41:30 AM all 0.13 0.00 0.17 0.21 0.00 99.50
11:41:33 AM all 0.04 0.00 0.04 0.00 0.00 99.92
11:41:36 AM all 90.08 0.00 0.13 0.16 0.00 9.63
11:41:39 AM all 0.38 0.00 0.17 0.04 0.00 99.41
Average: all 0.34 0.00 0.16 0.05 0.00 99.45
對上面每項的輸出解釋如下：
l %user列顯示了用戶進程消耗的CPU 時間百分比。
l %nice列顯示了運行正常進程所消耗的CPU 時間百分比。
l %system列顯示了系統進程消耗的CPU時間百分比。
l %iowait列顯示了IO等待所占用的CPU時間百分比
l %steal列顯示了在內存相對緊張的環境下pagein強制對不同的頁面進行的steal操作 。
l %idle列顯示了CPU處在空閑狀態的時間百分比。
3：內存性能評估
（1）利用free指令監控內存
free是監控linux內存使用狀況最常用的指令，看下面的一個輸出：
[root@webserver ~]# free -m #查看以M為單位的內存使用情況
total used free shared buffers cached
Mem: 8111 7185 926 0 243 6299
-/+ buffers/cache: 643 7468
Swap: 8189 0 8189
一般有這樣一個經驗公式：應用程序可用內存/系統物理內存>70%時，表示系統內存資源非常充足，不影響系統性能，應用程序可用內存/系統物理內存<20%時，表示系統內存資源緊缺，需要增加系統內存，20%<應用程序可用內存/系統物理內存<70%時，表示系統內存資源基本能滿足應用需求，暫時不影響系統性能。
（2） 利用vmstat命令監控內存
[root@node1 ~]# vmstat 2 3
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 0 162240 8304 67032 0 0 13 21 1007 23 0 1 98 0 0
0 0 0 162240 8304 67032 0 0 1 0 1010 20 0 1 100 0 0
0 0 0 162240 8304 67032 0 0 1 1 1009 18 0 1 99 0 0
memory
swpd列表示切換到內存交換區的內存數量（以k為單位）。如果swpd的值不為0，或者比較大，只要si、so的值長期為0，這種情況下一般不用擔心，不會影響系統性能。
free列表示當前空閑的物理內存數量（以k為單位）
buff列表示buffers cache的內存數量，一般對塊設備的讀寫才需要緩沖。
cache列表示page cached的內存數量，一般作為文件系統cached，頻繁訪問的文件都會被cached，如果cache值較大，說明cached的文件數較多，如果此時IO中bi比較小，說明文件系統效率比較好。
swap
si列表示由磁盤調入內存，也就是內存進入內存交換區的數量。
so列表示由內存調入磁盤，也就是內存交換區進入內存的數量。
一般情況下，si、so的值都為0，如果si、so的值長期不為0，則表示系統內存不足。需要增加系統內存。
4：磁盤I/O性能評估
（1）磁盤存儲基礎
l 熟悉RAID存儲方式，可以根據應用的不同，選擇不同的RAID方式。
l 盡可能用內存的讀寫代替直接磁盤I/O，使頻繁訪問的文件或數據放入內存中進行操作處理，因為內存讀寫操作比直接磁盤讀寫的效率要高千倍。
l 將經常進行讀寫的文件與長期不變的文件獨立出來，分別放置到不同的磁盤設備上。
l 對於寫操作頻繁的數據，可以考慮使用裸設備代替文件系統。
使用裸設備的優點有：
ü 數據可以直接讀寫，不需要經過操作系統級的緩存，節省了內存資源，避免了 內存資源爭用。
ü 避免了文件系統級的維護開銷，比如文件系統需要維護超級塊、I-node等。
ü 避免了操作系統的cache預讀功能，減少了I/O請求。
ü 使用裸設備的缺點是：
ü 數據管理、空間管理不靈活，需要很專業的人來操作。
（2）利用iostat評估磁盤性能
[root@webserver ~]# iostat -d 2 3 #-d 顯示磁盤的使用情況
Linux 2.6.9-42.ELsmp (webserver) 12/01/2008 _i686_ (8 CPU)
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 1.87 2.58 114.12 6479462 286537372
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 0.00 0.00 0.00 0 0
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 1.00 0.00 12.00 0 24
對上面每項的輸出解釋如下：
Blk_read/s表示每秒讀取的數據塊數。
Blk_wrtn/s表示每秒寫入的數據塊數。
Blk_read表示讀取的所有塊數。
Blk_wrtn表示寫入的所有塊數。
Ø 可以通過Blk_read/s和Blk_wrtn/s的值對磁盤的讀寫性能有一個基本的了解，如果Blk_wrtn/s值很大，表示磁盤的寫操作很頻繁，可以考慮優化磁盤或者優化程序，如果Blk_read/s值很大，表示磁盤直接讀取操作很多，可以將讀取的數據放入內存中進行操作。
Ø 對於這兩個選項的值沒有一個固定的大小，根據系統應用的不同，會有不同的值，但是有一個規則還是可以遵循的：長期的、超大的數據讀寫，肯定是不正常的，這種情況一定會影響系統性能。
（3）利用sar評估磁盤性能
通過“sar –d”組合，可以對系統的磁盤IO做一個基本的統計，請看下面的一個輸出：
[root@webserver ~]# sar -d 2 3
Linux 2.6.9-42.ELsmp (webserver) 11/30/2008 _i686_ (8 CPU)
11:09:33 PM DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
11:09:35 PM dev8-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
11:09:35 PM DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
11:09:37 PM dev8-0 1.00 0.00 12.00 12.00 0.00 0.00 0.00 0.00
11:09:37 PM DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
11:09:39 PM dev8-0 1.99 0.00 47.76 24.00 0.00 0.50 0.25 0.05
Average: DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
Average: dev8-0 1.00 0.00 19.97 20.00 0.00 0.33 0.17 0.02
需要關注的幾個參數含義：
await表示平均每次設備I/O操作的等待時間（以毫秒為單位）。
svctm表示平均每次設備I/O操作的服務時間（以毫秒為單位）。
%util表示一秒中有百分之幾的時間用於I/O操作。
對以磁盤IO性能，一般有如下評判標准：
正常情況下svctm應該是小於await值的，而svctm的大小和磁盤性能有關，CPU、內存的負荷也會對svctm值造成影響，過多的請求也會間接的導致svctm值的增加。
await值的大小一般取決與svctm的值和I/O隊列長度以及I/O請求模式，如果svctm的值與await很接近，表示幾乎沒有I/O等待，磁盤性能很好，如果await的值遠高於svctm的值，則表示I/O隊列等待太長，系統上運行的應用程序將變慢，此時可以通過更換更快的硬盤來解決問題。
%util項的值也是衡量磁盤I/O的一個重要指標，如果%util接近100%，表示磁盤產生的I/O請求太多，I/O系統已經滿負荷的在工作，該磁盤可能存在瓶頸。長期下去，勢必影響系統的性能，可以通過優化程序或者通過更換更高、更快的磁盤來解決此問題。
5：網絡性能評估.
（1）通過ping命令檢測網絡的連通性
（2）通過netstat –i組合檢測網絡接口狀況
（3）通過netstat –r組合檢測系統的路由表信息
（4）通過sar –n組合顯示系統的網絡運行狀態 sar -n DEV 5 3
【5】常用分析
netstat -an|awk '/^tcp/{++S[$NF]}END{for (a in S)print a,S[a]}' 查看tcp鏈接數
netstat -pant |grep ":80"|awk '{print $5}' | awk -F: '{print $1}'|sort|uniq -c|sort -nr 查看連接數最多的ip
cat access.log|awk '{print $1}'|sort|uniq -c|sort -nr|head -n10
提取日志 分別是訪問URL和URL訪問來源 排序
awk '{print $7}' access.log | sort | uniq -c |sort -nr | head -n10 > test.txt
【6】shell分析nginx日志
178.255.215.86 - - [04/Jul/2013:00:00:31 +0800] "GET /tag/316/PostgreSQL HTTP/1.1" 200 4779 "-" "Mozilla/5.0 (compatible; Exabot/3.0 (BiggerBetter); +http://www.exabot.com/go/robot)" "-"- 178.255.215.86 - - [04/Jul/2013:00:00:34 +0800] "GET /tag/317/edit HTTP/1.1" 303 5 "-" "Mozilla/5.0 (compatible; Exabot/3.0 (BiggerBetter); +http://www.exabot.com/go/robot)" "-"- 103.29.134.200 - - [04/Jul/2013:00:00:34 +0800] "GET /code-snippet/2022/edit HTTP/1.0" 303 0 "-" "Mozilla/5.0 (Windows NT 6.1; rv:17.0) Gecko/17.0 Firefox/17.0" "-"- 103.29.134.200 - - [04/Jul/2013:00:00:35 +0800] "GET /user/login?url=http%3A//outofmemory.cn/code-snippet/2022/edit HTTP/1.0" 200 4748 "-" "Mozilla/5.0 (Windows NT 6.1; rv:17.0) Gecko/17.0 Firefox/17.0" "-"-
以下腳本都是基於上面日志格式的，如果你的日志格式不同需要調整awk后面的參數。
分析日志中的UserAgent
cat access_20130704.log | awk -F "\"" '{print $(NF-3)}' | sort | uniq -c | sort -nr | head -20
上面的腳本將分析出日志文件中最多的20個UserAgent
分析日志中那些IP訪問最多
cat access_20130704.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -20
分析日志中那些Url請求訪問次數最多
cat access_20130704.log | awk -F "\"" '{print $(NF-5)}' | sort | uniq -c | sort -nr | head -20