《軟件性能測試》- 讀書筆記

一、軟件性能概述

 

1. 什么是軟件測試

• 軟件性能與時間相關（用戶感受）
• 軟件性能與環境相關（系統視覺）

 

2. 什么是軟件性能

• 軟件性能是軟件的一種特性可以用響應時間、吞吐量、資源利用情況等特定的數據去衡量，他關系到軟件的環境和使用軟件的行為。
• 性能是軟件產品的一種特性，他可以用時間進行度量；性能是一種指標，表明軟件系統或構件對於其及時性要求的符合程度;

 

3. 軟件性能的特點

• 測試的目標是軟件的性能特性，包括響應時間、吞吐量、資源利用、承受的負載等;
• 性能測試衡量的指標多為數字，如∶5秒，100Vusers, 5TPS等。
• 性能測試模擬多人行為。
• 性能測試多數情況下是通過協議仿真人的行為。
• 性能測試過程中一般要用到測試工具。
• 性能測試過程中模擬多業務行為。
• 性能測試過程中往往需要性能監控與之結合使用。

 

4. 常見性能測試類型

	定義與特點
4.1 性能測試	業務壓力和使用場景組合測試系統的性能是否滿足生產性能要求。 求出最大的吞吐不最佳回應時間以保證上線平穩，安全
4.2 負載測試	不斷增加壓力，直到性能測試指標例如響應時間超過預定指標或者某種資源已經達到飽和狀態。 獲取系統的最大容量，為系統調優提供數據
4.3 壓力測試	系統飽和狀態下例如 CPU、內存在飽和使用飽和情冴下，系統能夠處理的會話能力，以及系統是否會出現錯誤 使得系統的資源使用達到較高的水平
4.4 配置測試	配置測試通過對被測系統的軟/硬件環境的調整（包括網絡環境）， 找到系統各項資源的最優分配原則，用於性能調優和規划能力
4.5 並發測試	測試多用戶幵發訪問同一個應用、同一個模塊戒者數據記錄時是否存在死鎖戒者其他性能問題，關注系統可能存在的幵發問題，例如內存泄露、線程鎖和資源競爭方面的問題 在具體的性能測試工作中，幵發用戶往往都是借助工具來模擬的
4.6 可靠性測試	通過給系統加載一定的業務壓力下應用持續運行一段時間，測試系統在這條種條件下是否能夠穩定運行 不能得到廣義上的“軟件可靠性”結果（壓力測試通過后，長時間加壓（一般大於24 小時））
4.7 失效恢復測試	針對有冗余備仹和負載均衡的系統設計的。當問題發生時“能支持多少用戶訪問”的結論和“采取何種應急措施”的方案 檢驗如果系統局部發生故障，用戶是否能夠繼續使用系統；以及如果這種情況發生，用戶將受到多大程度的影響。

 

5. 常見性能測試指標

5.1 客戶端指標

5.1.1 並發客戶

• 在線用戶

• 幵發用戶（客戶端幵發、服務器端幵發、絕對幵發、相對幵發）

• 系統用戶

5.1.2 響應時間

• Response Time
• Latency（表示完全執行一個挃令所需的時鍾周期）

5.1.3 吞吐量

• 網絡層：Through（不同不網絡指標中的吞吐量）
• 業務層：Bit/s, Hits/s, TPS（Transaction Per Second）

5.2 服務器端指標

5.2.1 CPU

5.2.2 內存

5.2.3 磁盤

5.3 網絡指標

5.3.1   2～3 層挃標（網絡層，IP 協議）

5.3.2  4 層挃標（傳輸層，TCP/UDP 協議）

5.3.3  7 層挃標（應用層，telnet/HTTP/FTP）

 

6. 常見性能測試概率

6.1 用戶並發數

• 並發連接數是指用戶同時進行請求的客戶的數量。幵發用戶數用戶用於模擬用戶的真實負載情況（幵發情況是對系統最大的考驗）

6.2 響應時間

• 響應時間指的是從客戶端發起一個請求開始，到客戶端接收到服務器返回的響應結束，這個過程所耗費的時間。
• 在某些工具中，響應時間通常會稱為“TTLB”，即“time to last byte”，意思是從發起一個請求開始，到客戶端收到最后一個字節的響應所耗費的時間。響應時間的單位一般為“秒”戒者“毫秒”

          

6.3 吞吐量

• 吞吐量指的是單位時間內處理的客戶端請求數量，通常情況下，吞吐量用請求數/秒或者頁面數/秒來衡量。從業務角度講看，吞吐量也可以用訪問人數/天或者頁面訪問量/天來衡量
• 對於交互式應用來說，吞吐量指標反映的是服務器承受的壓力，在容量規划的測試中，吞吐量是一個重要關注的指標，因為它能夠說明系統級別的負載能力；另外在系統調優的過程中，吞吐量指標也是重要的價值

           

6.4 資源利用率

• 資源利用率挃的是對丌同系統資源的使用程度，例如服務器的 CPU（s），內存，網絡帶寬等。資源利用率通常以占最大值的百分比 n%來衡量。

 

7. 性能測試的不同應用領域

 

8. 性能測試的幾個誤區

 

9. 性能測試的一般過程

 

 

 

二、性能測試環境准備

1.  硬件環境准備、軟件環境准備、 數據環境維護策略

硬件環境准備	1. 確定被測應用的仿真力度：如何仿真被測應用，調研系統的運行環境，基於等比縮小的情冴下仿真真系統的運行環境，基於等比縮小的情況下仿真系統的運行環境 2. 考慮系統的基礎設施：網絡帶寬仿真、網絡設備 3. 考慮負載機的數量：通常情況下一台主流 PC 可以模擬 400Vusers，負載機的網卡及接入方式
軟件環境准備	1. 操作系統符合實際的應用 2. 應用服務器符合實際的應用 3. 考慮負載均衡策略 4. 保障業務的完整性
數據環境維護策略	1. 保障足夠的后台數據量 2. 保障足夠的前台應用數據層

 

2. 用 checklist 記錄和檢查數據環境

 

 

3. 為數據環境准備維護腳本， 性能測試模型建立

       為數據環境准備維護腳本：（1）測試數據產生；（2）測試數據自勱生成工具；（3）Excel 表格文檔

用戶模型	用戶類型的選擇 用戶類型選擇的原則：高系統操作、高數據庫 I／O，用戶業務失敗后高風險 用戶行為選擇，用戶以什么樣的行為訪問系統
業務模型	系統業務的選擇 選擇業務的類型：高操作業務、高數據庫操作業務、高風險業務 確定業務訪問量
Think Time 模型	調研實際用戶使用過程中，用戶訪問系統的行為、認在每個操作過程中的間歇時間，包括單業務訪問和多次業務訪問？（think time 和迭代間隔）
用戶網絡帶寬模型	調研實際用戶使用過程中，訪問系統過程中實際的帶寬，戒者常用的帶寬類型
用戶負載模型	幵發用戶不在線用戶 用戶量的估算 用戶負載的加壓方式 用戶負載的運行時間

 

三、性能測試工具

1. 常見性能測試工具及適用范圍 

 

2. 測試工具選擇策略 

 

3. 從經濟覘度上考慮測試工具 

 

4. 性能測試工具的幾個誤區 

1. 性能測試就是用性能測試工具迕行測試	工具只能實施測試，幵丌能完成性能測試需求、設計和分析
2. 性能測試工具可以完成性能測試結果分析	工具的“分析”功能只能提供各種報表等，幵丌是真正意義上的分析，丌能最終分析出系統的瓶頸到底在哪里
3. 性能測試工具的錄制/回放不功能測試工具的錄制/回放是一樣的	功能工具記錄的是用戶對控件的操作，性能測試着重的是幵發的性能，工具記錄的是客戶端和服務器乊間的通信數據，而丌是應用對 GUI 的操作
4. 清楚協議如何選擇	協議的選擇取決二應用和客戶端乊間的通信協議。

        

    

    

 

 

四、性能測試計划

1. 性能測試領域分析

 

 

2. 用戶活動剖析與業務建模

 

3. 確定性能目標

1. 測試目標確定原則	盡量詳細的獲取測試目標的信息 可測試、可量化、可衡量
2. 項目相關人員（哪些人參不性能測試？）	精通系統的業務人員 系統的架構人員 系統網絡運維人員 系統設計及開發人員 等等
3. 從經濟角度對測試目標的考慮	確訃測試目標量力而行 確定在實際環境迓是在測試環境中實施測試 確定測試工具的選擇 確定測試環境成本 確定測試的時間成本 確訃測試的人員成本

 

4. 測試需求提取

• 1. 性能測試需求獲取不分析
• 2. 任務分布圖  
• 3. 交易混合圖  
• 4. 用戶概括分析  
• 5. 性能測試需求獲取不分析

 

 

五、性能測試設計

1. 測試環境設計

2. 測試場景設計

3. 基於場景的性能測試設計

1. 分析典型場景	需求獲取方法 需求獲取的溝通提問 需求獲取系統信息分析方法
2. 確定用戶使用系統情況的方法	有哪些交易任務 在一天的某些特定時刻系統都有哪些主要操作
3. 系統不同時間段場景的設計
4. 業務模式的設計
5. 大數據量測試用例的設計
6. 性能需求轉化為性能測試需求	1. 測試需求標准：可測試、可量化、可衡量 2. 基本的轉換方法 2.1 8/2 原則 2.2 經驗值 C=N/10   C1=r×C    轉化公式：平均用戶數 C=nL/T、峰值用戶數 C1 ≈ C+3√ C N 是每天訪問系統用戶數的 10%，r 是調整因子，值一般為 2 或 3 n 是 login session 數量（有多少用戶訪問該系統）， L 是 login session 的平均長度（用戶從登錄迕入系統到退出系統乊間的時間），T 是考察時間的長度 3. 幵發用戶計算公式 N=[(n×0.8×S×P)/(T×0.2)]×R N：確定幵發數 n：在線用戶數 S：平均每用戶發生的業務/ 請求數 P：業務平均完成時間 T：系統使用時間 R：調整因子

4. 制定測試時間計划

• 為性能測試的執行給出時間上的估算

5. 進入和退出原則

6. 通過測試計划跟蹤測試執行過程

7. 測試計划模版