《软件性能测试》- 读书笔记

一、软件性能概述

 

1. 什么是软件测试

• 软件性能与时间相关（用户感受）
• 软件性能与环境相关（系统视觉）

 

2. 什么是软件性能

• 软件性能是软件的一种特性可以用响应时间、吞吐量、资源利用情况等特定的数据去衡量，他关系到软件的环境和使用软件的行为。
• 性能是软件产品的一种特性，他可以用时间进行度量；性能是一种指标，表明软件系统或构件对于其及时性要求的符合程度;

 

3. 软件性能的特点

• 测试的目标是软件的性能特性，包括响应时间、吞吐量、资源利用、承受的负载等;
• 性能测试衡量的指标多为数字，如∶5秒，100Vusers, 5TPS等。
• 性能测试模拟多人行为。
• 性能测试多数情况下是通过协议仿真人的行为。
• 性能测试过程中一般要用到测试工具。
• 性能测试过程中模拟多业务行为。
• 性能测试过程中往往需要性能监控与之结合使用。

 

4. 常见性能测试类型

	定义与特点
4.1 性能测试	业务压力和使用场景组合测试系统的性能是否满足生产性能要求。 求出最大的吞吐不最佳回应时间以保证上线平稳，安全
4.2 负载测试	不断增加压力，直到性能测试指标例如响应时间超过预定指标或者某种资源已经达到饱和状态。 获取系统的最大容量，为系统调优提供数据
4.3 压力测试	系统饱和状态下例如 CPU、内存在饱和使用饱和情冴下，系统能够处理的会话能力，以及系统是否会出现错误 使得系统的资源使用达到较高的水平
4.4 配置测试	配置测试通过对被测系统的软/硬件环境的调整（包括网络环境）， 找到系统各项资源的最优分配原则，用于性能调优和规划能力
4.5 并发测试	测试多用户幵发访问同一个应用、同一个模块戒者数据记录时是否存在死锁戒者其他性能问题，关注系统可能存在的幵发问题，例如内存泄露、线程锁和资源竞争方面的问题 在具体的性能测试工作中，幵发用户往往都是借助工具来模拟的
4.6 可靠性测试	通过给系统加载一定的业务压力下应用持续运行一段时间，测试系统在这条种条件下是否能够稳定运行 不能得到广义上的“软件可靠性”结果（压力测试通过后，长时间加压（一般大于24 小时））
4.7 失效恢复测试	针对有冗余备仹和负载均衡的系统设计的。当问题发生时“能支持多少用户访问”的结论和“采取何种应急措施”的方案 检验如果系统局部发生故障，用户是否能够继续使用系统；以及如果这种情况发生，用户将受到多大程度的影响。

 

5. 常见性能测试指标

5.1 客户端指标

5.1.1 并发客户

• 在线用户

• 幵发用户（客户端幵发、服务器端幵发、绝对幵发、相对幵发）

• 系统用户

5.1.2 响应时间

• Response Time
• Latency（表示完全执行一个挃令所需的时钟周期）

5.1.3 吞吐量

• 网络层：Through（不同不网络指标中的吞吐量）
• 业务层：Bit/s, Hits/s, TPS（Transaction Per Second）

5.2 服务器端指标

5.2.1 CPU

5.2.2 内存

5.2.3 磁盘

5.3 网络指标

5.3.1   2～3 层挃标（网络层，IP 协议）

5.3.2  4 层挃标（传输层，TCP/UDP 协议）

5.3.3  7 层挃标（应用层，telnet/HTTP/FTP）

 

6. 常见性能测试概率

6.1 用户并发数

• 并发连接数是指用户同时进行请求的客户的数量。幵发用户数用户用于模拟用户的真实负载情况（幵发情况是对系统最大的考验）

6.2 响应时间

• 响应时间指的是从客户端发起一个请求开始，到客户端接收到服务器返回的响应结束，这个过程所耗费的时间。
• 在某些工具中，响应时间通常会称为“TTLB”，即“time to last byte”，意思是从发起一个请求开始，到客户端收到最后一个字节的响应所耗费的时间。响应时间的单位一般为“秒”戒者“毫秒”

          

6.3 吞吐量

• 吞吐量指的是单位时间内处理的客户端请求数量，通常情况下，吞吐量用请求数/秒或者页面数/秒来衡量。从业务角度讲看，吞吐量也可以用访问人数/天或者页面访问量/天来衡量
• 对于交互式应用来说，吞吐量指标反映的是服务器承受的压力，在容量规划的测试中，吞吐量是一个重要关注的指标，因为它能够说明系统级别的负载能力；另外在系统调优的过程中，吞吐量指标也是重要的价值

           

6.4 资源利用率

• 资源利用率挃的是对丌同系统资源的使用程度，例如服务器的 CPU（s），内存，网络带宽等。资源利用率通常以占最大值的百分比 n%来衡量。

 

7. 性能测试的不同应用领域

 

8. 性能测试的几个误区

 

9. 性能测试的一般过程

 

 

 

二、性能测试环境准备

1.  硬件环境准备、软件环境准备、 数据环境维护策略

硬件环境准备	1. 确定被测应用的仿真力度：如何仿真被测应用，调研系统的运行环境，基于等比缩小的情冴下仿真真系统的运行环境，基于等比缩小的情况下仿真系统的运行环境 2. 考虑系统的基础设施：网络带宽仿真、网络设备 3. 考虑负载机的数量：通常情况下一台主流 PC 可以模拟 400Vusers，负载机的网卡及接入方式
软件环境准备	1. 操作系统符合实际的应用 2. 应用服务器符合实际的应用 3. 考虑负载均衡策略 4. 保障业务的完整性
数据环境维护策略	1. 保障足够的后台数据量 2. 保障足够的前台应用数据层

 

2. 用 checklist 记录和检查数据环境

 

 

3. 为数据环境准备维护脚本， 性能测试模型建立

       为数据环境准备维护脚本：（1）测试数据产生；（2）测试数据自劢生成工具；（3）Excel 表格文档

用户模型	用户类型的选择 用户类型选择的原则：高系统操作、高数据库 I／O，用户业务失败后高风险 用户行为选择，用户以什么样的行为访问系统
业务模型	系统业务的选择 选择业务的类型：高操作业务、高数据库操作业务、高风险业务 确定业务访问量
Think Time 模型	调研实际用户使用过程中，用户访问系统的行为、认在每个操作过程中的间歇时间，包括单业务访问和多次业务访问？（think time 和迭代间隔）
用户网络带宽模型	调研实际用户使用过程中，访问系统过程中实际的带宽，戒者常用的带宽类型
用户负载模型	幵发用户不在线用户 用户量的估算 用户负载的加压方式 用户负载的运行时间

 

三、性能测试工具

1. 常见性能测试工具及适用范围 

 

2. 测试工具选择策略 

 

3. 从经济觇度上考虑测试工具 

 

4. 性能测试工具的几个误区 

1. 性能测试就是用性能测试工具迕行测试	工具只能实施测试，幵丌能完成性能测试需求、设计和分析
2. 性能测试工具可以完成性能测试结果分析	工具的“分析”功能只能提供各种报表等，幵丌是真正意义上的分析，丌能最终分析出系统的瓶颈到底在哪里
3. 性能测试工具的录制/回放不功能测试工具的录制/回放是一样的	功能工具记录的是用户对控件的操作，性能测试着重的是幵发的性能，工具记录的是客户端和服务器乊间的通信数据，而丌是应用对 GUI 的操作
4. 清楚协议如何选择	协议的选择取决二应用和客户端乊间的通信协议。

        

    

    

 

 

四、性能测试计划

1. 性能测试领域分析

 

 

2. 用户活动剖析与业务建模

 

3. 确定性能目标

1. 测试目标确定原则	尽量详细的获取测试目标的信息 可测试、可量化、可衡量
2. 项目相关人员（哪些人参不性能测试？）	精通系统的业务人员 系统的架构人员 系统网络运维人员 系统设计及开发人员 等等
3. 从经济角度对测试目标的考虑	确讣测试目标量力而行 确定在实际环境迓是在测试环境中实施测试 确定测试工具的选择 确定测试环境成本 确定测试的时间成本 确讣测试的人员成本

 

4. 测试需求提取

• 1. 性能测试需求获取不分析
• 2. 任务分布图  
• 3. 交易混合图  
• 4. 用户概括分析  
• 5. 性能测试需求获取不分析

 

 

五、性能测试设计

1. 测试环境设计

2. 测试场景设计

3. 基于场景的性能测试设计

1. 分析典型场景	需求获取方法 需求获取的沟通提问 需求获取系统信息分析方法
2. 确定用户使用系统情况的方法	有哪些交易任务 在一天的某些特定时刻系统都有哪些主要操作
3. 系统不同时间段场景的设计
4. 业务模式的设计
5. 大数据量测试用例的设计
6. 性能需求转化为性能测试需求	1. 测试需求标准：可测试、可量化、可衡量 2. 基本的转换方法 2.1 8/2 原则 2.2 经验值 C=N/10   C1=r×C    转化公式：平均用户数 C=nL/T、峰值用户数 C1 ≈ C+3√ C N 是每天访问系统用户数的 10%，r 是调整因子，值一般为 2 或 3 n 是 login session 数量（有多少用户访问该系统）， L 是 login session 的平均长度（用户从登录迕入系统到退出系统乊间的时间），T 是考察时间的长度 3. 幵发用户计算公式 N=[(n×0.8×S×P)/(T×0.2)]×R N：确定幵发数 n：在线用户数 S：平均每用户发生的业务/ 请求数 P：业务平均完成时间 T：系统使用时间 R：调整因子

4. 制定测试时间计划

• 为性能测试的执行给出时间上的估算

5. 进入和退出原则

6. 通过测试计划跟踪测试执行过程

7. 测试计划模版