基于场景的性能测试设计-1

基于场景的性能测试设计

注：转载请注明出处与原文地址。 51Testing软件测试网WtcV.@|&R
w

在各类软件测试工作中，性能测试往往不被重视，而项目中由于系统性能不合格带来损失的例子却非常多。造成这种现象的原因之一就是各个公司习惯压缩测试成本，而在性能测试方面的投入则更少。51Testing软件测试网.X%Nq.tH/xLY

本文重点介绍如何基于场景来设计性能测试。选择典型的用户场景来进行测试，不但可以大大降低执行成本，更能提高性能测试执行效率。51Testing软件测试网&l6g5e.E0Ub

在以前的《治疗软件亚健康》中，笔者重点讨论了运用“全面性能测试模型”来组织各类性能测试的方法。“全面性能测试模型”提出了设计性能测试用例的框架，在实际项目中通过它可以确定性能测试用例的范围和类别。而在测试用例内容确定后，接下来就要设计各类性能测试用例中的具体内容。

性能测试按照场景不同一般可以分为两大类，一类是为了测试目的而进行的场景测试，另外一类是基于用户实际情况而进行的场景测试。因此，性能测试用例的设计应该面向性能测试场景来进行。51Testing软件测试网r-Nk)j]\y

实际上，由于开发环境硬件配置不高，基于用户的测试多在用户现场进行，而为了测试目的而进行的测试多在开发环境即开发团队内部进行，不过两者进行的场所没有严格的界限，例如也可以在开发团队内部模拟用户的环境进行性能测试。51Testing软件测试网6n5RW-L^.yV

“为了测试目的而设计的测试用例场景”主要根据测试设计人员的经验来进行，但是仍然要参考用户的实际场景，用户实际使用场景是设计所有测试用例的依据。例如一些业务系统，虽然备份历史数据的周期为一年，但是设计大数据量测试用例时仍然包含了系统运行一个月、半年等的数据量模拟测试，因为这些均属于用户的典型场景。

综合上面可以看出，性能测试用例设计首先要分析出用户现实中的典型场景，然后参照典型场景进行设计。下面详细介绍一下常见的三类用户场景：51Testing软件测试网)oZ](a*Un

一天内不同时间段的使用场景。在同一天内，大多数系统的使用情况都会随着时间发生变化。例如对于新浪、网易等门户网站，在周一到周五早上刚一上班时，可能邮件系统用户比较多，而上班前或者中午休息时间则浏览新闻的用户较多；而对于一般的OA系统则早上阅读公告的较多，其他时间可能很多人没有使用系统或者仅有少量的秘书或领导在起草和审批公文。这类场景分析的任务是找出对系统产生压力较大的场景进行测试。51Testing软件测试网 Im7n&t8vQps

系统运行不同时期的场景。系统运行不同时期的场景是大数据量性能测试用例设计的依据。随着时间的推移，系统历史数据将会不断增加，这将对系统响应速度产生很大的影响。大数据量性能测试通常会模拟一个月、一季度、半年、一年、……的数据量进行测试，其中数据量的上限是系统历史记录转移前可能产生的最大数据量，模拟的时间点是系统预计转移数据的某一时间。

不同业务模式下的场景。同一系统可能会处于不同的业务模式，例如很多电子商务系统在早上8点到10点以浏览模式为主，10点到下午3点以定购模式为主，而在下午3点以后可能以混合模式为主。因此需要分析哪些模式是典型的即压力较大的模式，进而对这些模式单独进行测试，这样做可以有效的对系统瓶颈进行隔离定位。与“一天内不同时间段的场景测试”不同，“不同业务模式下的场景测试”更专注于某一种模式的测试，而“一天内不同时间段的场景测试”则多数是不同模式的混合场景，更接近用户的实际使用情况。51Testing软件测试网SgNUm`o

上面只介绍了三种典型的场景，实际项目中分析场景一般不会孤立的分析某一特定类型场景，而是把两种或者几种类型场景结合起来进行分析设计，这样做主要是为了选择更典型的场景和节省一些测试成本。51Testing软件测试网*R;ltha

有了上面的基础知识，下面开始逐一讨论各类测试用例设计的细节。在下面的讨论中，将以图2所示的某视频点播网站做为示例，图2显示了该视频点播网站的主要业务以及各个时间段使用场景。

 51Testing软件测试网)kx#\Nk!}G%E

51Testing软件测试网7y@![t_

图2网上视频点播系统使用情况图

1、确定用户使用系统情况的方法

确定用户对系统的使用情况是设计用例具体数据的基础，后面并发用户数据设计、疲劳强度设计、以及各种场景设计都要依赖对用户使用系统情况的分析结果。分析用户使用情况经常采用现场调查和分析系统日志两种方法。51Testing软件测试网8m){/vk R%@7H-i

l 用户现场调查

用户现场调查实际就是通过和用户进行沟通，进而确定用户的人员组成情况。这类方法适用于用户群体固定且目标测试系统没有投产前的情况。

l 分析系统日志51Testing软件测试网pkA}!C-ee

很多时候，通过和用户沟通不能掌握其使用系统的详细情况，尤其是诸如图2的网站业务系统，因为目标用户使用系统的情况是不确定的。当用户比较分散、现场调查比较困难时，可以采用对系统日志进行分析的方法，以此作为对用户现场调查信息的补充。51Testing软件测试网+Gmf,H"Q

大多数的系统都会对用户使用系统的情况进行日志管理，因此可以对日志进行分析，日志分析方法适用于已经投产或者试运行的系统。如果没有系统日志功能，可以和开发人员进行沟通，在测试过程中增加日志管理功能。通常分析系统日志可能要开发一些程序来对其进行统计分析。

在具体设计过程中，一般是两种方法结合使用。图2的网上视频点播系统就是通过两种方法得到的测试数据：通过和用户进行沟通得到全国各地维护人员使用系统的大概情况，然后通过对系统一个月的日志进行分析得出其它用户使用系统的情况，最后综合在一起就得到了系统的使用情况图。

也许有人会问：为什么不通过日志分析得出全部的用户使用情况？主要原因有两个：一是日志分析不一定能得出全部的使用情况，可能产生偏差，例如用户反复登陆系统、注册多个帐号都会影响统计结果；二是日志分析往往较用户调研成本大，因为多会涉及开发工作。

2、并发用户数量设计51Testing软件测试网v]r%sR]H"a{F

并发用户尤其是最大并发用户数量的设计一直是网上很多测试论坛津津乐道的话题。在前面文章中，已经介绍了并发用户和并发用户数量两个概念，下面将在其基础上讨论一下如何在性能测试用例中设计并发用户数量。

在设计并发用户数量前，首先要了解确定系统最大并发用户数量的方法。下面介绍根据系统的最大使用人数或者最大在线数量来评估最大并发用户数量的方法（注：这里的最大并发用户数量不是指系统支持的最大并发用户数量，而是指系统在生存周期内可能达到的最大并发用户数量）。51Testing软件测试网5Dae+O
HK*T

l 极限法。取最大在线用户数作为最大并发数，这种方法适用于系统已经投产或者目标用户群体不确定的门户网站，可以通过分析日志来得出结果；也可以使用系统已经注册的用户数量做为系统的用户数量，然后按照经验公式来估算最大并发用户数量。51Testing软件测试网3guiYEW9nC,oW$U

l 用户趋势分析。对软件生存周期内的用户未来走势进行分析，预测系统可能达到的最大使用用户数目，从而估计系统的最大并发用户数目，这种方法多用于系统用户数目逐渐增加的情况。51Testing软件测试网6j;ThDiXc

l 经验评估法。按照经验来评估系统可能的最大并发用户数，这种方法多用于系统的使用用户数目相对稳定且比较明确的系统。51Testing软件测试网\dW#ol+g:O/b

完成最大并发用户数量的评估后，接下来就可以设计每个用例要模拟的用户数量。表1是上面OA系统的一个性能测试用例。51Testing软件测试网r{N%Z!Ex

表1性能测试用例并发用户设计示例

通过表1可以看出并发用户数量的设计很简单，基本是按照最大并发用户数量的百分比来设计，例如可以按照最大用户的20％不断增加来设计并发用户数量，直到达到最大并发用户数量。对于某一特定的用例，设计用户数量需要注意下面三点：51Testing软件测试网k,s+Lt3ps6Ja h

（1）             按照各类用户同时递增的方式来设计用户数量。按照递增的顺序设计测试用例是为了按照由浅入深的方法来发现系统的瓶颈，因此系统的各类用户应该同时增加。

（2）             并发用户数的最大值一般不会超过前面计算的最大并发用户数量的20％，除非是为了测试系统能支持的最大并发用户数量。

（3）             设计用户数量时要考虑成本，因为每组用户数都意味着至少执行一次测试。51Testing软件测试网H2v]L1oco|b7E

综合上面的内容，可以看出用户并发数量设计是很灵活的，不用拘泥于公式和形式，只要充分考虑到用户现在和未来的增长趋势就可以了。51Testing软件测试网2c;lr Xm vF7U

3、系统不同时间段场景的设计

不同时间段的场景更接近用户使用情况，也是设计核心模块和组合模块并发性能测试用例的基础。例如图2的网上电影点播系统，每两个小时使用系统的情况都是不同的，因此需要设计一些典型的场景。

不同时间段场景分析的数据来源主要是前面的需求分析和日志分析结果。通过图2，很容易看出各个时间段不同模块的用户是如何并发的。有了上面的资料，就可以设计各个时间段的组合模块测试用例。下面是图2所示的网上电影点播系统“0~2点”场景的一个测试用例：51Testing软件测试网^'R*i~/LsN`

上面场景的并发人数只是一个实际例子，如何设计最大并发用户可以参考本节“并发用户数量设计”51Testing软件测试网W&Z8kSg