性能测试场景设计杂谈

发表于:2017-5-03 13:37

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:张允庆    来源:极客头条

  多交易混合负载
  多交易混合负载的目的是为了找到应用的最优TPS,即应用CPU资源消耗在70%左右时的TPS(此时需确保数据库等其他被调用资源不成为瓶颈)。
  按照测试模型中的交易比例及目标TPS,对每个交易分配不同的并发用户数量,设置不同的延时,同时进行加压,通过多个子场景的不断尝试最终测试出应用能够达到的最优TPS。这个场景比较复杂,一般需要经过多次的测试与调整才能到达测试模型的比例要求。经过单交易负载测试之后我们已经获取了每个交易的平均响应时间,那么由此值我们便可以设置我们的混合负载场景。假设,我们应用的测试指标TPS为100,单交易负载测试获取的各交易响应时间如下:下单0.4秒,查询0.2秒,退款0.5秒,那么要达到100TPS的压力,该如何设置场景?
  · 计算每个交易的TPS
  下单TPS=100*80%=80,查询TPS=100*19%=19,退款TPS=100*1%=1
  · 确定每个交易的并发用户
  目标TPS、响应时间、并发用户之间有这样一个关系:
  目标TPS=并发用户/响应时间
  如果一个交易响应时间是0.2秒,那一个用户时的TPS就是1/0.2=5。
  在咱们这个实例中每个交易的并发用户计算如下:
  · 下单交易并发用户数量=80*0.4=32
  · 查询交易并发用户数量=19*0.2=3.8
  · 退款交易并发用户数量=1*0.5=0.5
  大家看到了,这里出现了非整数的情况,怎么办?对于这种情况我们要进行整数化处理。即我们一般取大于并最接近当前数的整数,3.8我们按4,0.5我们按1。整数化后对应的响应时间也应该发生变化,否则就无法实现目标TPS。整数化再次计算实际的响应时间:
  · 查询交易调整后的响应时间=4/19=0.21
  · 退款交易调整后的响应时间=1/1=1
  于是场景设置如下,下单交易并发用户32个延时设置为0秒,查询交易并发用户4个延时设置0.01秒,退款交易并发用户1个延时设置0.5秒,场景运行时间10分钟以上。但是这个场景运行结果可能并不会完全符合我们的预期,因为并发用户相比单交易负载场景已经增加了很多,交易的响应时间很可能会出现明显的延长。比如下单交易的实际响应时间可能会延长到0.6秒,那么实际的TPS将明显下降。如果出现这种情况该如何处理呢?我们推荐使用区间型延时设置,将这个“区间时间”设置的比实际交易响应时间大一些,根据这个时间再计算对应的并发用户量。另外,建议大家建一个excel的表格,用于计算延时和并发用户的值,效果见下表2。
  表2 场景设置工具表
  
  表2中的列“延时设置”的值是使用公式自动计算出来的,公式为“=并发用户单元格编号/(目标TPS单元格编号*交易占比单元格编号)”。建立这个表之后我们只需手动修改两个列的值就可以方便地计算出每个场景下的每个交易的延时,这两个列就是“平均响应时间”和“并发用户数”。平均响应时间随着并发用户的增加必然会相应地增长,所以在表2中每个场景的平均响应时间数据都是上个场景的执行结果。这样我们每执行完成一个场景,然后就把响应时间的数据填写到下个场景中,然后再修改并发用户数量,并确保延时设置大于平均响应时间即可,如果在测试执行过程中出现平均响应时间大于延时设置时间时需要停止场景重新计算。
  综上所述,多交易混合负载场景并不是一个场景,而是一系列混合场景的集合。还以上例来说,目标100TPS时我们分析监控结果发现系统各项资源利用率都不是太高,这说明应用还能够承受更大的压力。这就需要我们继续加大压力进行测试。我们可能的场景是150TPS、200TPS等等。那么如何确定我们的压力梯度呢?这就要看系统资源到底使用了多少,如果100TPS时发现系统各项资源使用率在50%左右,我们就可以估计应用的最优TPS应该能够达到150,那么我们下一个场景就是要按150TPS的目标压力去发压,相关的并发用户和延时根据上表进行调整即可。如果不能实现150TPS的压力,那么我们就要减少目标TPS再进行发压,直到测试获取到应用的最优TPS。
  多交易混合容量
  容量的意思就是应用能够达到的最大TPS。该场景是和多交易混合负载场景相关联的,即通过多交易混合负载找出应用承受的最优TPS后继续对应用进行加压,直到找到应用的最大TPS。混合容量场景的并发用户与延时调节方式和混合负载一样,在这里就不再赘述了。
  大并发
  该类场景的目的是考察系统在大并发的情况下是否存在问题,是否有报错,是否有用户失败等。大并发一般要设置一个延时,用于到达最优并发时的TPS。那么,大并发时的用户到底设置多少,这个延时要设置多久,依据是什么呢?一般我们设置的并发用户数量是最优并发的5至10倍,而延时要通过计算得到。这里还是举例说明,有一个应用,测试得到的最大TPS为200,对应的并发用户为20,那么我们可以设置两个大并发场景,即100并发用户和200并发用户。100并发时的延时设置为100/200TPS=0.5秒,200并发时的延时设置为200/200TPS=1秒,这个延时为区间型的延时。
  通常,在进行大并发测试时获得的TPS结果要比最大TPS低很多,因为在大并发时系统很有可能出现某些资源不够用,线程很可能会出现严重的阻塞等等。
  如何考量大并发测试获得的测试结果是否符合预期,或者说大并发测试通过的标准是什么?这个也没有固定的标准可循,通常我们认为只要符合如下两方面的要求即可认为测试通过。
  · 最大并发用户量是否能达到最大TPS时的5倍;
  · 测试结果的TPS是否达到测试指标的要求;
  需要说明的是这里的大并发和应用的最优并发与最大并发并不是一回事,二者并不相同。
  稳定性
  给应用一个恒定的压力,使场景运行较长的时间,用于测试应用在长时间运行下的表现,TPS是否有较大波动、是否有错误和异常、是否存在内存溢出等。根据业务类型不同一般会运行不同的时长,对于5*8这样的应用稳定性运行8小时即可,7*24这样的应用最好能够运行12小时以上。
  恒定的压力怎么选取?通常有两种方式。第一种,选择应用最优压力的80%最为目标压力,这种方式比较适合应用的最优TPS不是很高的应用,比如200以下;第二种,如果应用的TPS比较高,那么我们需要换一种方式,否则就会产生较多的测试数据。例如一个应用的最优TPS为1000笔/秒,如果我们取其80%的压力800笔/秒,那么加压12小时的数据量为3456万!这时,我们使用200TPS的恒定压力运行12小时即可。
  扩展性
  考察应用的扩展能力。未扩展的情况下基本是一个子系统使用一个单独的机器节点,也就是应用的单点情况。扩展性就是,再对应用进行一个节点的扩展,测试扩展情况下的TPS。一般双节点的总TPS达到单节点的1.8倍即认为系统具有良好的扩展性。压测时我们选取混合容量场景中获取到应用最大TPS时的场景做为压测场景,并使用不同的压力机分别对两个节点进行加压,考察测试结果能够达到多少TPS。
  可靠性或异常测试
  这种情况下一般是将压力做为背景,对应用所依赖的环境进行模拟故障,考察应用的表现是否符合预期。例如,在一定压力背景下,模拟网络的闪断,待网络恢复后应用TPS是否能够及时恢复。背景压力我们一般选取混合负载测试获取最优TPS时的场景即可。
  影响性
  影响性测试也是性能测试过程中经常遇到一类场景。这种场景一般是针对提供非实时功能的应用所设计的。例如,有批处理或异步处理的应用。严格来说,这不应该算是一个单独场景类型,应该是一种特定的测试类型。对于这类的测试我们一般分两步来执行,首先是在未启用具有影响性的功能时测试出应用的最优和最大TPS;其次,启动具有影响性的功能,再按第一步的场景(场景的设置均不变)进行测试,对比二者的TPS差别,这个差别就是我们要考察的影响性。
  挡板延时对比
  如果压测环境使用了挡板,可以通过挡板来设置不同的延时进行对比测试。比如延时设置为0.5秒,1秒,甚至2秒。根据不同的延时设置,增加相应的并发用户数量,调整场景的各项设置,考察应用是否能够达到最大TPS,是否出现并发用户失败或应用异常等。对于挡板延时,一般的作用是模拟被调用的系统的延迟,考察被测应用在不同的延时情况下的性能表现。现在的应用系统很少有是完全独立的了,或多或少地都需要调用别的系统来实现某些操作或业务。例如,对于一个支付系统,起码需要调用银行通道、银联通道、手机短信通道等等第三方系统。由于受网络传输、被调系统的性能等多方面的影响,每次调用外围系统都会消耗一定的时间,综合起来我们一般会计算一个平均值,那么这个值就是被调用系统的平均延时。
  在线用户
  Web类的应用一般会有在线用户这样一个测试场景。这个场景主要的考察目标是在大量用户在线的情况下,系统是否会出现异常。在线用户即登录系统后并未执行任何操作的用户或执行操作后未退出的用户。脚本里设置一个足够长的思考时间,让用户反复执行“登录-在线-退出”这样的过程。一般这种场景模拟的用户数量较大。
  最优并发用户
  这个场景是为了找到应用的最优并发用户数量。最优并发用户数量是指应用达到最大TPS时的并发用户数量,这一点和最优TPS的定义是有区别的。通常在进行多交易混合容量场景执行过程中测试出应用最大TPS时的并发用户数量即为最优并发用户数量,故此场景可以和多交易混合容量场景合并执行。
  最大并发用户
  这个场景是为了找到应用能够承受的最大并发用户数量。最大并发用户数量是应用能够承受的并发用户的极限,这时要求用户不会出现失败,交易响应时间不能超过指标的要求,应用不会出现异常、错误等非正常现象。在测试过程中,当我们测试到最大TPS后继续增加并发用户数量,直到出现应用异常,或出现并发用户失败,或交易响应时间超过测试指标要求等,这时的并发用户数量即为最大并发用户。
  对于最优并发用户或最大并发用户的场景,一般测试web类的应用或有明确并发用户指标需求的应用时会设计这样的测试场景,而接口类的应用一般不考虑这两个场景。
  梯度加压
  所谓梯度是指开始使用较少的用户加压一段时间(几分钟即可),待TPS稳定后再继续往上加用户,如此循环,直到TPS不再增加为止。整个过程就像爬楼梯一样,所以称为“梯度”。
  这种类型场景一般是为了“偷懒”而设计的。比如,在生产环境要测试一个交易的最大TPS能够到多少时,我们为了节省宝贵的测试时间,一般会使用梯度加压的场景策略。这时我们不知道被测环境能够达到什么样的吞吐量,也没有明确的测试指标,为了快速找到应用的最大TPS,使用梯度场景是最简单有效的。另外,梯度场景适合独立交易的应用(压测场景只有一个交易),因为独立交易不必考虑复杂的场景设置,使用梯度场景可以节省大量的测试执行时间。
22/2<12
《2023软件测试行业现状调查报告》独家发布~

精彩评论

  • augus007
    2018-4-23 11:14:25

    请问:下单TPS=100*80%=80,查询TPS=100*19%=19,退款TPS=100*1%=1。此处的80%和19%,1%,您是依据什么依据进行分配的。
    在混合场景的中。controller的用户分配比例您是依据交易占比还是您最后得出的用户比例来进行分配的

  • jerry_yes
    2017-7-20 22:47:04

    为什么表2中设置的数据,用前面描述的计算方法完全计算不出来?是不是思维错乱?

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号