性能测试之稳定性测试

上一篇 / 下一篇  2016-05-06 17:29:18 / 个人分类:性能测试

最近两天在系统的复习性能测试方面的知识,结合之前的性能测试经验有了一些总结,希望写出来与大家分享,希望多提宝贵意见,共同进步~

概念

首先来说说性能测试:性能是软件的一种非功能特性,他关注的不是软件是否完成了特定的功能,而是软件在完成特定功能是展示出来的及时性。及时性从不同的视角代表不同的指标:

  1. 用户:响应时间
  2. 系统管理员:资源利用率,可扩展性,系统稳定性,系统容量
  3. 开发人员:系统架构,数据库设计,设计和代码实现

可见,系统稳定性对系统管理员的意义重大,稳定性的好坏也可以直接影响到最终用户所关心的“响应时间”,所以说稳定性测试时性能测试中非常重要的一环。

稳定性测试(亦可称可靠性测试)通过给系统加载一定的业务压力,让系统持续运行一段时间(一般为7x24小时),检测系统是否能够稳定运行。

 

如何实施

  • 识别并确认软件主要业务(是否需要稳定性测试)
    • 将稳定性测试的重心放在软件最有Value的地方,比如说一个抢票系统,它最有value的地方是当有一定数量的用户同时进行买票操作是系统的相应时间,资源利用率等是否能够正常且稳定,而不是用户如何添加新的联系人,修改个人信息等
  • 罗列主要用户场景及相应负载量
    • 用户场景可以根据软件主要业务进行设定
    • 对主要场景负载量需要有一个清晰的定义(或者通过负载测试验证了用户场景的负载量,这将作为一个标准的负载在稳定性测试中使用)
  • 制定稳定性指标模型(Modeling)
    • 根据用户场景建模,创建合适合理的稳定性指标模型(之后会有一个例子)
  • 测试环境准备(对软硬件环境的配置:配置的来源可以是客户环境模拟、需求文档规定的配置或者配置测试得出的最佳配置)
  • 识别稳定性的主要性能指标(KPI)
    • 用来描述稳定性测试关注的系统指标,比如响应时间、CPU、内存使用率等等,需要根据具体业务进行定义  
  • 测试的执行和数据收集
  • 按照相应稳定性指标模型(Modeling)分析测试结果
    • 将测试结果应用在稳定性测试模型中,观察是否满足稳定性要求
  • 持续改进(如有必要)

稳定性指标模型(例子)

下面我们拿一个BI(商业智能)的例子来进行我们的稳定性测试建模
  1. 软件主要业务:从大量元数据中提取(ETL)客户关心的数据并最终生成报表(本文以微软平台BI为例:SSIS,SSAS,SSRS)
  2. 用户场景:利用SSIS 包进行ETL操作将元数据计算转化后导入到数据立方体(Cube)中。
  3. 典型负载:每小时3000个用户,100000条数据,执行7x24小时
  4. 测试环境:需求文档中规定的配置
  5. 主要性能指标:
    1. ETL时间:9分钟,差别:1分钟,方差:<0.1
    2. 系统相关:CPU,Memory,Private Mbytessec等
  6. 稳定性指标模型:
    1. 计算公式

TAG: 稳定性

 

评分:0

我来说两句

Open Toolbar