老徐关注于企业级软件测试的管理; 老徐关注于软件自动化测试的研究与探索; 老徐关注于软件性能测试的研究与探索; 老徐和大家分享软件测试进度管理、缺陷管理、质量控制等方面的经验。

发布新日志

  • 老徐新做的性能测试计划模板

    2007-04-12 11:03:12

     

          性能测试计划是在性能测试模型建立完成后开始制订的。

           它里面的内容很简单,就是所谓的“5W1H”

                              5W1H是指

                              ①When何时 ②Who何人 ③Where何地

                              ④What何事 ⑤Why为什么 ⑥HOW如何进行

                            性能测试计划是一种战术规划;


                 它作为整个性能测试工作的实施方案,

                 它继承测试策略,

                 为了保障性能测试工作的方向正确性和完成及时性,

                 同时也为性能测试工作提供可实施的测试阶段和测试步骤。

                 它是测试方案的依据,同时也是所有相关测试活动的依据。


     

     

     

     

     

    [系统名称]

     

     

    性能测试计划

     

    V1.0

     

     

     

     

     

     

     

    文档编号:

     

    项目名称:

     

        写:

     

    编写日期:

     

        核:

     

    审核日期:

     

        准:

     

    批准日期:

     

     

     

     

    修订状况

    章节编号

    章节名称

    修订内容简述

    修订日期

    修订前

    版本号

    批准人

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    目录

    1、引言...................................

    2、参考文档.............................

    3、工作目标.............................

    4、........................................

     

    一、引言

         1、编写目的

         2、项目背景〔引用性能测试策略中的“项目背景”

    二、参考文档

         1、开发资料列表〔为了编写性能测试计划所需的文档

         2、测试资料列表〔为了编写性能测试计划所需的文档

         3、其它相关资料列表〔为了编写性能测试计划所需的文档

    三、总体工作起止日期

         1、总体工作开始日期

         2、总体工作结束日期

    四、阶段划分和详细任务

         1、性能测试准备阶段

            1-1、测试环境准备

             (a)被测系统基础环境〔5W1H

             (b)被测系统应用部署〔5W1H

             (c)负载模拟环境〔5W1H

             (d)监控/诊断环境〔5W1H

            1-2、测试数据准备

             (a)基础测试数据〔5W1H

             (a)虚拟用户数据〔5W1H

            1-3、测试程序准备

             (a)性能测试脚本〔5W1H

             (a)性能测试场景〔5W1H

             (a)其他特殊程序(时间戳、挡板)〔5W1H

         2、性能测试执行阶段

            2-1、性能诊断测试执行子阶段

             (a)基准测试场景集合〔5W1H

             (b)负载测试场景集合〔5W1H

             (c)峰值测试场景集合〔5W1H

             (d)压力测试场景集合〔5W1H

             (e)稳定性测试场景集合〔5W1H

            2-2、性能调优测试执行子阶段

             (a)基准测试场景集合〔5W1H

             (b)负载测试场景集合〔5W1H

             (c)峰值测试场景集合〔5W1H

             (d)压力测试场景集合〔5W1H

             (e)稳定性测试场景集合〔5W1H

            2-3、性能检测测试执行子阶段

             (a)基准测试场景集合〔5W1H

             (b)负载测试场景集合〔5W1H

             (c)峰值测试场景集合〔5W1H

             (d)压力测试场景集合〔5W1H

             (e)稳定性测试场景集合〔5W1H

         3、性能测试分析阶段

            3-1、性能测试数据整理与保存〔5W1H

            3-2、性能测试数据分析与评估〔5W1H

            3-3、性能测试分析报告的编制〔5W1H

            3-4、性能测试总结报告的编制〔5W1H

    五、性能测试风险分析及规避方法

         1、脚本风险

     风险编号 风险描述  风险发生概率  影响严重程度  责任人  规避方法  最终决策人 
         〔高、中、低〕  〔高、中、低〕      
                 
                 
                 

         2、数据风险

     风险编号 风险描述  风险发生概率  影响严重程度  责任人  规避方法  最终决策人 
         〔高、中、低〕  〔高、中、低〕      
                 
                 
                 

         3、业务风险

     风险编号 风险描述  风险发生概率  影响严重程度  责任人  规避方法  最终决策人 
         〔高、中、低〕  〔高、中、低〕      
                 
                 
                 

         4、环境风险

     风险编号 风险描述  风险发生概率  影响严重程度  责任人  规避方法  最终决策人 
         〔高、中、低〕  〔高、中、低〕      
                 
                 
                 

         5、监控风险

  • 老徐新做了一个用于培训的性能测试策略模版,分享一下

    2007-04-12 09:57:00

    性能测试策略的意义和用途

           在进行完性能测试的各项调研之后,性能测试人员已经对性能测试工作需求有了框架上的了解。

           此时,制订性能测试策略的意义凸显出来,它应该是整个性能测试项目的战略级规划。

           即,本次性能测试项目的工作目标是什么?

           一般包括两种目标:

                (a)按时完成性能测试工作

                        最典型的例子,大领导说了:一定要在月底之前完成上线模拟的性能测试工作

                (b)按质完成性能测试工作

                        最典型的例子,大领导说了:一定要保证系统上线后的性能质量

             工作目标是性能测试策略中的重中之重。

             它决定了性能测试工作的不同实施思路。

                (a)按时完成,就要力保时间,可以在资源不足、时间不足等资源有限的情况下,只要确保一个最低质量保障标准即可

                (b)按质完成,就要力保测试的覆盖度,要想尽办法测试最多的方面。

     

     性能测试策略的模板

     

     

    [系统名称]

     

     

    性能测试策略

     

    V1.0

     

     

     

     

     

     

     

  •  风险编号 风险描述  风险发生概率  影响严重程度  责任人  规避方法  最终决策人 
         〔高、中、低〕  〔高、中、低〕      
    &nbs

    文档编号:

     

    项目名称:

     

        写:

     

    编写日期:

     

        核:

     

    审核日期:

     

        准:

     

    批准日期:

     

     

     

     

    修订状况

    章节编号

    章节名称

    修订内容简述

    修订日期

    修订前

    版本号

    批准人

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    目录

    1、引言...................................

    2、参考文档.............................

    3、工作目标.............................

    4、........................................

     

    一、引言

         1、编写目的

         2、项目背景

    二、参考文档

         1、开发资料列表〔为了编写性能测试策略所需的文档

         2、测试资料列表〔为了编写性能测试策略所需的文档

         3、其它相关资料列表〔为了编写性能测试策略所需的文档

    三、工作目标

         1、按时完成(可选

         2、按质完成(可选

    二、测试性质

         1、性能检测测试(可选

         2、性能诊断测试(可选

         3、性能调优测试(可选

    三、整体工作起止日期

         1、开始日期

         2、结束日期

    四、性能测试范围

         1、业务范围〔一般以子系统为依据进行范围的确定

         2、技术范围〔一般以系统的技术架构为依据进行范围的确定

    五、性能测试工具

         1、负载模拟工具〔工具名称、厂商、成本、获得方式等

         2、系统监控工具〔工具名称、厂商、成本、获得方式等

         3、网络监控工具〔工具名称、厂商、成本、获得方式等

         4、数据库监控/诊断工具〔工具名称、厂商、成本、获得方式等

         5、应用平台监控/诊断工具〔工具名称、厂商、成本、获得方式等

         6、定制开发工具〔开发责任方、成本等

    六、性能测试脚本开发方法

         1、录制/增强脚本〔可选

         2、手工开发脚本〔可选

    七、性能测试阶段划分以及里程碑定义

         1、性能测试模型设计阶段

              里程碑定义〔里程碑名称、里程碑时间等

         2、性能测试计划阶段

              里程碑定义〔里程碑名称、里程碑时间等

         3、性能测试准备阶段

              里程碑定义〔里程碑名称、里程碑时间等

         4、性能测试执行阶段

              里程碑定义〔里程碑名称、里程碑时间等

         5、性能测试报告阶段

              里程碑定义〔里程碑名称、里程碑时间等

         6、性能测试总结阶段

              里程碑定义〔里程碑名称、里程碑时间等

    八、性能测试的参与各方信息

         1、项目管理方〔负责人、接口人、联系方式

         2、业务方〔负责人、接口人、联系方式

         3、开发方〔负责人、接口人、联系方式

         4、功能测试方〔负责人、接口人、联系方式

         5、性能测试方〔负责人、接口人、联系方式

         6、基础设施方〔负责人、接口人、联系方式

    九、测试环境需求

         1、软件需求〔类型、描述、到位时间、到位方法

         2、硬件需求〔类型、描述、到位时间、到位方法

    十、启动/暂停/恢复/结束的准则

         1、启动准则〔规定整体测试工作在具备了哪些条件之后才能开始

         2、暂停准则〔在测试过程中,当某些测试执行需要的条件不再具备时,需要暂停测试的执行

         3、恢复准则〔在测试过程中,当暂停后,需要的条件获得满足时,测试可以再次启动

         4、结束准则〔在测试过程中,整体测试工作达到了哪些目标或者获得了哪些结果之后才能停止

    十一、性能测试的高级风险分析与规避方法

     风险编号 风险描述  风险发生概率  影响严重程度  责任人  规避方法  最终决策人 
         〔高、中、低〕  〔高、中、低〕      
                 
                 
                 


     

  • 老徐:性能测试工具LR的学习启动方法

    2007-03-07 12:38:55

     

    性能测试的实施成功性来源于对系统用户行为的正确分析;

    而性能测试的执行成功性来源于性能测试脚本和性能测试场景的开发正确性;

    因此,性能测试工具的操作正确性和熟练程度导致了性能测试脚本和性能测试场景的开发正确性;

    例如,在LR中,参数化、检查点、事务、动态数据关联、场景启动方式的设置等,都会对性能测试脚本和性能测试场景的开发存在正确性的影响。

    老徐的个人建议:

    当你学习Loadrunner的工具操作方法时,先花一周的时间练习LR的基本操作技能,例如事务的添加、测试数据的参数化、检查点的添加、动态数据的关联等,在练习这些基本的操作技能的时候,你不需要了解事务能用来做什么、参数化能用来做什么、检查点能用来作什么、动态数据关联能解决什么问题,只需要练习操作工具,学会这些内容的操作方法。

    当你熟练掌握了工具的基本操作方法后,再去学习和理解事务是为了获得用户关心的响应时间、检查点是为了确保获知性能测试执行是否成功、参数化是为了给大量虚拟用户提供不同的测试数据,模拟实际情况、动态数据关联是为了适应服务器处理结果的变化性,等等

    这样的方法练习性能测试工具,是一个事半功倍的方法

    个人建议,请多指教

     

  • 老徐最近为某大型银行测试中心制作的“性能测试分析报告评审规范”,分享给大家!

    2007-03-03 23:54:15

     

    老徐的本家:www.testfocus.com.cn   ;www.xsz.com.cn

    欢迎大家访问!

    1      引言

    1.1   编写目的

    本文档明确性能测试分析报告的评审行为,明确评审过程中使用的各项指标,使性能测试分析报告评审相关人员能够依据此规范检查性能测试分析报告的内容填写是否符合模版要求,检查性能测试分析报告是否正确反映了性能测试的完整过程,检查性能测试分析报告是否符合本规范中规定的质量标准。

    1.2   适用范围

    ü     性能检测测试分析报告评审

    ü     性能诊断测试分析报告评审

    ü     性能调优测试分析报告评审

    ü     容量规划测试分析报告评审

    1.3   预期读者

    参与性能测试分析报告评审的各方面人员,包括:

    ü     测试管理部测试经理

    ü     技术测试部技术测试经理、技术测试分析师、技术测试工程师

    ü     项目(群)组项目经理、技术经理及其他相关人员

    ü     业务部门相关人员

    ü     数据中心相关人员

    1.4   参考资料

    ü     《信息技术管理部测试管理办法》

    ü     《信息技术管理部性能测试规程》

     

    2      与评审规程的关系

    在评审规程中规定性能测试分析报告的评审过程和具体活动,包括评审内容的准备、评审会议的召集、评审会议、评审结果的发布、评审结果的跟踪。

    本规范为评审规程中的具体活动提供可依据的方法、判断标准以及相关模版。

    3      标准与模版

    3.1 活动:评审内容的准备

    3.1.1准入标准

    性能测试计划中的任务完成率=100%,包括所有开发任务、所有执行任务、所有分析任务

     

    3.1.2准出标准

    性能测试分析报告经过技术测试经理审核并签字

    性能测试相关所有文档已经放置于可供获取的位置,包括性能测试计划、性能测试方案、性能测试场景/脚本、数据文件、执行日志、性能测试分析报告。

     

    3.1.3模版

    N/A

    3.2 活动:评审会议的召集

    3.2.1准入标准

     

    3.2.2准出标准

    会议召集通知书已经发送给所有相关评审方,包括:被测应用系统所属项目(群)组、业务部门、数据中心、测试管理部、技术测试部、业务测试部。

    性能测试分析报告和所有相关文档同时随会议召集通知书发送给了所有相关评审方。

    3.2.3模版

    名称:《性能测试分析报告评审会议通知书》。

    内容:

    ü     发送信息,应包括姓名、Email、座机、手机、角色、所属部门

    ü     项目(群)组名称

    ü     会议召集时间

    ü     会议持续时间

    ü     会议地点

    ü     参加人员和角色及部门名称

    ü     主持人和角色及部门名称

    ü     记录人和角色及部门名称

    ü     会议议程

    ü     期望达成目标

    ü     附件名称及简要说明

    ü     初审意见

    3.3 活动:评审会议

    3.3.1准入标准

    ü     所有与会人员准时到场(现场/或视频)

    ü     所有与会人员已经预先审阅了性能测试分析报告及相关文档

    ü     所有与会人员已经在《性能测试分析报告评审会议通知书》中填写了初审意见并发送给会议主持人

    ü     会议主持人已组织性能测试实施人员对各方与会人员的初审意见进行了汇总和分析

    3.3.2准出标准

    ü     性能测试背景评审完成

    o       应具备详细的、明确的性能测试工作背景描述

    ü     性能测试需求评审完成

    o       性能测试需求应明确表明本次性能测试的类型,应为性能检测测试、性能诊断测试、性能调优测试或者容量规划测试

    o       性能测试需求中应具备明确的性能测试范围

    ü     性能测试目标评审完成

    o       性能测试目标中应具备期望达到的明确的响应时间指标

    o       性能测试目标中应具备期望达到的明确的处理能力指标

    o       性能测试目标中应具备期望达到的明确的资源利用率指标

    o       性能测试目标中应具备期望达到的明确的稳定性测试时间长度指标以及交易成功率指标

    o       性能测试目标中应对响应时间和处理能力指标进行明确的定义

    ü     性能测试模型评审完成

    o       性能测试模型中应具备明确的测试场景名称以及使用该场景的原因说明

    o       测试场景中应具备明确的虚拟用户名称、数量/百分比、思考时间(ThinkTime)、检查点、测试数据说明

    o       测试场景应具备明确的测试环境说明,包括应用版本、网络架构、应用技术架构、服务器硬件设备信息、应用平台的版本和关键参数设置信息

    o       测试场景应具备明确的被测应用系统基础数据信息,包括基础数据量、类型(模拟数据/生产数据)

    ü     性能测试过程评审完成

    o       性能测试过程包含了性能测试规程中规定的所有不可裁减的测试任务

    o       每项测试任务应具备明确的测试方法说明

    o       每项测试任务应具备明确的状态(完成/未完成)

    o       若某项测试任务未完成,则该项测试任务应具备明确的未完成原因以及解决方法说明

    ü     性能测试单项任务数据分析评审完成

    o       每个单项任务应具备明确的测试目的

    o       每个单项任务应具备明确的测试数据分析

    ü     性能测试结论评审完成

    o       每个性能测试目标应具备至少一条结论

    o       每条结论应针对一个具体的性能测试目标

    ü     性能测试缺陷评审完成

    o       所有已发现缺陷都具备了明确的状态(已解决/未解决)

    o       所有遗留缺陷都具备了明确的追踪解决方案(监督责任人、期望解决结果、期望解决时间、解决方法、解决责任人)

    ü     性能测试分析报告评审完成

    o       若有一项评审结果为“不通过”,则此项为“不通过”

    ü     所有与会各方人员签字认可评审结果

    o       若有一方人员未到场,此次评审视为无效。评审会议结束后,将会议记录与会议结论发送给缺席方人员进行离线评审。

    o       获得缺席方离线评审意见后,修订评审结果,此次评审方可视为有效。

     

    3.3.3模版

     

    名称:《性能测试分析报告评审报告》

    内容:

    ü     项目(群)组名称

    ü     会议召集时间

    ü     会议地点

    ü     与会人员、角色及部门名称

    ü     主持人员、角色及部门名称

    ü     记录人员、角色及部门名称

    ü     性能测试背景评审结果:通过/不通过

    ü     性能测试需求评审结果:通过/不通过

    ü     性能测试目标评审结果:通过/不通过

    ü     性能测试模型评审结果:通过/不通过

    ü     性能测试过程评审结果:通过/不通过

    ü     性能测试单项任务数据分析评审结果:通过/不通过

    ü     性能测试结论评审结果:通过/不通过

    ü     性能测试缺陷评审结果:通过/不通过

    ü     性能测试分析报告评审结果:通过/不通过

    ü     性能测试评审会议有效性:有效/无效

    ü     参与各方人员签字

    3.4 活动:评审结果的发布

    3.4.1准入标准

    ü     性能测试评审会议有效性:有效

    ü     性能测试分析报告:通过

    3.4.2准出标准

    ü     性能测试分析报告评审报告已经发送给所有相关各方,应包括:项目实施管理条线、业务IT管理条线、相关业务部门、数据中心、项目(群)组、测试管理部、技术测试部、业务测试部等

    ü     性能测试分析报告评审报告由技术测试部备案

     

    3.4.3模版

    N/A

     

    3.5 活动:评审结果的跟踪

    3.5.1准入标准

  • 老徐最新的性能测试用例设计方法

    2007-03-03 21:16:13

     
    n    最近回看以前制定过的性能测试体系,结合近期的性能测试项目,又对性能测试模型-测试模型中的性能测试案例设计方法进行了些许改进。
        分享给大家:)

        性能测试案例是开发性能测试脚本的依据(设计文档),包括
    几个最关键的要素
    ¨(1)操作步骤:
    §    关键业务的每个实际业务操作步骤,例如输入用户名,输入密码,点击登陆按钮,确认主界面显示成功,点击查询按钮,确认进入注册用户信息查询界面,输入查询条件(注册用户的用户号码),点击提交按钮,确认查询结果显示成功。
    ¨(2)参数化点:
    §确定某个操作步骤中需要将输入数据进行参数化,例如在查询步骤中将输入的注册用户号码进行参数化,即将注册用户号码用变量代替,并设置该变量的数据源,例如某个数据文件(user_No.xls),并注明注册用户号码的数据如何获得,例如从数据库中查找10000个符合查询条件的用户号码,放置在数据文件中;或者使用EXCEL自身的数据处理功能按照一定的规则条件生成10000个用户号码。
    ¨(3)事务衡量点:
    §     事务是用来衡量某个操作步骤执行时间的时间函数组合,包括一个起始时间函数和一个截止时间函数,由它们可以计算一个业务操作所耗费的时间长度,例如一个查询操作,在点击查询提交按钮之前设置事务的起始时间函数,在查询结果显示成功之后设置事务的截止时间函数,这样在测试执行时就可以实时计算每个查询步骤的响应时间是多长。
    ¨(4)Thinktime
    §     思考时间是用来模拟实际情况中一个操作员在两个相邻的操作动作之间的习惯性间隔时间,例如阅读页面中的内容、填写页面中要求输入的数据、起身到打印机旁等待并拿回打印好的发票等。
    ¨(5)检查点:
    §     检查点的作用是验证某个业务的请求被发送到服务器后,服务器返回的结果是否正确。例如登陆的检查点可以设置为在点击登陆按钮之后检查服务器返回的页面中是否包含了欢迎您访问xxx系统!的字样。
  • 数据统计

    • 访问量: 37554
    • 日志数: 35
    • 建立时间: 2007-03-03
    • 更新时间: 2007-04-12

    RSS订阅

    Open Toolbar