转：软件测试质量和效率评价之我见

近期在研究如何提高软件测试质量和效率，发现要完成这个课题，先要搞清楚如何评价软件测试质量和效率？搜罗了不少资料，木有找到权威的说法，于是结合自己的经验进行了总结，便得此文，愿抛砖与业界朋友探讨。

　　软件测试质量和效率评价的范畴

　 　原本打算将软件测试质量和效率分别评价，但基于软件测试不可穷尽的特点，以及测试时间总是那么紧张的现实，更多的时候我们需要在质量和效率之间加以权 衡，在有限的测试时间内得到可用的系统或产品。因此，质量和效率有着相互制约的关系，但对于一个系统或产品的测试来说，质量和效率都是衡量测试是否成功的 指标，索性放在一起讨论。

　　经过分析，我认为一个测试效果的好坏可以从以下四个大的方面进行评价，如图1：

　　1、测试质量评价：对测试产出及结果的评价，评价比重30%

　　2、测试效率评价：测试过程中若干项工作的效率评价，评价比重30%

　　3、测试文档评价：测试文档质量的评价，包括对测试方案、测试设计、测试用例、缺陷报告单、测试报告等文档的评价。评价比重25%

　　4、测试过程评价：对测试中若干过程执行情况及效果的评价，包括文档评审、测试沟通、执行过程等评价。评价比重15%

图1 测试质量和效率评价

　　详细评价指标

　　详细评价指标参考下表：

表1：测试质量和效率评价指标

　下面详细解读各指标含义及评价标准。

　　测试质量评价

序号	评价指标	指标含义	指标解读	备注
1	有效Bug比例	有效Bug数/总Bug数	所提Bug有效率越高，说明测试工作越有效，所作无用功越少。	不太赞同用Bug数衡量测试质量。
2	严重Bug比例	严重Bug数/有效Bug数	严重Bug所占比例越高，表征测试越有效，对系统帮助越大。
3	漏测Bug加权数	漏测Bug*严重系数之和	漏测Bug加权数越高，表征测试质量越低。	因项目周期、用户缺陷反馈渠道等问题，漏测Bug的统计可能遇到障碍。

　　测试效率评价

序号	评价指标	指标含义	指标解读	备注
1	工作按计划完成率	1-（实际耗时-计划耗时）/计划耗时	工作能够按照计划完成，表征测试过程控制合理，测试效率也得以保证。	前提是需要一份完整且可执行性强的测试计划。
2	日均有效Bug加权数	有效Bug加权数/测试工作日	日均有效Bug加权数越多，表征工作效率越高。	更适合于对个人工作效率的评价，因为需要横向对比。
3	测试文档生产率	文档页数*难度系数/撰写文档耗时	单位时间产出文档越多，表征文档生成效率越高。	文档质量单独评价，见下节。
4	文档评审效率	（评审建议数+问题数）/评审耗时	单位时间内评审出问题越多，表征工作效率越高。

　　测试效率评价

序号	评价指标	指标含义	指标解读	备注
1	测试计划文档质量	测试计划的规范性，及指导测试的作用是否达到。	测试计划体现测试人员对任务量估计、分工及风险的预估能力，文档越规范、越有效，说明文档质量越高，该项工作的质量也越高。	测试文档的质量从某种程度上反映着测试的质量。
2	测试方案文档质量	测试方案的规范性，及指导测试的作用是否达到。	测试方案体现测试人员对项目测试整体的把握能力，文档越规范、越有效，说明文档质量越高，该项工作的质量也越高。
3	测试设计/用例文档质量	测试设计和用例文档的规范性，及指导测试的作用是否达到。	测试设计和用例体现测试人员的用例设计水平，即解决测试问题的水平，文档越规范、越有效，说明文档质量越高，该项工作的质量也越高。
4	缺陷报告单质量	缺陷报告单的规范性和有效性。	缺陷报告单越规范、越有效，对测试问题定位帮助越大。
5	测试报告文档质量	测试报告文档的规范性，及指导测试的作用是否达到。	测试报告体现测试人员归纳、总结测试数据，呈现测试结论的能力。文档越规范、越有效，说明文档质量越高，该项工作的质量也越高。

　　测试过程评价

序号	评价指标	指标含义	指标解读	备注
1	需求&设计评审过程评价	从流程执行的规范性及评审效果两方面评价。	评审过程按流程要求进行，评审对需求和设计的帮助越大，说明该项工作质量越高。
2	测试沟通过程评价	从测试沟通过程的规范性及沟通结果进行评价。	测试沟通按流程要求进行，沟通对形成测试方案和测试设计的帮助越大，说明该项工作质量越高。
3	测试方案&设计&用例评审过程评价	从测试方案、设计、用例评审的过程及效果两方面进行评价。	各评审过程按流程要求执行，评审出的问题越多、帮助越大，说明该项工作质量越高。
4	测试执行过程评价	从测试执行的规范性及效果进行评价。	测试执行规范，分工协作有效，沟通及时到位，进度及时通报,测试风险及时化解……说明该项工作质量越高。

　　评价注意事项

　　1、评价虽应尽可量客观，但无法避免主观因素。主观评价有时也是最直接、最简单的评价方式，因此，建议可以主观客观结合去评价，但应以客观评价为主。

　　2、评价指标的收集，往往需要有效的统计数据来源，因此，要评价，还需要建立评价数据的收集机制。