开发过程的质量决定了软件的质量，软件测试过程的质量同样决定了软件测试的质量和有效性。软件测试在软件质量的保证环节起着至关重要的作用，在文献中定义了软件评价过程模型，这是国际上共同遵守的软件评测过程标准。但是在软件测试过程中，测试用例的设计、测试执行过程中的人员都对测试结果有很大的影响。如何约束这些可变因素，量化测试过程的有效性，辅助改善测试过程、使测试过程变得更为有效，是目前软件测试过程中有待解决的问题。针对上述问题，本文提出了一种基于缺陷驱动的测试过程有效性的评价方法，该方法通过统计系统上线后一定周期内（建议统计时间高于3个月，小于12个月）客户反馈的系统缺陷数结合测试过程中发现的缺陷数进行测试执行过程和测试用例设计过程的评价，从而达到对测试过程有效性评 价的目的。

　　1、 软件测试过程及相关评价方法

　　1.1 软件测试过程

　　软件测试是一个为了找出错误而执行程序/系统的过程。它强调软件测试是一个找错的过程，而不仅仅证明系统是可以运行的过程。软件测试过程包括了计划、执行、检查、改进，其主要具备了可重复性、可再现性、公正性和客观性等特性。

　　1.2 缺陷探测率

　　缺陷探测率（Defect Detetion Percentage，缩写 DDP），是衡量测试工作效率的软件成本的重要指标之一。计算方法如下：

　　其中，Bugstester是软件测试过程中发现的错误数，Bugscutomer是客户方发现并反馈给技术支持人员并进行修复的错误数。DDP越高，说明测试过程中发现的问题数量越多，发布后客户发现的问题越少，这样就降低了外部故障不一致的成本，测试过程有效性高。

　　1.3 六西格玛质量评价方法

　　σ（西格玛）是希腊文的字母，在统计学中称为标准差，用来表示数据的分散程度。六西格玛是由GE从一种全面质量管理方法演变成为一个高度有效的企业流程设计、改善和优化的技术，并提供了一系列同等地适用于设计、生产和服务的新产品开发工具。在软件质量评价方面，六西格玛方法也得到了广泛的应用。六西格玛改进的标准流程（DMAIC）分为定义、测量、分析、改进和控制五个阶段。其中西格玛水平与软件质量评价如下表：

▲表1 西格玛水平业绩

　　由于任何检验、验证手段都不可能发现并排除所有缺陷，因此测试过程的有效性达应用六西格玛的99.997%，那么测试过程就是可信的、有效的。

　　2、基于缺陷驱动的软件测试过程有效性效性评价方法

　　2.1 测试执行过程缺陷遗漏率

　　测试执行过程的好坏主要有测试计划、测试执行过程和测试记录等阶段决定。在测试执行过程中，完全的测试是不可能的，测试需要终止。因此在测试过程中，能够发现全部的缺陷是不可能的，必然会有一部分遗漏。从而将一些问题暴露给用户，从而影响用户的满意度、易用性。但是在测试过程中评价一个测试过程的有效性是很困难的，但是通过一段时间的系统上线应用，统计用户反馈缺陷数目，进而比较容易评价测试过程的有效性，就如同2.2节中缺陷探测率的方法。但是缺陷探测率的评价方法仅仅只是通过缺陷数目来决定测试过程的好与坏，这仅仅停留在测试结果的评价阶段，却没有覆盖的整个测试过程。因此在缺陷探测率的基础之上，本文提出一个测试执行过程缺陷遗漏率（Test-Process Lose Defect Percentage，缩写PLDP）的概念。同时在这之上加入了缺陷严重程度的约束条件。其中缺陷严重程度大体分为如下：

　　严重程度1（致命的）：软件产品在正常运行环境下无法继续为用户提供服务，并无其他工作方式满足同样功能，或者软件产品失效后造成人身伤害或者危机人身安全。

　　严重程度2（严重的）：极大的影响软件产品提供给用户的服务，或者严重影响系统要求或基本功能的使用。