通过在测试计划中定量的定义测试的数据,要求测试必须达到什么要求之后,才能结束某个测试任务,例如:要求测试的通过率达到95%、没有被阻塞的测试用例等。那么,根据图2中提供的信息,我们可以得出:
● 测试通过率达到了98%;
● 被阻塞的测试用例数目为0;
● 所有的测试用例已经执行完毕;
因此,根据测试计划中的要求和当前的测试数据信息,当前的测试已经满足“测试”这个度量指标的要求了。
3)覆盖率
测试覆盖率也是判断“什么时候结束测试”的一个度量指标,它常常可以作为测试结束的出口准则之一。测试覆盖率可以从两个指标来考虑:基于需求的测试覆盖率和基于环境的测试覆盖率:
● 基于需求的测试覆盖率 = [实际覆盖的需求数目/系统总的需求数目] * 100%。例如:测试计划中规定的基于需求的测试覆盖率是100%;
● 基于环境的测试覆盖率 = [实际覆盖的环境/系统支持的总的环境] * 100%。这里的环境指的是测试对象可能运行的硬件、软件、操作系统、接入系统、服务器等等。例如:测试计划中规定的基于环境的测试覆盖率必须达到100%;
4)缺陷
缺陷的信息是判断“什么时候可以结束”这个问题的又一个度量指标,例如:通过收集每个星期发现的缺陷数目、不同严重程度缺陷的分析、已经修复缺陷的趋势等。图3是测试过程中累计缺陷的变化趋势。
图3 累计缺陷的趋势
针对图3中提供的信息,可以和测试计划中要求的缺陷相关信息进行比较,从而是否满足测试计划中的要求,例如:
● 要求总发现的累计缺陷在测试结束之前必须是趋于收敛的,即趋于平坦;
● 已经修复的和关闭的累计缺陷应该是不断增加的,即在测试结束之前,遗留的缺陷是快速降低并趋于平坦;
● 严重程度为1的缺陷必须全部修改完成;
5)信心
信心一方面可以借鉴前面提到的两个度量指标:测试通过率和累计缺陷的趋势;另一个来自测试人员对测试对象的基于直观感觉和经验,即测试人员对他们所负责的功能是否有信心,例如:通过问卷调查的方式,获取每个测试人员对他们负责功能的信心指数。
根据前面建议的5个方面:风险、测试、覆盖率、缺陷和信心,通过在测试过程中这5个方面的评估,并和测试计划中的要求进行比较,我们就可以更加全面的回答“什么时候结束测试”这个问题。
当然,这5个方面,有些因素是可以定量进行定义的,而有的是只能定性进行分析的。因此,我们在测试计划的时候,需要将这些度量指标在整个项目团队中进行沟通,并且在项目利益相关者之间达成一致。只有大家更好的了解了“什么时候结束测试”这些要求的定义和意义,才能更好的在这个问题上有共同的判断标准。
相关链接: