《测试之美》连载(二)

发表于:2010-8-24 10:10

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:魏臻 译    来源:51Testing软件测试网

  在RBCS 的评估和项目中,我和我的同事发现测试的投资回报率分布在很低的25%~ 3 500% 这么大的区间里。一般来说,外部故障成本相对于内部故障成本呈上升态势,那么测试的投资回报率也上升。换句话说,一个组织正式产品中发现的缺陷的成本越大,越应该多投资在测试上。在设定投资回报率的目标指标时必须小心。有时候对测试投资回报率(发现缺陷的高效率)的优化可能会降低发现缺陷百分比,或发现缺陷的侧重点,甚至两者(发现缺陷的有效性)都有所降低。在评估中,如果测试团队有不错的测试投资回报率,我们建议只做那些不会降低有效性的改动。我将在下一节讨论这样的一个例子。现在走向测试之美的第三步,就是建立有效性和高效性的指标及其目标。在本节中,我使用Victor Basili 的“目标-问题-指标”方法来完成这一点。你已经了解利益相关者的目标和期望,这些就是“目标”。然后,你要回答什么问题才能知道测试是否达到这些目标呢?最后,什么指标可以衡量出你完成这些目标的成功程度?这样一来你可以通过什么能让利息相关者满意来衡量你的测试呢?这多么美妙啊。

  这还没完,你还要考虑美的优雅一面。建立一个优雅的价值体系,优美地工作,针对利益相关者以服务为本,关注于对公司而言真正要紧的事情上。多年前,有人发明了一个词叫无私编程。同样,测试之美也是无私测试。在我们的评估中,RBCS 顾问看到一些测试团队的光辉典范,他们了解利益相关者,了解其目标和期望,并且了解如何为这些目标和期望实现和衡量成功。这些客户几乎总是测试得很漂亮。

  什么美是内在美

  对于测试之美,我们还需要考虑一个因素:内在美。让我们回到测试团队就像奥运会的马拉松选手和铁人三项全能运动员的比喻。在皮肤之下,其内部器官都为运动成绩贡献力量。肌肉需要长时间的训练以提高耐力,消化系统将碳水化合物转化为肌肉的燃料和蛋白质,并把水发送到人体各处以保持健康的水和作用。因此,我们可以用消耗的热量、身体脂肪比例和长期的健康来衡量有效、高效和优雅。

  好的测试团队也会显示出类似的内在美。由于测试像是一场马拉松,我们需要能坚持一个又一个项目的测试团队。

  假设你得知你的团队花费了很大比例的时间做手工回归性测试,即使缺陷发现指标表明不会有太多漏网的缺陷,但手工回归测试乏味、昂贵、易出错、速度慢、消磨士气。所以,你决定用自动化来减少手工测试,同时在产品中继续保持低回归风险。对这一目标而言,你如何确定外界认为其有效和高效呢?

  想想以下问题:

  . 我们已经自动化了多大比例的回归测试?

  . 我们覆盖了多大比例有关回归的质量风险?

  . 我们还能加快多少自动回归测试?对于每个问题,制定一个指标。首先是自动回归测试的百分比,如公式2-7 。该指标通常不能也不应该达到100% 。因为有些测试在执行过程中需要人为判断或交互。我们的许多客户做自动化回归测试达到90% 。你需要做一些仔细的分析来确定目标。

  公式2-7 :回归测试自动化的百分比(Regression test automation percentage,RTA)

  RTA= 自动化回归测试/(手动回归测试+自动化回归测试)

  测试自动化应保持或降低回归风险。所以,你应该衡量已经覆盖的有关回归的质量风险的比例,如公式2-8 所示。要计算这个值,你得能掌握(自动和手工的)测试与其下回归风险之间的关系。(如果你不熟悉这种测试和测试基础之间的可跟踪性思想,我的《Managing the Testing Process 》(测试流程管理,微软出版社)中会有所讲述。)

  许多测试管理工具能够掌握测试的可追踪性并衡量测试的覆盖范围。当你将越来越多的测试自动化,回归风险覆盖率指标至少应保持不变或增加。

  公式2-8 :回归风险覆盖率(Regression risk coverage,RRC)

  RRC= 已覆盖的回归风险/识别出的回归风险

65/6<123456>
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号