探索性学习
这第二种趋势认识到了这样的现实,即我们通常很难把问题描述得十分正确:需求在演变,我们需要简化(扁平化)或者把著名的“错误-代价”曲线颠倒过来。这里的核心思想是:我所说的每一项,不管是在产品、测试或者跟踪排错的第一步,都在运行软件时通过探索性发现,才使得可视化-可执行-设计-测试的整个过程和结果变得更为真实。
实时分析工具,例如Rational PurifyPlus就带有制作精良的非常明确的实例,例如发现内存错误和性能上的瓶颈。你还可以用它们来支持更广泛的探索,尤其是在由各种不同组件所构成的系统中。80%的企业级行为都是对某些组件的重新组装,包括对遗留下来的成分进行更新或补充等等,而不是从头开始设计。
在软件运行时你会发现很多新的信息,至少和设计时一样多。这也是RUP强调要把可运行的软件作为每一次迭代的组成部分的缘故。你发现的每一样东西都应该是可视的,并且放在你用于设计的同样的工件中。对运行着的系统的跟踪是一种UML的迭代,经过验证和裁决,可以转化为一种可复用的测试。数据也值得进行概括,并形成新的等价类的基础,等等。
当前,大多数探索性测试的提倡者,尤其是Kaner和Bach,都把这作为使用后即可放弃的行为[注7]。但我认为,我们一旦把所探索到的内容无缝地加入到设计中去后,就会发现,这是高度可重用的。事实上,这是实时分析的一个新的应用:通过探索而发现的有价值的东西的捕获和利用。
组件测试和易测试性设计
第三种趋势是关于理解测试人员和开发人员的相对角色,并为每种角色分配合适的工具。Rational把提供组件测试和易测试性设计作为一种最佳实践,这已有很长的历史。我认为对这些做法的采纳源自于对质量的基本理解。当前,太多的测试人员的行为都受限于规格说明的模式,其中有很多浪费。其实开发人员才有责任去保证所开发出来的软件和规格要求相一致,他们应该使用合适的工具和过程来达到这样的目的。
Boris Beizer描述了2种不同角色的区别:
独立测试的目的是提供一种不同的观察点,由此产生了不同的测试,并且在比开发人员所采用的开发环境更丰富的环境中执行测试。自我测试(self-testing)的目的是消除那些bug,这可以在相对更简单、更明确的单元/组件环境,或者低层次的系统测试中进行,并且只需花费较低的代价。[注8]
测试驱动型开发提供更大的能力。如果规格说明就是可执行的测试,而测试进行没有产生别的问题,那么就可以认为软件和规格说明相符。其它的单元测试过程也只是为了保证同样的事情:就规格说明而言,不管它们是什么内容,代码总是与之相符合的。如果不符合,那么就是开发人员的问题。Kent Beck非常清楚测试驱动型开发所带来的效果:如果测试驱动编码的缺陷密度达到足够低的话,那么专业测试的角色将不可避免地发生改变。以前的是“成人监护”方式,而现在更类似于一种扩音器,它宣称测试要更多地验证的是系统必须做什么。[注9]
这需要整个团队接受这样的一个前提,即保证软件符合规格说明是开发人员的职责。这使得测试者可以有更多精力用于发现和避免一些别的问题,从客户或者用户的角度来看,这些问题的存在可能会使软件所应有的价值有所降低。Brian Marick针对这些冗长烦琐做法的错误性写过一篇很著名的文章[注10]。那些文档通常已说明了一个系统中的多于一半的错误,他声称,因此你就需要专门有一个过程来让你的测试人员用来发现这些问题。
易测试性的设计在这里具有重要的意义。现在很多软件已改用基于服务的构架,这种构架是基于组件的构架的一种扩展,随之而来的是新增加的复杂性,即组件可以在没有警告的情况下发生改变,其可靠性的问题是极为严重的。大多数IT经理会接受99%的可靠性,我敢打赌,他们会认为这一标准甚至已经高于他们所用的买来或构建的组件。但是,如果你构建的系统有超过100个组件,每个组件具有99%的可靠性,那么整个系统的可靠性是0.99的100次方,实际上仅有37%。顺便提一下,这也是为什么那些有高可靠性要求的市场,例如电信业,会要求“5个9”的可靠性,即99.999%。在这样的情况下,你就可以使用100个组件,综合起来仍有99.9%的可靠性。
这一基本原理实际上要求软件进行易测试性的设计,就象30年前市场形成时硬件所做的一样。 Bertrand Meyer是这一领域研究的领先者,他提出了按合约设计,其意思是把对类及调用该类的客户端之间的关系的检视作为一种正式的协议,这表达了每个团体的权利和义务[注11]。Meyer的概念已被广泛接受,其标志之一就是合约设计的规格语言WSDL的诞生,该语言是Web Service标准的核心[注12]。
我认为人们正越来越多地接受易测试性设计。易测试性已成为诸如Web Service等框架和标准的一个补充的组成部分。接口也正成为技术平台和操作系统的一部分。一个比较简单的例子是,J2EE和.NET 中预定义开放式接口和API映射,可以允许工具来检查在运行时刻环境中发生了什么。另一个真实而有益的趋势是人们正使用象Rational XDETM这样的工具,通过设计模式的方法来构建应用--而易测试性已被置入在设计模式中。模式所构造的组件包括外在的用于测试的接口 -- 即组件的一些适当的getter和setter方法。
易测试性设计的一个实用的法则是,你已在GUI和表示层的后面对业务逻辑或软件的行为进行了访问。Bret Pettichord主张,易测试性设计应该是关于可见性和控制的设计[注13]。你通过较低层获得其外在接口,从而得到所需要的可见性,在测试的时候,通过很多开放的接口来允许你直接看到软件中的声明。同样地,你需要接口来让你能够控制应用,由此你才可以避免使用GUI,而是通过自动化框架来驱动应用。
重视技能
第四种趋势是增进软件测试专业技术知识的水准。在.com流行的年代中有这样的误解,即使没有很深的测试技术知识、业务应用方面的领域知识以及充分的培训,你也能有效地进行测试。但当你面对一个分布式的应用--例如,一个特别的基于Web的应用,就会发生问题。Hung Nguyen关于基于Web应用的测试论著是这种观点最好的代表[注14]。Nguyen认为,测试人员应该知道技术是如何对他们所看到的各种错误产生影响的。他们需要对技术问题有所理解,例如配置的问题,以及他们所检查的技术本身内含的问题。各种细节上的理解,例如了解应用服务器中Bean和Container管理的持续性之间的区别,可以直接影响到你发现特定缺陷的能力。
所以,现在的测试人员除了测试本身的技术以外,还需要理解开发技术和领域知识。例如,假设你在浏览器中看到一个错误:“404 - Page not found”这样的错误可能是错误的链接所引起,也可能是因为某些服务失效而产生。一个好的测试人员并不会在出错页上就停下来,他会进一步诊断出错的原因。他不仅需要对该失效的服务具备足够多的认识和理解,而且他要通过查看其它使用该服务的页面来验证自己的猜测。这就是一种Bug隔离的重要技能。
另一种技能是成为一个很好的探索者。以前,测试方面的很多论述对计划和脚本有很多要求,但现实情况下,一个好的测试人员就是一个好的探索者。他们喜欢在测试过程中发现一些暗示,并知道怎么来进行跟踪。这样的暗示有时很简单,例如一个页面要很长时间才能加载。那么对于一个好的测试人员来说,他可能会想,这其中发生了什么?然后继续了解要通过什么路径可以进一步发现答案。James Bach所写的一些内容可能是在探索性测试方面最好的材料[注15],其中有该课题的最佳练习。我认为这显然也是一个重要的技能,每个团队都需要这样的技能。
我们在Rational学院的课程中已经非常重视如何去应用基本的软件测试技术。可以和Florida Tech的Cem Kaner一起开始那些专为测试人员提供的软件测试基本原理的新课程[注16]。该课程并不专注于测试工具,而是专注于如何成为一名很好的软件测试人员,尤其是当你正在应用迭代开发过程的时候。最后,测试人员的生产能力和开发人员的生产能力是同样重要的,只有富有经验的测试人员才能使产品让客户获得很高的投资回报率(ROI)。Rational已经发现,一个更快、更经济、更高质量的开发过程的关键就是迭代式开发过程。迭代式过程可以使测试在整个开发周期中得以提前,从而可以更早地发现错误,修改错误也相对更加容易,其成本也相对更低。
但是,我认为现在的测试人员还没有得到很好的训练以胜任迭代开发过程中的测试工作要求,项目经理也没有得到很好的训练以正确地认识测试在迭代项目中所扮演的角色,开发人员也没有得到很好的训练以得到他们需要了解的测试相关技术,例如基础等价类划分。因此我们在RUP(Rational Unified Process)和Rational学院中增加了大量关于测试的材料。而且我们还将继续扩充这些材料以帮助测试人员、开发人员和项目经理们在迭代过程的协同工作中做得更好。
上一页 下一页