关闭

关于测试的若干误解

发表于:2011-7-19 14:41

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:高翌翔 译    来源:51Testing软件测试网采编

  本文中所表达的观点仅代表Liam O'Connor个人意见,与其雇主(NICTA)无关。

  如果说你我之间有什么相似之处的话,那就是你可能阅读过大量文章,在其中作者主张测试驱动开发(TDD,Test-Driven Development)或者其他涵盖了广泛测试(无论是单元测试还是集成测试层面上)的开发实践。我认为,关于这些实践的许多主张缺乏实际项目经验,很难让人相信他们的观点。事实上,当我们把这些非常严格的测试实践应用于大型项目上时,通常它们根本无法顺利工作

  在本文中,我将说明一些关于测试的常见误解。我希望,如果你在编写测试时也存在这样的误解,那么本文能帮助你和你的团队来判断何时适合测试,何时不适合测试。

  误解一:测试可以表明我的代码是正确的!

  虽然这种误解在直觉上是正确的,但是你确实无法依赖测试来建立任何形式的具有严格正确性的标准。每当你编写了一个测试,你就已经测试了程序中的一种可能情况。当程序中存在许多单元时,或许存在无限多种(或是多得难以应付的)可能的情况需要测试时,那么测试所有可能情况是不可行的——因此,典型的对策是测试一些出错情况、边界情况以及若干恰好确保一切正常的“常规”情况。

  如果你的目标是正确性,那么上面谈到内容还远不足以满足要求。尽管程序仍存在许多bug,但是开发一套总是可以通过的测试还是相当容易的。然而有些bug根本不可能通过测试检查出来——其中竞争条件和包括并发性在内的其他错误都是经典的例证,即使你已经对调度程序进行控制,然而可能的交错操作的数量增长是如此之快,以至于可靠地测试很快成为了不可能完成的任务。

  因此,测试无法展示所有情况下的正确性,除非是在最普通的情况下,那样我们可以在测试中完全指定程序单元的行为。对于这些普通情况,往往不值得从一开始就编写测试;之所以说这些情况实在是太普通了,是因为我们所要测试的代码本身就是微不足道的!通过为那些微不足道的代码片段编写测试只完成了一件事,那就是增加维护开销,并且为测试机增加工作量。

  既然测试也只是一些代码,那么在你的测试中同样可能存在bug。如果编写测试与编写代码的是同一个人,那么他们往往可能错误地实现一个程序单元,然后编写一个确保那个错误行为能够通过的测试。此问题的根源在于开发者误解了规格说明,而不是实现过程中犯下的小错误。

  如果你确实需要保证正确性,那么请对你的代码进行形式化验证(目前的验证工具要比过去好得多)。如果你不需要保证正确性,那么编写测试就可以了。须牢记,编写测试的作用就如同烟雾报警器对于火灾的作用一样,其实它并不能检测出各种各样的问题。

  误解二:测试是可执行的规格说明!

  基于以下几个原因我认为这个观点是错误的。先来看看在我的字典里规格说明的定义:

  一组需求,用于界定对于某一对象或过程的准确描述。

  因此,如果我的代码符合规格说明的要求,那么它就应该是完全正确的,因为规格说明准确界定了代码的行为。如果说我的测试是规格说明,那么必须进而证明测试的正确性。正如我们已经讨论过的,测试并没有做这样的事情,因此测试不是规格说明。

  让我们看下实际情况,假设一名开发者通过阅读测试用例可以推断出某个函数的预期行为,然后引入一大堆含混不清的测试用例;如果测试用例不够全面,那么我们可能最终推断出错误的结论,有时可能与预期行为仅有细微差别。

  此外,对于测试用例并未进行一致性检查。也就是说,由于开发者失误或误解,因此你的测试可能实际“指定”了一个非预期的行为。这可能会导致在你的测试中出现一些矛盾,因此也可以说你的规格说明中出现了矛盾。

  随机测试软件,例如QuickCheck,会让编写测试的工作变得非常简单,就像本应包含的布尔属性一样,而且该软件会为你生成测试用例。该软件使得测试更接近于可执行的规格说明,不过它仍然不会对属性进行一致性检查。

21/212>
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号