微软的软件测试方法(续)

这是一个非常有意思的活动，但要组织好这样的活动并非易事。一般有以下要点：（1）尽管这是一个测试活动，但参与者并不仅限于测试人员。项目经理，开发人员甚至于高层管理人员都应参加，如同全民动员。目的是要集思广益；（2）要鼓励各部门，领域交叉搜索，因为新的思路和视角通常有助于发现更多的Bug；（3）为调动积极性，增强趣味性，可以适当引入竞争机制，比如当活动结束时，评出发现Bug最多，发现最严重Bug的个人，给以物质和精神奖励。（4）可以分专题展开，比如安全性、用户界面可用性、国际化和本地化等等。微软的第二类测试除了Bug Bash外，经常还有一些专业性的测试，最典型的是针对安全性攻击测试。一般会邀请公司内部，或业界的专家来搜寻产品的安全漏洞。以上我从传统软件测试概念的角度，介绍了微软的策略和两类传统测试方法的具体做法，及其侧重点。这其实仅仅是一个基础，一个很原始的基础。软件测试在微软软件产品开发中的作用、地位远不是这些原始的方法所能达到的，也不是传统软件测试概念所函盖的。微软在软件测试方面有很多特有的做法，和概念上的突破，比如“软件测试的信息服务功能”、“以用户为中心的宏观质量体系”、“分级测试”、“项目的质量管理系统”、“Bug三方会审”、“测试自动化”和“软件测试的软硬件—部门、团队、人和基础设施”等等。这些我会在以后的讨论中分专题进行介绍。

你们是怎样决定测试何时结束的呢?比如你说的bug bash,这种方法我虽然没实践过,也能确信它的价值.但是怎么保证不会过度投入呢?我所经历的项目测试资源都比较有限(时间,人月),所以一般都是在资源耗尽的时候就自然结束了,当然也会考察覆盖率,风险,发现bug数量的变化(越来越少),但是主要是以资源耗尽为主要理由来停止测试的.不知道微软在这个问题上有什么经验和方法?

测试何时结束?在按计划结束的那一天结束！我这个答案你听了一定不满意。但这个答案告诉你微软所依据的最基本的原则，这就是计划。在我前面介绍微软的第一类测试时我提到“测试计划”，这个“测试计划”实际上就是要回答测试的投入问题，包括人力资源、时限和过程。确定测试计划有这么几个依据：1）产品的功能。功能的量和复杂性直接影响测试的工作量；2）质量标准，有公司的标准、行业的标准、市场反馈的标准和客户要求的标准等；3）以往的经验，有以往的产品的经验，也有个人的经验。这一“测试计划”还要被项目的各方（开发，项目管理）审核通过，从而在整个产品部门形成一种共识，这种共识最终被纳入项目总体计划的一部分。对于第二类测试，它也是总项目总体计划的一部分，而且量也是可知的。一般地说在每个里程碑都会有几个分专题的“Bug Bash”，每次历时1-3天。在微软的项目计划书中总有那么一天，叫做“测试完成日Test Complete Day”。它标志着所有计划的测试活动已全部完成，所有被发现的Bug被全部解决，并被测试所验证（有一些会因为某些原因被研究决定推迟解决）。对于以上的分析你也许仍然不满意：难道微软的计划总能按期完成吗？当然不是，逾期的情况时常会有。几乎可以肯定，项目的实际执行与预先的计划一定会有或多或少的差距。微软会在项目过程中采取一些方法来感知这种差距，比如bitter提到的代码“覆盖率”分析和bug数量的变化趋势分析等。目的是为了尽早地发现差距，重新评估和修订计划。这样计划可以变化，但测试总是在计划结束的那一天结束

对于TL_geong提到的随机测试造成收敛的缺陷趋势出现严重的发散现象，在微软也有。通常Bug Bash会产生超乎寻常数量的Bug。一般我们认为，产生Bug的量越大越好。因为，如果产生Bug的数量少，你很难判断是因为产品的质量确实很高，还是Bug Bash做得不彻底。而且事实往往是后者。那么对Bug Bash所产生的大量Bug该怎么办？在微软，我们有“Bug Triage（测试，开发和项目管理，三方会审）”的制度。对于每个Bug，经过会审后不外乎有以下三中归宿（总体上来说）：（1）被确认为“缺陷性”Bug，这样的Bug必须交开发人员解决，然后由原发现人验证。（2）被调整为非“缺陷性”Bug，不用开发人员作任何更改，但必须将问题纳入产品用户文档，明确向用户解释，并告诉用户如何避免和应对。比如这里举一个假想的例子：产品的某个功能在系统内存严重不足的情况下，会暂时停止工作，并生成很多不易被用户理解的警告信息。这显然是个Bug（按微软的标准），正确的应该是，首先软件不应该完全停止工作，其次不应该多次警告，第三，警告信息应简明易懂，并给用户以措施和建议。但是考虑到，一方面这种情况在用户实际使用产品时发生的机率很低，而另一方面，从开发角度，解决这个问题有很大的技术难度，影响面也太大。这种情况下会把这个Bug改为“文本性”Bug，也就是要求文本遍写人员将这一情况作一技术性解释，并建议用户不要将此产品同其他消耗大量内存的软件同时使用。这类的Bug在Bug Bash中很常见，因为大家在这种测试活动中思维方式比较超常。（3）被完全否定，立刻关闭，不再纠缠。这类的情况在Bug Bash中也很常见。因为参与Bug Bash人并不都很了解产品功能的准确用法，误报是难免的。尽管对这类问题没有直接的后续措施，但这些信息仍然是有一定价值的，因为将来用户中的新手很可能会犯同样的毛病，而产品支持部门如果预先有这样的经验，就能及时准确地提供帮助。所以这些信息要保存在Bug的管理库中，以备将来产品支持部门查询。经过这样的会审，筛选，如果（1）（2）类Bug，特别是（1）类Bug仍然很多，那测试部门很可能需要重新论证原先的测试计划和测试用例设计，看是否需要增加测试用例。必要时还要尽早提出更改项目总体计划和发布日期。大量Bug的出现也许不是件愉快的事，但和把这些Bug留给用户相比，代价要小得太多了。总之对于产品的Bug，要相对待身体的疾病一样，切末讳疾忌医<