8.11 软件测试验收基准
软件测试什么时候可以结束？这是一个对于有一定经验的测试人员，特别是测试管理者在测试项目中常常会困惑的问题，因为大家都知道bug永远也不可能100%被找到。所以，对测试工作结束标准的度量，成为了很多公司测试项目和测试绩效考核的疑难问题。错误的测试结束标准如下：
● 对产品进行一轮全面测试后，在发现的bug数中，一级bug数少于1个，二级bug数少于2个，三级bug数少于3个。
● 产品测试的bug总数达到了N个，如500个。
以上两种测试结束的度量标准都是不科学的标准。即使测试的最终结果达到了这些数字，并不能说明产品的软件质量已能满足市场需求了，甚至反而因为受累于这些数字指标影响了产品正常的市场发布时间。
在前一节中，曾提到在软件测试的第一阶段，需要制定一个基线测试标准。在正式提出建议的基线测试标准前，笔者先谈一种软件测试的理论：正面测试与负面测试。
正面测试就是在大多数情况下产品的正常使用方式，以及满足大多数情况下的抗压力能力和性能指标。严格按用户正常习惯来测试，不做发散探索性测试，满足最原始的Marketing或产品规划部门提出的产品交付需求。
负面测试则是大家所理解的对软件进行各类进攻性破坏测试，构造各种异常场景，甚至是高于多数真实场景的压力测试指标，目标就是尽可能地找到产品的所有bug，即使这些bug可能在实际应用中10年也不会被用户遇到。负面测试对测试需求的要求标准高于原始的产品市场交付需求。
在产品第一阶段，为了最快地推出产品以满足市场需求，建议测试基线标准以正面测试为标准。测试人员尽力保证市场交付的原始需求，首先让产品在用户处使用起来，然后再通过升级的方式为用户提供第二阶段输出的更高质量的软件版本。那么这一阶段的基线标准，就应该由公司的Marketing或市场人员，与测试人员共同从市场的视角和需求来编写测试用例，评审测试用例。由Marketing确认基线测试用例，测试人员执行测试用例时，只要保证所有测试用例没有再发现bug，即证明产品的软件质量满足了最初的市场需求，便可以结束第一阶段的软件测试。
在产品第二阶段，为了提高产品的质量，提前暴露问题。满足用户更深层次的软件质量需求，必须在满足基线标准的基础上，加大负面测试的力量，包括各项测试人员进行自由发散探索性的攻击性测试，再加上安全性测试、负面测试、长期大压力测试等。尽可能去验证测试产品的健壮性，该阶段的测试用例可以先由开发人员和测试人员共同完成初稿评审。由于该阶段的测试工作中即时创造性内容较多，因此必须随时将找到了bug的测试方法补充固化到测试用例中。当使用所有的测试方法和测试方案进行一段时间测试后，bug出现的数量开始呈经过数轮测试出现不断减小收敛的趋势后，测试经理们应该与开发人员、产品市场经理一起针对当前发现的bug情况和各测试目标bug收敛的趋势情况，决定产品是否可以向市场发布，但必须保证产品能100%通过基线测试标准和第二阶段所有测试用例的测试。
以上就是笔者关于软件测试验收基线标准的经验总结和对测试的认识。
连载完。
本文选自《51Testing软件测试作品系列》之四的《软件测试精要》。
版权声明：51Testing软件测试网获电子工业出版社和作者授权连载本书部分章节。
任何个人或单位未获得明确的书面许可，不得对本文内容复制、转载或进行镜像，否则将追究法律责任。
相关阅读：
