测试领域的度量【转】

     那么为什么CMM体系第四级的核心是度量，而且在敏捷开发模式下，度量也被看作不可或缺的重要手段呢？因为只有通过度量，质量才能得到保障，过程才能被管理，成功才能被复制。

     我们还是先来澄清一下概念：度量是指对事物属性的量化表示。被度量的属性我们称之为指标。度量作用于了解现状、分析差距、制订计划、过程管控、结果预测、持续改进等各个方面。下面我们就回到本次讨论的重点：测试领域的度量，先来看看测试相关的一些指标：

     1、缺陷数量。众所周知，这是产品质量的关键衡量标准，因此也是测试的核心指标。从缺陷数量中可细分出有效缺陷和漏测缺陷。前者与无效问题相对，是测试人员对质量的真实贡献，比例越高越好。后者是测试人员未能发现而遗漏到下游的问题，不但希望比例低，绝对数量也是越少越好。理论上讲，漏测缺陷能最终代表产品质量，但实际上这个指标滞后严重，而且难以控制。很多测试部门通过缺陷数量来牵引测试人员，则又陷入了另一个误区，造成开发和测试关系的紧张和对立。我们在实际应用缺陷数量这个指标时，通常将它与基线比较，与同类型产品相比较，与历史版本相比较，这样的分析比直接看绝对数量更有价值。因此我们得到一个重要的启示：度量的相对分析比绝对分析更有意义。

     2、测试用例数量。用例是测试人员作战的武器，就像代码对于开发一样。我们对这个指标的态度是又爱又恨：爱它是因为非常直观、容易度量；恨它则是因为它不对结果负责。用例多了不代表测试充分，也不代表发现的问题多，更不代表产品的质量好。因此用例数量通常与有效缺陷数量联合起来使用，单位用例发现的有效缺陷越多，说明用例的质量越好。

     3、覆盖率。经常会听到针对测试设计的质疑：你为什么要写1000个用例？为什么不是500个或2000个呢？当然我们可以讲我们的测试设计方法，讲我们的测试类型，但有什么指标能量化的说明这个问题吗？答案是覆盖率。覆盖率是说明测试充分度的关键指标，但它只是一个必要而非充分条件：覆盖率高未必测试充分，但覆盖率低测试一定不充分。

     4、自动化率。终于到了本人最擅长的领域:)自动化是个好东西，快，省事......但是不是自动化率越高越好呢？非也。对于不需要多次执行的用例，自动化的价值就不大，比如一些易用性测试，测一轮就可以了。预计可能发生变更的特性，自动化的成本比较高，也不适合自动化。除此之外，预期结果不明确的用例，也不适合自动化，比如探索性测试等。

     5、缺陷修复时间。是指缺陷从发现到解决之间的耗时。这个指标常常被人忽视，感觉它对产品的质量也没有直接的关系。缺陷修复了就好了，管它花了多少时间呢？但是对于我们的测试过程改进，缺陷修复时间是一个重要的参考。比如我们发现，在产品研发阶段后期发现的性能问题，修复时间就比前期发现的要长5倍以上，成本也大大上升。因此如果条件成熟，性能测试应尽可能在前期开展。

     6、人力投入、进度偏差等项目公共的度量指标。

     7、代码行、功能点这两个指标是衡量被测对象的规模的，通常用做分母，也很重要。

     指标识别之后，需要收集和分析数据，这两个动作是度量的关键，应当例行开展。

     数据收集的重点在自动化，在拉通公司已有的IT系统，避免手工反馈数据带来的额外工作量。之前我们的缺陷管理、用例管理、工时管理等各有一套系统，各自为政，收集数据非常麻烦，可以说80%的不接受度量的原因在于数据不能自动获取。后来我们痛下决心，抽调专人对IT系统进行整合，逐步建立了公司级的过程数据中心，数据收集的成本降到了零，度量才真正开始发挥威力。

     度量是手段而不是目的，根据度量数据分析出来的结果，以及据此提出的改进建议才是我们需要的。那么这些数据如何分析呢？这就是我们前面提到的：相对分析比绝对分析更有意义。比如测试过程中，我们会看新增缺陷数目是否逐渐收敛，如果是，则说明产品质量趋于稳定。又比如通过分析一个前几个版本的缺陷总数和当前版本的已发现缺陷数，可以大致预测当前的测试充分程度。测试领域有一个非常重要的四象限图，横坐标是测试的充分程度（从左到右是不充分到充分），纵坐标是被测对象的缺陷数量（向下表示缺陷多，向上表示缺陷少，注意这里是反向的），右上角表示测试充分而且缺陷很少，左下角表示测试不充分，缺陷还很多。在度量做得比较精细的情况下，我们将不同模块、不同特性的数据放到四象限图中，就可以清楚的看到哪个模块已经稳定了，哪个模块还需要加油，进而在投入上区别对待。

     最后套用一个去年很火的概念：大数据。其实大数据本质上就是度量。大数据已经迅速深入到社会生活的方方面面，并产生了巨大的效果，大家理解了大数据的价值，也就不难理解度量的价值。