自动化例行测试有效性策略

自动化例行测试有效性策略

序言：自动化例行测试作为自动化测试中一种测试流程中的方式，对于产品线的质量有很大的保证作用，且对于节省人力成本也有其独特的方法。而在进行自动化例行测试有一定阶段之后，发现自动化测试技术是一个方面，但更重要的一个方面的其需求挖掘与应用分析的小策略方面，这些小策略对于提高自动化测试的效率也许会起到一定的作用，但也不敢太过于保证，毕竟环境不一样，差异也是很大的。

一、自动化例行测试概述

自动化例行测试即部署一套自动化测试环境，针对某一个产品线，进行有针对性的回归测试，目的在于保证产品版本迭代稳定性。

二、自动化例行测试的的几个环节

这里从已经开展的角度上来说，并不包括自动化测试框架的开发阶段，其简单的几个环节包括：

1、自动化例行测试项目选择阶段：即对产品线中需要进行的测试项目进行选择投入到自动化例行测试环境的阶段。一般是从手工测试用例模块中进行选取。

2、自动化例行测试项目运行阶段：即自动化例行测试项目的运行的方式以及自动化测试项目之间的运行优先级的排列计算。

3、自动化例行测试项目维护阶段：即对自动化例行测试项目中的维护，包括自动化测试用例、自动化测试点、自动化测试脚本以及自动化测试环境部署的维护。当然，还包括自动化测试框架的维护，但这里不作为重点。

4、自动化例行测试项目跟踪记录阶段：即对自动化例行测试项目的运行情况、结果以及维护情况的一个跟踪记录。

5、自动化例行测试项目淘汰阶段：即对例行测试环境中的项目的一个周期性的选择和去除阶段。

三、自动化例行测试的问题误区与策略

1、 自动化例行测试项目选择阶段；

个人根据经验发现，在开展自动化测试前期过程中，很容易进的一个误区就是覆盖率，认为覆盖率越大越好，这样就很容易导致自动化测试的失败，原因在于自动化测试本身就是一个高维护性的领域，而越大的覆盖率就意味着更大量的维护问题，而且往往这样的问题是发生在自动化测试开展的前期，所以，其自动化测试质量都很差，这就造成了测试人员疲于自动化测试的维护，造成了自动化测试的废弃，以前听说，百度在刚开始自动化测试时，也是因为在前期看到自动化测试好处而一味追求覆盖率，最后自动化测试的覆盖率达到了80%左右，最好却是失败，直到现在自动化测试的覆盖率已经降到了30%左右，才趋于一定的稳定和作用了。所以，宁缺勿滥是其自动化测试开展前期的一个策略，也是自动化例行测试项目的一个选择的策略。而其选择性则可根据产品测试周期、产品的核心模块以及产品的稳定程度以及测试所需资源来综合考虑。

2、 自动化例行测试项目运行阶段；

个人觉得，自动化例行测试运行的几个关键在于：1）、测试环境的稳定性（最好能拥有自己的一套独立的测试环境，排除外界影响）。2）、测试运行阶段的稳定性（遇到不同的异常能够抓取，记录异常，且测试进程不能停止。3）、提供实时的监测机制（即遇到需要变更自动化测试环境拓扑或者网络不可连接的情况下，可以进行测试人员的通知）等。4）例行测试项目的优先级选择；一般而言，其优先级可以根据版本的改动影响情况以及上次错误出现项目情况等进行选择，在时间不够充足的情况下，应尽量保证其更核心项目的验证。

3、 自动化例行测试项目维护阶段；

个人觉得，自动化例行测试的价值就在于例行测试回归的次数，而在自动化测试前中期，我们很容易进入自动化测试脚本的维护误区，即过于关注自动化测试脚本的缺陷，一定要保证所有脚本没问题才有信心进行例行测试项目回归。其实一定阶段，脚本错误只是占项目的一小部分，所以在保证了大部分无错的情况下，可以先将错误项目排除，运行无错的项目，在运行过程中再进行更正，尽快保证例行测试平台可以得到利用，保证100%的正确率是不可能的。则策略是，在保证问题项目在整个项目中的比重比较少的情况下，在测试过程中，可以暂时将其忽略，尽快去保证其余正常运行的项目得到验证，然后边运行边进行错误问题的调试，如果测试项目有需要，可以将手工测试结合起来，关键是保证其例行测试平台的运行。使其尽快发挥自身价值，然后可以进行其回报分析，这样，才能对自动化测试下一阶段的开展提供铺垫。

4、 自动化例行测试项目跟踪记录阶段；

需要有一个随时跟踪例行测试项目的记录文档，一是产品缺陷造成的脚本问题。二是无法修复的脚本问题。三是常见的脚本错误及修改策略。这样，可以保证以后脚本或者产品出现问题时进行良好定位。

在项目结果验证方面，一是提供一个统一的结果及链接。二是提供一个测试点的详细记录。三是提供一个具体的步骤日志，方便分析。

5、 自动化例行测试项目淘汰阶段；

其策略则是根据产品线的测试需求情况进行选择。

总之，个人觉得，在一定策略中，快速让自动化例行测试运作起来，然后在自动化例行测试开展过程中需要在每一个过程周期期对其回报价值进行简单的定位（例如：前期可以以测试点的验证程度或者测试用例的验证程度来进行判定，中后期可计算金钱回报率等方式使得真正可以让自动化测试的应用落到实处），这样将自动化测试的应用以直观的方式体现，能对自动化测试下一个阶段的预估开展起到更好的分析。即是一种边走边分析的策略。