用一个参数来恒量自动化测试系统成功与否

RainfinityATS是我见过最成功的自动化测试系统。我做出这个结论的依据是基于下面一个事实：

ATS有超过3k的testcase，部署在超过8个testbed上面。每一个testcycle，每一个testbed平均会运行超过2k的testcase。也就是16k个testcase被运行。

如果只能用一个参数来恒量自动化测试系统成功与否，我相信，它一定是在一个testcycle中该自动化系统的testcase的运行个数。商业软件的成功体现在它卖出了多少copy，自动化测试软件的成功体现在它运行了多少次testcase。

为什么这样说呢？因为如果一个ATS在这一点上得高分，那么就表明了它在下面三个方面做得很好。这一个参数是下面三个参数的综合体现，这三个参数代表了Manager，Dev和QA对ATS系统的要求。

1） testcase覆盖率。Manager要求覆盖率

2） 测试运行效率。Dev要求运行效率，因为他们的发布频率加快了。最好每天都能运行一遍。

3） 测试系统稳定性。QA喜欢运行稳定的系统，他们不想为跑测试过程中各种古怪的问题伤脑筋。