编写友好的测试代码
必须承认,并不是所有的代码都能使用自动化测试。以单元测试为例,严格的面向对象,良好的类和函数模块化封装设计可以大大提高它的测试效率。类的接口越多,为它编写的单元测试就越多。同样,过多的使用C++的友元也会增加编写的难度,甚至无法为该类编写(黑盒)单元测试用例。
在写代码的时候,要时刻牢记保持良好的测试性。在开发过程中,就会变成可行但是单调乏味的工作,有时候它需要很好的结构性。要在游戏开发中使用,以下几点必须牢记:
* 所有的回归测试都取决于明确的行为。比如,使用随计算法的寻径系统可以提供一个初始化随机种子的公共方法使得角色的行动决策更复杂多变。这个方法在随后的测试中可以被用来确保角色始终选取同样的路径。
* 同样,回归测试中要避免与帧数相关的情况;否则,有真实物理特性的物体或渲染输出也许会和以前的数据不同,特别是当结果来自不同的机器或者不同的编译条件(debug和release)。在测试时,使用恒定的虚拟帧数就可以避免这样的问题。
* 严重依赖于用户输入的软件很难测试,比如游戏内置的编辑系统或者游戏工具。这样的话,把UI和逻辑代码严格的区分开会有所帮助。在我们的游戏工具里,UI界面里每个用户动作会执行一条或多条简单的脚本指令。每条脚本指令可以很明确的重现用户的原意。这样,测试用例可以简单的执行这些指令并且与样本数据作比较就可以(比如导出地形文件)。
也可以使用GUI捕捉工具来测试UI,但我们发现这并不是个好办法。UI会经常改变,哪怕一个按钮仅仅移动几个像素也会使捕捉软件失效,GUI捕捉工具也许会帮倒忙。
关于测试的疑问:我们真的可以节省时间么?
多数情况下,一个开发团队想要在开发过程中使用自动化测试,大多数成员都会对它抱以质疑的态度。毕竟,与其花这点时间写测试用例,还不如去写逻辑和引擎的代码。根据我们在游戏和其他领域的工作中使用自动化测试的经验来看,编写测试代码会额外增加30%工作量。初看,在时间和资金上这也许是很大的开销,然而,你要意识到这样做,省去了人工测试所花费的时间。
自动化测试可以看作在开发前期投入,在开发过程中赢利。大多数的代码修改,包括Bug修改,都可能会引入更多问题导致程序宕机。所以,理论上说,一旦代码有所改变,就必须测试所有可能被影响的代码。自动化测试无需人工干预就可以完成,它们缩短了开发过程。而且由于自动化测试可以简单快速的发现修改的代码是否能有效地运行,因此也就鼓励开发者优化和改进现有的代码。
对我们来说,自动化测试帮助开发者编写更稳定和可靠的代码。哪怕是一开始对它抱有怀疑态度的开发成员也欣赏它所提供早期反馈的特性,在开发过程中,它也可以更早的发现Bug。开发者的工作压力和负荷随着项目的开展日益加大,尽早的发现和解决Bug也可以避免给开发关键时期带来额外的压力。
在开发Vision引擎的时候,我们收集了一些数据来研究为提高代码稳定性而实施自动化测试的有效性。2001年早期,全部依靠人工测试的引擎第一个release版本开发完成,尽管我们已经进行了很全面的测试,但是每个月,我们的在线技术支持数据库依然会收到上百个来自客户的Bug报告。2001年9月,我们对已有的引擎功能和新增的特征实施自动化测试。这样,即使我们现在的工作量很大,开发进展也很正常,每月Bug报告的数量锐减(现在大概是5到10个)。
必须强调,这些图表只是反映了单元测试用例数量和每月Bug数量两者之间的相互关系,不能将它理解为必然的因果关系。当然,从2001年到2004年,我们在如何编写健壮的代码上学到了很多,在这段时间内,开发团队的人数变动频频,但是,这些明显的差异足以说明稳定性的提升部分归功于使用了自动化测试。