Pilot 性能测试的一点启示

在正式的性能测试开始之前，我们做了一些pilot性能测试，也就是录好脚本，试跑一些性能测试。发现还是很有价值的，也带来一些新的思考。

1. 关于程序特殊性。并不能奢望录好的脚本就能顺利跑通。我们发现即使只有一个用户，也使“加留言”这一功能失效，但是页面命中率百分之百，响应时间也很好。在跟开发一起debug一个晚上后，发现是因为一行写在code里的session比较代码，导致录制的session ID和每次新跑的session ID不一致，从而引起功能失败。这一代码是当时为了修正AJAX的cache混乱问题而加入的，所以现在只好用注释掉这行代码的build来进行性能测试。Note: 不知道Rational Performance Tester有没有办法通过某些设置而主动规避这个问题呢？

所以，pilot性能测试中除了基本的report外，也要检查系统结果是否正确，来确认性能测试脚本能否正常运行，当然，这是第一步了。

2. 关于程序的潜在功能bug。我们也在pilot性能测试中上了一定的并发量，但是发现页面命中率总是比较低，而且跑完后，人工进行操作会频频报错。这一问题在功能测试中曾被发现，但由于出现频率很低，被认为是网络问题的影响而return。但是这在性能测试中却造成了很大的障碍，且发生频率极高。在和开发沟通和研究之后，终于找到是由于功能测试中期的一个bug fixing所引入的新问题，在多次频繁load时会出现混乱，导致后面的功能全部失效。

所以，在性能测试之前发现这样的问题，大大有助于真实测试的进度把握和效率提高，也能够给开发留下更多的空间来接受并完善系统。