7、测试工具本身可能产生误差
■ 测试工具能模拟用户的手工操作,但是这种工具本身就存在误差、或者使用者操作不当产生的误差,比如:在项目后期的回归测试的时候使用自动化功能测试工具QTP进行回归测试的时候,由于修改了某些脚本导致QTP每次测试都能通过,但是到用户现场的话有可能会最简单的功能都通不过。
■ 在进行性能测试工具的时候大家常常使用Webload、Jemeter、Loadrunnner等,但是这些工具并不能100%模拟用户的并发操作:比如用工具模拟500个用户同时并发登录系统,但是这些并发都是从1台或者某几台测试机器上发出请求的。但是在用户实际使用环境的情况喜爱这500个用户可能来自全国或者全世界的各个地方。
对策:
■ 对于自动化的测试工具,一定要选择一些知名大企业比较成熟的测试工具,比如:HP公司的Loadrunnner,QTP或者IBM的系列测试工具。
■ 测试工程师在使用测试工具的过程中应该大胆的排除一些不合理的测试值,比如:进行了5次的大用户的并发测试,其中有1次的测试结果与另外4次的测试结果偏差较大,那么测试工程师就可以排除这1次偏差较大的测试(因为这1次测试结果可能受到一些其他因素的影响而导致不准确,比如受到网络因素的影响等)
■ 另外测试工具仅仅是提高测试效率的,由于测试工程师在使用测试工具的过程中某些参数设置不合理而导致测试结果不准确。所以不要过分的相信测试工具,最后一定要进行人工的审核和检查才可靠。
■ 另外可以用不同的测试工具运行相同的测试场景,如果不同的测试工具运行相同的测试场景的测试结果相近的话,可以认为这种测试时有效的。
8、测试资源的不充分
测试资源的不充足表现在很多方面,比如:
■ 硬件资源不够,国内的很多小型的软件企业开发和测试居然使用同一个环境,这样肯定肯定会影响测试效果的。
■ 软件资源不充分,比如在项目的后期进行回归测试的工作量很大,但是测试的人手不够。
■ 测试的时间不充足,在企业实际的研发过程中,研发人员由于各种原因(如用户提出修改或者新增某些功能、甚至研发人员的技术水平等)导致提交到测试部门的延迟,这样无形中减少了测试人员的测试时间,测试时间不充足会影响到测试的效果的。
对策:作为一名测试管理者有义务向公司里申请更多的测试资源,如购置独立的测试服务器把测试环境和研发环境分开;要求招聘更多的测试人员;测试管理者应当做好测试风险的预估,比如:在制订测试计划的时候要预留一定的多余时间以应对临时变化的一些特殊情况。