执行端到端测试用例
选择测试环境、测试数据,确定需要在其中执行测试的所有系统和服务的版本后,我们就可以执行测试用例了。这听起来很容易,但实际上并非如此。测试执行过程中可能会遇到不少典型的端到端测试的瓶颈。
- 执行测试用例需要大量的时间(例如,业务流程需要一天后才能执行下一步)。
- 测试数据不够用。数据不够用的时候,测试用例的执行就被阻塞了,原始数据不能被再次使用,而且跨多个系统的重置操作很难被做到(这是为什么我们需要创建备份测试用例的原因之一)。
- 测试系统并不总是可用(如果事先知道这一点,可以部署桩/驱动或是模拟器)。
- 分析具体问题的产生原因很困难(这个问题发生在什么系统或哪个服务?),需要具有技术背景的人和访问日志文件的权限。
- 可能找不到合适的人来执行测试和分析结果。
- 很难找到供应商来解答的问题。
- 没有人具备所有系统的详细知识。
自动化端到端的测试执行
完全自动化的测试执行使得有效和持续的系统集成成为可能,但在实践中,完全自动化的测试执行对很多场景来说并不适用。然而,有不少辅助工具可以使端到端的测试更轻松。例如,有些工具可以用来生成测试数据,有些工具可以生成消息并做相关分析,有些工具可以充当桩/驱动或是模拟器。是否定义了恰当的接口对正确使用这些工具尤为重要。
端到端的回归测试
在本书中的几个地方,端到端测试被当作回归测试技术,测试变化造成的影响。端到端回归测试的范围与需要覆盖的风险直接相关。每次变化都需要端到端的回归测试。然而,当供应商提供的服务发生改变时,供应商通常不会及时通知客户。为了及时检测到没有通知的变更带来的影响,需要提高端到端回归测试的执行频率。由于需要较高的测试执行频率,因此不可避免地需要使用自动化技术。
当测试的结果与预期不符时,需要用良好的文档记录这样的问题。在使用云端部分技术基础设施的情况下,分析问题的难度比软件运行在客户自己的计算资源上要大。当出现问题时,专家没法冲到服务器机房,因为出问题的服务是虚拟的,存在于云中"某个地方"。对于每个问题,确定问题所在的位置很重要:位于(虚拟)环境中,位于平台中,还是位于其他地方?
找到问题的原因
在这种情况下,读取日志文件是可行的手段之一。在端到端测试的过程中,需要在合适的地方配置记录日志,以便确定发生错误的具体位置。
本文选自《云服务测试》第三章,本站经人民邮电出版社和作者的授权。
版权声明:51Testing软件测试网获人民邮电出版社和作者授权连载本书部分章节。
任何个人或单位未获得明确的书面许可,不得对本文内容复制、转载或进行镜像,否则将追究法律责任。
相关阅读: