拥有多年互联网和银行系统性能测试开发经验,对性能瓶颈诊断定位和优化领域有较多研究。 重回互联网行业,性能测试开发、自动化测试开发、Java开发

云服务测试服务笔记 - 测试的原则、过程以及方法

上一篇 / 下一篇  2015-10-27 11:43:39 / 个人分类:职业发展规划

  这本书给出的方法让测试者和测试经理能够知道如何在云计算背景下执行自己的任务。书中的技术、提示和范例给我们提供了所需的云测试的全部信息,如可维护性、可持续性和安全性。面对这些不同的风险,需要有不同的测试。
  本书的主要内容包括:云计算的基本特征、实施模型、测试经理角色、端到端测试、选型阶段、实施阶段、众包测试、从风险到测试、性能风险、安全性风险、可维护性风险、测试方法、决定选型需要考虑的云计算相关方面、性能测试、负载测试、建立测试用例、耐力/容量测试的测试用例、测试弹性的测试用例、为性能测试设置测试、测试安全性、测试可管理性、可用性和可持续性、功能性测试、测试web服务、多平台测试、测试迁移、在生产环境中进行测试。
 
 
【目  录】
  第1章  介绍1
  第2章  什么是云计算5
  2.1  云计算的基本特征7
  2.2  服务模型8
  2.3  实施模型12
  第3章  测试经理角色15
  3.1  一般任务17
  3.1.1  风险分析17
  3.1.2  获取供应商信息及与供应商达成一致19
  3.1.3  端到端测试20
  3.1.4  给出建议25
  3.2  选型阶段、实施阶段和生产阶段的任务25
  3.2.1  选型阶段25
  3.2.2  实施阶段26
  3.2.3  生产阶段27
  3.3  借助云的帮助进行测试27
  3.3.1  使用TOGA将测试外包给云计算28
  3.3.2  众包测试32
  3.3.3  云端的测试环境33
  3.3.4  生成负载34
  第4章  从风险到测试35
  4.1  性能风险37
  4.2  安全性风险40
  4.3  可用性和可持续性风险42
  4.4  功能性风险44
  4.5  可维护性风险46
  4.6  法律和法规风险48
  4.7  供应商和外包风险49
  第5章  测试方法51
  5.1  选型阶段的测试53
  5.1.1  决定选型需要考虑的云计算相关特征54
  5.1.2  确认选择标准的完整性和可控性54
  5.1.3  评估服务和供应商56
  5.1.4  给出选型建议62
  5.1.5  选型标准清单63
  5.2  性能测试66
  5.2.1  负载测试68
  5.2.2  压力测试69
  5.2.3  耐力测试或容量测试69
  5.2.4  测试弹性和手工操作的可扩展性70
  5.2.5  建立测试用例71
  5.2.6  针对特定瓶颈的测试用例75
  5.2.7  在测试用例中包含云的特征75
  5.2.8  压力测试的测试用例77
  5.2.9  耐力/容量测试的测试用例77
  5.2.10  测试弹性的测试用例77
  5.2.11  设置性能测试81
  5.2.12  代表性的测试环境82
  5.3  测试安全性83
  5.3.1  网络安全性86
  5.3.2  列出供应商安全性清单86
  5.3.3  列出客户安全性清单88
  5.3.4  测试加密90
  5.3.5  测试认证90
  5.3.6  测试授权91
  5.3.7  测试面对互联网攻击时的安全稳定性92
  5.3.8  测试日志文件和审计跟踪记录93
  5.3.9  对及时应用安全性补丁进行测试93
  5.3.10  执行审计93
  5.4  测试可管理性94
  5.4.1  供应商侧的规范95
  5.4.2  客户侧的规范96
  5.4.3  用户文档97
  5.4.4  测试环境可用性98
  5.4.5  测试文档101
  5.4.6  事故管理流程102
  5.4.7  变更流程与版本控制104
  5.4.8  软件可管理性104
  5.5  测试可用性/可持续性105
  5.5.1  失效模式影响分析107
  5.5.2  架构的作用108
  5.5.3  硬件可靠性109
  5.5.4  软件可靠性110
  5.5.5  承诺和SLAs112
  5.5.6  可用性机制的影响113
  5.5.7  因特网与因特网连接114
  5.5.8  测试失效恢复115
  5.5.9  测试在离线状态下工作121
  5.6  测试功能性122
  5.6.1  服务与业务过程的兼容性124
  5.6.2  测试服务质量126
  5.6.3  测试用户友好性127
  5.6.4  测试与其他系统的接口127
  5.6.5  测试服务配置129
  5.6.6  供应商定制化130
  5.6.7  客户的定制130
  5.6.8  测试Web服务131
  5.6.9  多平台测试133
  5.6.10  测试应用本身,以及使用应用来测试服务136
  5.6.11  测试离线功能137
  5.6.12  回归测试137
  5.6.13  创建测试依据137
  5.7  测试迁移141
  5.7.1  迁移测试策略142
  5.7.2  最小化业务中断143
  5.7.3  IaaS和PaaS中正确的数据迁移144
  5.7.4  SaaS中正确的数据转换145
  5.7.5  迁移的性能148
  5.7.6  数据清理149
  5.7.7  测试环境迁移149
  5.7.8  并行运行与模拟运行150
  5.8  测试法律法规151
  5.8.1  法律法规清单152
  5.8.2  检查法律法规156
  5.9  在生产环境中的测试157
  5.9.1  变更情况下生产的持续性157
  5.9.2  度量供应商的承诺161
  5.9.3  原有选型标准评估164
  5.9.3  实践中的注意事项165
  第6章  结束语167
  术语表  171
 
 
几年前,云服务还处在口号和概念的阶段,但如今,已经有越来越多的企业和个人开始使用,甚至是构建自己的云服务平台。例如,在SaaS层面,不少中国互联网用户开始使用"云盘"、"云播放";在IaaS层面,不少新创的互联网企业开始使用国内和国外公司提供的云端存储和主机方案,这些方案极大地降低了新创企业的运维成本,缩短了服务的部署时间。甚至,由于越来越多的产品开始在背后使用云服务,用户在"无意"中使用云服务的情况也越来越多。
  云服务的普遍应用为用户和使用云服务的公司带来了便利,但与此同时,云服务也带来了一些额外的风险。例如,最近由OpenSSL的安全性缺陷导致的互联网"心脏出血(heart bleed)"就是一个明显的例子。而对于将自己的业务建立在云服务之上的公司,云服务带来的风险就更加明显:提供云服务的公司不再提供服务了;云服务突然处于不可用状态了;云服务的服务接口更新导致公司对外提供的服务不可用了……但是,即使考虑到云服务带来的额外风险,从成本和收益的角度来说,完全把云服务排除在选择范围之外肯定是不可能的。唯一可行的方法就是,彻底地分析云服务带来的风险,针对这些新的风险和挑战给出合理的解决方案。
  《测试云服务》这本书详尽地分析了在组织内引入云服务所面临的各种风险,同时从测试的角度提供了应对每种风险的可操作建议。在这个快步转向云服务的时代,本书的出现可以说恰到好处。《测试云服务》从测试视角介绍了不同云服务的层次(IaaS、PaaS和SaaS),将组织应用云服务分成了选型、实施、生产等多个阶段,分析了每个阶段面临的风险和风险分析方法,并针对每种风险给出可行的测试方法对其进行覆盖。此外,本书还提供了详细的检查表,以便组织内负责测试的测试经理角色能够快速应用风险评估技术和测试技术,在使用云服务的决策中发挥价值。本书的篇幅并不长,也没有特别针对某种测试工具进行描述,但我相信它给出的全面分析和具操作性的建议能够为读者提供足够的信息。
 
Martin和Kees对我而言,亦师亦友。他们帮助华为引入了TMap(结果驱动的测试)方法论,使我们逐步理清测试的原则、过程以及方法;同时,也帮助我认识了测试的真正魅力,在这个独特的职业道路上不断前行。
  2012年6月上旬,西安,我和Kees以及Polteq的另一位高级顾问Ruud为一个产品做测试过程改进咨询。那一段时间天气非常炎热,我们每晚都会在**背后的小花园里喝上几罐啤酒,聊聊天。有一次,我问Kees:"您觉得对于测试人员而言,最重要的技能是什么?"Kees沉吟了一下后回答到:"我觉得最重要的就是批判性思维,测试无法穷尽,只有用更严格的思维来帮助识别风险,才能向我们的利益干系人提供更大价值。"
  从华为开始与Polteq合作,已经6年了,每次合作过程中,我都会对这些"Polteq人"的理性思维产生深刻的印象。
  任何一个测试人员都会有这样的困惑:我要测的内容太多了!周边对我的要求太多了!我该怎么办?
  任何一项测试工作,首先应该考虑的问题就是"缩小"测试的范围,如何来"有理有据"地缩小范围,这是关键的难题。
  在TMap中提供了一种可行的方法:基于风险的测试,它指出了测试的第一原则:没有风险,没有测试。
  我们在所有产品线都推进了基于风险测试的方法,这项工作使我们获益匪浅。我们向利益干系人收集风险、设计实验、证明风险的影响,再向他们反馈得到的信息。一切以风险作为基础,建立快速的测试循环。
  我所在的产品线并非云计算领域,但正如本书中所指出:"不管是什么项目,测试经理首先要考虑风险。"
  云计算提供了方便和低成本的服务,但也让更多风险"隐藏"了起来,不为测试人员所见,这是我们在测试云服务中的最大挑战。
  幸运的是,Polteq团队已经为我们做了深入的洞察和实践,他们从各种维度,用批判性的眼光,给出全面和简洁的风险启发式,这些启发式可以帮助我们更好地识别风险,聚焦于最重要的部分,从而也为我们所服务的利益干系人提供更大的价值。
  2007年11月11日,Martin和Kees第一次来到华为,为我们的一个产品进行测试过程改进咨询,我在蛇口码头接他们。一坐上车,这个银发红鼻的老"顽童"立刻从包里拿出厚厚一叠打印的文件,那是我寄给他的华为测试流程中的主要指导书,他举着那些文件"严肃"地问:"你们是这么做的吗?如果是,你们绝对是测试界的 No.1!",我谦虚地说:"咱们评估一下看看吧。"随后的几天,Martin拿着那些文件访谈了很多人,他把文件放在测试经理的面前:"你是按照这个文件做的吗?",我们的测试经理看了半天,摇摇头问一旁做翻译的我:"这是什么?"我汗!
  在我和Polteq的合作中,让我深刻地认识到:如果没有切实的实践,再完美的文档也是浮云。
  让我们就像本书最后一句话所言:热身已经结束,开始全力比赛吧!
  我已经大力向华为的云产品开发部门推荐这本书,无论您是云的客户,还是云的供应者,如果您有志于创造更**值,本书不容错过!

TAG:

wangduolu的个人空间 引用 删除 wangduolu   /   2015-10-27 16:34:26
很好的一本书,请问该书有电子版吗?可否分享,多谢。
 

评分:0

我来说两句

Open Toolbar