智能终端市场占比的逐年上升，使得近年互联网业务入口迅猛扩展到移动终端。作为国内较早适应并参与移动互联网的运营商，中国移动一直注重发展自有数据业务。区别于以往的传统增值业务，中国移动重点推广的数据业务从客户端到后台系统都愈发与互联网竞争对手趋同：部署于各类型移动终端，承载于2G、3G和WiFi，快速而频繁的更新升级。为了进一步提升自有业务质量，中国移动侧重考量各项主观、客观的用户使用体验指标，努力缩短与主流对标产品的业务质量差距。

　　众多数据业务的质量提升，涉及到客观评测、量化分析、系统改进等多个环节紧密衔接的螺旋式递进。势必需要一套与之匹配的测试系统，既能适应业务快速更新发布的节奏，又能应对各个业务不同特点和多种运行场景的复杂性，满足测试精度、结果可靠性等各方面的要求，并且为分析改进提供大量充足的现场数据。“沙盘雷达”就是这样一套系统。

　　中国移动研究院终端所长期以来致力于智能终端方面的研发与测试，特别在终端软硬件的测试方面积累了丰富的技术经验。作为以往相关技术储备，已经开发出多个针对智能终端整机、操作系统和应用软件的自动化测试工具，并且经受了大量实用检验。在此基础上，密切配合对自有数据业务质量评测的需求，终端所整合出“沙盘雷达”这套高效自动执行、准确可靠的完整评测工具系统。

　　“沙盘雷达”是一套多种自动化工具高度整合的测试系统，与之相应的还有一支经验丰富的测试团队。为全面符合中国移动自有数据业务质量评测的要求，“沙盘雷达”可根据各个业务的不同特点定制量化评测指标，极具灵活性。“沙盘雷达”在测试执行时基本能够做到无人值守，排除了人为因素的不确定性，并且缩短了测试时间，测试效率达到人工执行的40倍。“沙盘雷达”还可以出具完整的测试结果数据和现场记录，为后续的分析改进提供必要依据。

　　使用“沙盘雷达”对数据业务进行评测前，首先针对被测业务制定量化评测指标。一般从性能、稳定性和功耗来划分被测业务的用户体验指标，再进一步细化为时延、速率、流量、成功率等具体的度量项。测试团队将确定的被测业务测试用例对应到“沙盘雷达”自动测试工具上，最终生成测试脚本。

　　“沙盘雷达”在实际测试运行中，可以对被测业务在各种承载网络环境下进行检测，例如Edge、WiFi。也支持被测业务的多种终端平台版本检测，例如Android、iOS。与被测业务对标评测的竞品业务同样适用“沙盘雷达”，能够做到完全在相同地点、时间、网络环境等条件下进行高效率的对比检验。

　　对于时延类测试指标，“沙盘雷达”自动测试的结果精度能够达到0.1秒，覆盖了绝大多数操作响应测试点，后期有望将精度提升至毫秒级。对于成功率类测试指标，“沙盘雷达”使用多台终端检测被测业务的稳定性，并且同时同地同网使用多台终端对比检测竞品业务。因为是自动化执行，“沙盘雷达”系统能够大量重复执行系列操作以获取足够充分的样本统计数据，确保测试结果的客观准确。涉及到交互型的业务操作时，例如飞信用户之间的聊天，“沙盘雷达”完全实现了用户终端之间的自动交互操作，监控操作过程并测量各项结果。

　　完成测试后，由“沙盘雷达”系统记录的各项测试结果数据可以分析出业务本身的性能、稳定性等质量水平，同时还可测算出与竞品之间的质量差距。经过多轮测试，就能评测出被测业务与自身、以及与竞品间的质量差距和提升趋势。测试结果是以体系化的分析报告来展示，通过详尽的测试数据汇总成评分，用完整的“雷达图”直观体现被测业务在多个维度上的质量状况、与竞品间的差距。差距较大的方面，将作为后续分析改进的重点依据。

　　“沙盘雷达”在测试中记录的现场信息，经过测试团队筛选分析后，能够给出初步的分析建议。这些信息连同测试结果送交业务开发和运维基地后，再进行更加深入的分析，有针对性地逐步改进。改进后的业务版本再度交给测试团队进行评测、定位。由此完成一轮完整的迭代提升。

　　终端所使用“沙盘雷达”系统在两个月内即完成了飞信、MM、139邮箱和彩云等多个重要互联网业务与对标竞品间多维度、量化客观的多轮次对比评测，形成了多份分析报告为数据业务质量提升团队提供了决策支持。今后，“沙盘雷达”将持续发挥适应于互联网产品快速迭代测试的优势，面向中国移动自有业务质量进行敏捷化、定制化的量化评测，为业务质量提升工作保驾护航。

版权声明：本文出自 cmriqa 的51Testing软件测试博客：http://www.51testing.com/?489136

原创作品，转载时请务必以超链接形式标明本文原始出处、作者信息和本声明，否则将追究法律责任。