'沙盘雷达'系统测试方法

发表于:2012-10-30 10:53

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:cmriqa    来源:51Testing软件测试博客

  3G引领的移动互联网时代,各种新型应用和业务在发展过程中面临许多挑战,尤其是在如何达到与移动互联网特点相匹配的业务质量和用户体验质量等方面。中国移动网络承载了各种各样的数据业务,这些业务在不同场景中的时间维度和流量大小维度各不相同,针对这些业务质量的特征将能更好地促进业务推广、提升业务质量。

  现阶段各运营商普遍缺乏统一的数据业务质量度量和评测标准。中国移动研究院在使用“沙盘雷达”系统对自有重点数据业务进行评测提升工作中,区分各个业务特点制定质量评测方法。“沙盘雷达”是一套多种自动化工具高度整合的测试系统,可根据各个业务的不同特点定制量化评测指标,极具灵活性。

  “沙盘雷达”立足于端到端用户体验的概念,从用户能够直接感知业务质量的智能终端入手,评测数据业务背后的业务系统整体性能。为了能够清晰地细分和评测业务质量水平,“沙盘雷达”主要考量数据业务的KQI (Key Quality Indicator)指标,包括了用户使用体验在业务运营层面反映的指标、业务使用中直接测得的指标、以及通过统计分析算出的指标。

  具体而言,“沙盘雷达”评测系统为中国移动自有数据业务制定了三方面的业务质量指标:业务性能,业务稳定性,功耗。每个方面又进一步细分为直接关系到业务使用体验水平的多个维度。其中对用户操作业务影响最为重要的有业务操作响应时延指标、业务运行消耗流量指标、业务操作成功率指标、业务运行功耗等等。

测试维度

举例

速度

时延

如客户端启动时延、业务登录时延、消息时延、异网切换时延等

传输速率

如页面加载速率、业务上传/下载速率等

触控

如滑动时延、滑动跟随感等

稳定性

成功率

如异常掉线率、消息丢失率、文件传输成功率、在线升级成功率等

大数据量能力

如最大用户数下的各种操作时延、接收大量并发消息时的时延和稳定性等

长期使用体验

MTBF平均无故障时间测试、MTTF随机性压力测试、长期运行后的流量变化等

资源占用

功耗

如业务运行功耗、业务后台待机功耗等

流量

如业务运行时所用流量等

系统资源

如业务运行中内存消耗、CPU占用率等

  “沙盘雷达”作为一套高度自动化运行的评测系统,能够针对所有指标维度涉及的关键指标执行客观、准确的自动化测试。对于测试所得的结果数据,“沙盘雷达”还制定了一套评分体系。以目标指标值为依据,被评测业务的结果数据按照达标程度以及与目标指标值的差距来计算得分,反映被测数据业务总体是否符合预期目标;以对标竞品的实测结果为参照,被评测业务的结果数据按照与竞品结果的差距来度量,反映被测数据业务和竞品间的总体差距,并以雷达图的形式来展示。

  选取主流竞品对标,面向不同业务制定详细评测指标,通过测试结果直观反映业务质量水平与差距,这就是“沙盘雷达”评测系统为中国移动数据业务质量提升工作保驾护航的价值所在。

版权声明:本文出自 cmriqa 的51Testing软件测试博客:http://www.51testing.com/?489136

原创作品,转载时请务必以超链接形式标明本文原始出处、作者信息和本声明,否则将追究法律责任。

《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号