不可缺少的评测方案-主观性能感知评测!

发表于:2020-6-10 10:50

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:丁海波    来源:搜狗测试

  前言
  性能评测一般输出的数据是各种性能指标,虽然性能指标的好坏代表了APP性能的优劣,但使用者是用户,所以在各项性能指标处于优势时,并不代表给用户的体验就是好的,这就需要增加一种面向用户体验的评测,我们称之为“主观性能感知评测”。
  该评测选取主要使用场景,由人工操作与竞品对比,根据执行人员的主观感受来评测应用的流畅度,下面来介绍一下如何制定主观性能评测方案。
  APP选取
  1.横向选择:选取APP所在类别前2名的APP来比较,如果评测APP已在类别排到前2名,需要排除后进行选取,以浏览器为例,用户占比前2名为QQ浏览器和UC浏览器,故选取QQ浏览器和UC浏览器进行横向对比;
  2.纵向选择:选取当前的测试版本及线上版本进行对比,主要测试当前测试版本相对线上版是否有所提升或者是否有所衰退;
  Case选取
  由于APP的功能很多,并不是所有功能都需要进行性能感知评测,需要提取出需要进行测试的功能与case,提取原则如下:
  1. 提取功能:以浏览器为例,主要功能为网页浏览、资讯浏览,就需要将这2个功能加入对比项;
  2. 提取case:确认功能后,需要根据功能来筛选需要进行评测case,以网页浏览和资讯浏览为例,主要功能为网页、资讯的打开、上下滑动、前进后退、多窗口浏览,根据主要功能选取case,最终选取case如下:
  制定评测标准
  由于本评测为主观性能评测,不会有详细数据输出,因此就以是否卡顿制定标准,制定标准如下:
  1.流畅:无任何卡顿感觉,使用顺畅;
  2.一般流畅:没有明显的卡顿感觉,用户难以感知;
  3.有点卡:使用过程中有轻微的卡顿感觉,用户能感知;
  4.卡顿状况很明显:使用过程中难以忍受;
  制定测试方案
  虽然不同人员执行主观评测得出的结论不同,但是还是需要统一环境,将除人工以外的部分变量定死,达到客观、公平的进行评测,所以需要制定测试方案,综上所述制定的测试方案如下:
  1.每次执行评测时,必须使用同一部手机完成,并且不能调整手机模式,例如性能模式、节能模式、分辨率等,如果有多部相同型号、相同系统的手机,在保证环境一致的情况下,也可以使用多部手机执行;
  2.每次执行评测时,网络环境需要保持一致,最好不要切换网络,如果网络情况不佳,建议更换一个稳定的网络进行评测;
  3.每次执行评测时,应用版本不能更换;
  4.每次执行评测时,执行人员不能更换;
  执行测试
  根据测试方案执行表格中的case,将测试结果填入表格,填写结果时,颜色需要与评测标准中的颜色一致,便于结果查看,执行结果表格如下:
  总结
  主观性能感知评测,在评测中是不可缺少的,能直观的反映出应用与竞品在用户使用层面的差距。在制定完第一版测试方案后,随着功能的增加,我们还要不断评估新功能是否需要加入到case中,不断的完善评测方案!

      本文内容不用于商业目的,如涉及知识产权问题,请权利人联系博为峰小编(021-64471599-8017),我们将立即处理
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号