常见智能设备稳定性测试的质量标准

发表于:2020-4-08 11:03

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:软件测试艺术    来源:软件测试艺术

  智能设备(如手机、手表)在整个项目中有一个最重要的测试项,那就是稳定性测试。我们都知道压力测试,但是稳定性又不完全等同于压力测试。压力测试侧重于单个模块测试次数压力,不考虑测试设备数量,而稳定性测试测试所有重要模块一起长时间的循环测试,并且测试的设备数量非常多,基本都是几百台连续5~7*24小时的压力测试。
  这还是常规的软件测试过程中的稳定性测试,而产线安排的稳定性测试使用的机器更多,达到几千台的规模。在项目量产前必须有达到一定规模的稳定性测试。
  经过长时间的稳定性测试,可以发现一些非常低概率的问题,减少到达用户后出现一些千奇百怪的问题,影响用户体验,严重的遭到用户退机和投诉。
  任何测试都必须有质量目标(也即准入准出标准),什么阶段达到什么目标,稳定性也不例外。稳定性测试主要关注如死机、重启、冻屏、上层应用Crash、无法开机等问题,质量目标中的问题也即统计这些。下面说一说常见的稳定性质量目标。
  百万分之缺陷率(PPM:parts per million)就是每一百万个产品中会出现问题的设备统计标准。计算公式为:
  PPM= (问题数* 100,0000 )/ 测试时长 / 测试设备数量
  如使用200台设备进行5*24小时的稳定性测试,一共发现3个问题,则PPM的值为125,计算方式为3*1000000/120/200。
  这个时候我们在不同的测试阶段可以制定不同的PPM作为不同阶段的准入准出标准。
  该项标准也经常用于产品生产过程中的不良率统计,例如汽车、零部件等。
  千小时故障率,就是将规定好的测试时长中出现的问题转化为千小时出现的故障率,主要的难点在于怎么统计测试时长,同时需要规定统计的问题类型。例如可以将常规功能测试、压力测试、Beta用户试用等测试向所有时间、所发现的问题数进行统计。
  例如在测试第一个阶段,所有测试市场有20000小时,统计的周期是1个月,出现了问题70个问题(统计范围内的问题,这个需要前期就确定好),则转化为千小时故障率值为3.5(70/20000,然后将分母转化为1000即可,即3.5/1000,最终千小时故障率的值就是3.5)。
  同PPM的值一样,不同的阶段设定不同的值即可,这种方式主要用户最后的量产质量目标,因为在接近量产时问题数比较少。
  一般我们的智能设备厂商都进行了埋点信息的收集,简单的理解就是你点击了哪个按钮,经常打开什么应用,出现了什么问题,后台都会上报到服务器中,然后厂家会进行大数据分析和解决。你们看到的问题现象只是做了界面处理而已。
  该种方式也经常运用于汽车、飞机和各种产品运行时长的统计,值越小说明稳定性越好。
  另一种简单的统计方式就是平均故障间隔时间(MTBF,Mean Time Between Failure)的统计方式了,类似于PPM的统计方式,就是使用总测试时长/问题数,然后得到一个值,这个值一般比较大,该种方式统计的方式适用于测试设备和测试时间比较少的情况。
  MTBF值 = 总测试时长 / 问题数
  例如投入了50台机器,测试了24小时,一共是1200小时,如果MTBF的目标是1200的时候则只能出现1个问题,出现了2个问题则不合格。
  最后还有一种不常用统计方式就是LTR(Load Test Runner),该种统计方式会对稳定性测试过程中的问题进行打分,例如非常严重的问题如死机、重启、冻屏、无法开机为1分,上层应用Crash为0.2分,ANR为0.1分,同一台机器同样的问题只计算一次。LTR值也是使用总的测试时长/ 总分数,然后得到一个值(不足1分的情况按1分计算),这种情况适用于比较少的机器,测试时间比较长的情况,相对于MTBF质量目标比较低,MTBF是所有的问题都是1分,而LTR更关注于严重问题。
  以上都是统计智能设备稳定性的质量目标统计方式,不同的统计方式侧重点不一样而已,具体的产品和业务适用于何种统计方式根据具体的情况决定。

       本文内容不用于商业目的,如涉及知识产权问题,请权利人联系博为峰小编(021-64471599-8017),我们将立即处理
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号