神马是“站在用户体验角度”的平均无故障运行时间（MTBF）测试

2010年5月，以确保用户体验为核心，研究院在OPhone终端专项测试中正式引入稳定性测试——MTBF（Mean Time Between Failure，平均无故障时间）测试。MTBF测试的目标是基于自动化工具，模拟用户日常使用行为，将“一切影响用户体验”的反应均视为失败项（而不是简单地以死机、重启等严重问题作为失败项），确保用户长时间无障碍使用OPhone终端。

　　什么是MTBF测试

　　其测试方法为：一、依靠自动化测试工具，5台被测终端，在7天时间内，针对终端的35个主要功能点（涵盖语音呼叫、短彩信发送、浏览器上网及下载等常见用户操作），进行重复压力测试，并记录故障现象。二、MTBF值=运行测试终端总时间/运行期间发生异常次数，异常包括：死机、重启、脱网、功能点失败（例如语音呼叫失败、短彩信发送失败等）、应用程序无响应或强制关闭等所有“用户认为不正常”的状态（网络原因导致的除外）。只有最终MTBF值大于等于200小时的终端产品才能被认定为通过测试。

　　MTBF提升了TD终端的质量

　　这一近乎于“苛刻”的测试在推行初期困难重重，当时所有OPhone1.5终端最高只有40多小时的平均无故障运行时间，而这个数字已经是当时所有TD智能手机所能达到的极限了。但经过几个月坚持不懈的努力，终端厂商逐渐认识到该测试对于其产品质量提升的巨大作用，配合力度不断加大，而OPhone终端的MTBF数字也一路攀升，以Samsung GT-i9008和Moto MT810为代表的OPhone2.0终端的MTBF已经突破200小时，而目前包含集采产品在内的大量OPhone2.5终端也基本达到了300小时的水平。

图1  三星i9008和MOTO MT810

　　高效、科学

　　MTBF测试采用自动化测试方式进行，测试过程可以做到无人值守，因此测试效率非常高，而且连续长时间的运行可以给终端的软硬件系统造成较大的测试压力，相比传统手动测试方式可以极大的增加发现终端问题的概率。例如，在MTBF测试周期中，一款被测终端要累计进行近万次主叫通话，在如此大的压力下，产品在语音通话方面的瑕疵是很容易被暴露出来的。同时MTBF测试过程中可以随时记录终端的AP侧和CP侧的运行日志，一旦发生问题，尤其是不易复现的随机问题，这些日志都能为问题定位和问题修复提供足够的依据。同时，MTBF测试时间段固定，测试地点固定，如有需要网络侧配合鉴定的问题，网络侧也可非常方便的对网络设备的信令进行跟踪，这也很好的提高了对终端侧和网络侧不易界定的问题的解决概率。另外，随着OPhone专项测试的不断进行，众多产品的MTBF测试结果已经成为宝贵的产品质量数据库，很多看似普通、容易被忽视的问题在经过对比分析后往往能被准确的捕捉出来。