测试,我能走多远?~

发布新日志

  • hopper测试介绍

    2007-02-27 13:12:23

    【摘要】 进行wince/winmobile系统智能手机测试时,其中最重要的一项就是hopper测试,也叫MTTF测试,本文就有关问题将给予详细介绍。

     

    【关键词】  hopperMTTF

              

    一、认识hopper

    Hopper test听起来很神秘,那么究竟什么是hopper呢?

    实际上,Hopper就是一个可执行文件——hopper.exe,该文件是可以在PPC/SPWindows嵌入式操作系统上自动运行的一个可执行文件。

    Hopper test正式的说法为MTTF TestMean Time To Failure Test,即平均失败时间测试,或称平均无故障时间测试,也有人将其称为压力测试(stress test)、稳定性测试(Stability test)、可靠性测试(Reliability Test),总之,hopper就是一个测试系统的稳定性和可靠性的一个自动化测试工具。

    二、Hopper测试

    Hopper运行后会不间断的无规律的快速地对被测设备执行一系列的操作,如按键/运行程序/数据输入等,1分钟内hopper执行的动作可超过80个。

    hopper测试的内容包括:

    1.应用程序,如Media playerMobile WordMobile Excelwindows自带的应用程序或者第三方软件

    2.菜单项,Hopper会对菜单项进行一些打开关闭等任意操作;

    3.UI(用户界面);

    4.数据输入,如电话号码输入、电话薄创建、任务创建等;

    5.驱动部分。

    总之,hopper测试为完全任意性,触角可以伸到系统的任何部分,进行hopper测试时,可以选择以下两种方式:一、连接KITL进行测试;二、独立设备测试。

    每种方式各有自己的优缺点,使用KITL时可以对运行状态进行查看、控制等,通过进行有关参数设置来改变hopper运行状态,KITL是进行debug的最佳选择。

    独立设备测试的好处在于测试出的结果比较准确。缺点就是不便于状态的跟踪、问题的分析。在此,我们使用使用第二种方式进行进行测试。

     

    Stabilization

    发现并修改一些影响到系统集成后稳定性的问题。         退出标准: 25小时

    Integration

    集成所有应用程序测试系统的稳定性.退出标准: 达到25小时

    Core

    验证核心组件如射频、拨号及其他基本程序的稳定性.退出标准:达到25小时

    Base Line

    验证平台驱动和基本系统组件的稳定性.
    退出标准:达到25小时

    上图为开发阶段运行Hopper测试示意图。由上图知,hopper测试贯穿整个软件开发整个过程。

    Notes

    1.关于通过KITL连接使用hopper中涉及到很多方面,如参数的设置等,本文未进行相关介绍;

    2.hopper运行的时候,也可以手动参与进行测试,如进行有关按键,同样这些按键也为有效操作。

     

    三、关于logger

    hopper对应的有一个logger.exe文件,logger的作用是记录hopper运行时一些信息,以便开发人员查看有关记录,分析失败原因。Loggerhopper往往是一起使用。

    Logger的使用是将logger.exe文件拷贝到被测设备上,然后运行该文件,然后运行hopperlogger所产生的信息就会自动生成一个debug.txt文本。Debug文本是一个很大的文件,运行hopper一天所生成的debug.txt文件大约有60M,因此在运行logger时应将debug文件存放在外置存储卡上,这样避免出现内存不足的问题。

    *开发人员可以将文件拷贝到PC上进行查看、分析。实际上本工具也很少使用,其记录信息没有多大价值。

     

     

    四、hopper计算

    微软对hopper测试的时间问题有两个要求,一个是平均时间,一个是中值时间,平均时间要求超过20个小时,中值时间要求达到25小时,二者需同时通过才能满足微软要求。

    NSTL在进行CIT测试时,共做10台机器10casehopper测试,如果运行时间超过25个小时,则按照25个小时计算,否则按照实际运行时间计算。

    平均时间就是10台机器的运行时间加总除10.

    中值时间:10个测试结果按照时间从短到长的顺序排列,取中间两个case,56的时间的平均,这样得到的值既为中值时间。

     

        为了测试结果更可靠、准确,我们在测试过程中可以多些case

     

    五、其他工具

     

    为避免在进行hopper测试时拨出一些紧急号码,微软开发了以下相关工具:dialrequest.dll, noemesetup.exe and restoreEME.lnk.

    使用dialrequest.dll, noemesetup.exe可以跳过紧急号码拨叫,用restoreEME.lnk可以恢复(呼叫)。

    使用时,先将设备重新启动,然后将dialrequest.dll, noemesetup.exe拷贝到被测设备\Windows 文件夹中,运行noemesetup.exe文件,10s内有关系统配置将生效,之后无法进行紧急号码呼叫。

    恢复时将restoreEME.lnk文件拷贝到\Windows\Start Menu\Accessories\ folder中,然后选择运行它,10s内可以恢复,之后又可以进行紧急号码呼叫。

     

    Notes:对设备进行恢复也可以通过reflashing or clean registry进行。这些工具在实际测试中很少用到,在此仅做了解。

     

     

    六、注意事项

    1.Hopper执行的时间应该从程序可以跑起来的时候就执行,执行的越早,发现问题越早,解决问题越容易,否则到后期等系统功能等都实现的时候发现问题,再去解决,所耗费的时间、精力会大得多得多。

    2.Hopper测试应从系统可以跑起来一直到RTM整个开发过程,如果在后期测试发现发现有问题,应逐个模块的关闭来分析造成问题的原因,如关闭Radio可以避开Radio的影响;

    3.测试时最好不加入第三方软件,首先确保系统本身的无问题,然后再逐渐加入第三方软件进行集成测试、系统稳定性测试;

    4.不要在连接USB的情况下进行测试,这样会破坏PCoutlook等数据;

    5.不要使用有效的SIM卡进行测试,以免hopper拨出号码,造成不必要的影响;

    6.运行时不要存储有关数据,hopper测试可能是破坏性的,以免破坏有关数据,进行hopper测试时最好将有文件进行备分,重新启动系统两遍再测,最好是恢复出厂值后再进行测试!

     7.在测试时要接入充电器,以免测试中途电池电量不足自动关机。

  • Windows Mobile logo测试介绍

    2007-02-27 13:08:29

     
    【摘要】本文围绕Windows Mobile 系统下的logo认证测试做了下简单介绍,让读者对有关测试有个感性认识,详细情况,以后有机会另行撰文详细介绍。

     

    【关键词】Windows Mobilelogo测试、LTKCETK

     

    一、Windows Mobile简介

    Windows Mobile是微软主要针对手机市场而推出的一种操作系统,改系统和Nokia Sybian系统一样把手机推向了智能化。丰富的功能以及强大的品牌优势让这一系统逐渐被一些手机开发商采用。

    Windows Mobile系统Windows CE系统的一个分支,Windows mobile是建立在CE系统之上的。Windows Mobile 将熟悉的 Windows 桌面扩展到了个人设备中。这对于用户的使用上更加容易。

    Windows Mobile平台下的产品主要有SmartphonePPC两种。

    Window系统的优势所在:

    参考BSP(板支持包)—
    Windows Mobile
    提供一些针对不同硬件平台的参考BSP,这样可以缩短OEM/ODM开发周期,加快产品上市步伐,提高产品市场竞争力。

    支持很多硬件设备—SDRAMNAND/NOR FlashUSB,,PCI,PCMCIA/CF插槽

    通讯功能—WI-FI、红外,蓝牙,802.1XGSM/GPRS/CDMA

    人机接口硬件—LCD,触摸屏,Mousekeypad

    其他—PrinterCamera

    丰富的应用软件—
    Windows Media Player
    播放软件;PDFExcelPowerPoint Image阅读软件;Pocket OutlookPocket WordPadWindows MessengerIEActiveSync同步软件;包括SMSMMS在内的电话软件
     

    CETKhopper等测试工具
    为了帮助OEM/ODM顺利地开发出产品,微软公司提供一套测试工具,开发人员在开发过程中可以用该工具测试产品的性能和稳定性。这样可以保证发布可靠的产品。

     

    微软的品牌优势丰富的开发资源MSDN技术资料及开发工具

    二、LTK简介

    微软为了保证采用Windows Mobile系统的产品质量,提供了一整套测试标准,也就是logo test kit,简称LTK.开发商要想将自己采用Windows Mobile标识的产品推向市场,那么就必须先过Windows Mobile Logo测试这一关,只有通过了Windows Logo测试后才能获得微软认可,产品才能得以上市。

    微软提供的logo test kit从产品的软件、硬件、logo表识几方面对产品提出了要求。Logo test kit实际上有是一套test case.涉及到射频、系统可靠性、电源、驱动等整个系统的多个部分。

    目前对于一些使用Windows Mobile操作系统的智能手机和PPC,在其上市之前都必须首先过logo认证这一关。目前做这方面测试认证的并不是微软公司,而是微软的一个合作公司,NSTL,具体网址见www.nstl.com,感兴趣者可以进入了解。

    三、什么是CETK?

    在实际产品开发过程中,很多开发人员不搞不清楚CETKLTK的关系。在此做有关解释,LTK实际上是一套测试用例,一套标准;CETK呢,就是进行LTK测试时使用的一套测试工具。

    从本质上讲,CETK也是一套完整的测试用例的集合,只不过每个测试用例都是一个应用程序。

    在测试过程中,CETK根据所要测试的硬件特性,其实是对应于驱动程序中的某些函数调用。因此测试用例就是调用相关的驱动程序中的函数,并通过检测函数运行结果来判断驱动程序是否正确的,在测试过重中测试人员可以修改相应参数以控制测试的运行方式。

    如果开发者使用了自己设计、或者是已有BSP中没有的设备,在测试该设备的时候,就需要测试人员根据设备的特性及驱动程序,自行编写测试用例。

我的栏目

数据统计

  • 访问量: 3362
  • 日志数: 6
  • 建立时间: 2007-02-27
  • 更新时间: 2007-04-05

RSS订阅

Open Toolbar