手机大厂必会测试技能get√—CTS兼容测试

发表于:2021-6-07 09:15

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:苗条小胖    来源:51Testing软件测试网原创

  CTS测试全称为系列兼容测试(Compatibility Test Suite),CTS是为了测试手机是否符合Google定义的兼容性规范(Compatibility Definition)而设置的。
  顾名思义,CTS测试是针对谷歌系统框架(GMS)进行适配性测试的。目前正在兴起的鸿蒙操作系统(Harmony OS)可能无法完全适配。
  CTS这个兼容性测试软件测试中的兼容测试是完全不同的概念。CTS测试是针对设备的,只有通过CTS测试的设备才有可能获得Android的商标,并且享受Android Market的权限。
  由于Google系统的开源性,使得很多手机厂商基于安卓系统都做出了深度优化,从而造成了移动终端的碎片化,导致Android终端兼容性差的问题,严重影响了用户体验。所以基于谷歌服务框架进行统一验证就成为一种必须的验证性工作。
  CTS目的与意义就在于令用户在Android系统中有更好的用户体验,并且展示Android应用的优越性,使得开发者更容易编写高质量的Android程序。
  广义的CTS测试包括CTS基本测试和CTS Verifier测试两部分,后者是前者的补充,CTS检查的是API和功能,而CTS Verifier是测试在静态设备上测试无法自动测试的API和功能,例如音频质量、触摸屏、加速度计、相机等等。
  简单来说,CTS测试可以自动化,而CTS Verifier是只能手工进行测试的。

  CTS的测试原理
  CTS测试,是通过在PC端安装CTS测试套件,将被测试设备——手机,通过数据线和PC连接起来,完成测试用例的执行,并把测试结果返回给PC端。
  具体的工作流程如下图:

  这是一个完整的CTS测试流程,根据轨迹线可以看出来详细的流程。

  CTS测试环境的搭建
  需要说明的是,CTS测试是针对GMS进行的,而安卓系统是基于Linux深度修改而来,CTS测试基本上是在Linux环境中运行的,其间需要大量的Linux命令进行辅助。
  故在PC端运行环境要求最低在ubuntu 14.04以上。所以没有Linux基础的测试工程师,需要在这一环节进行之前,补齐Linux相关的知识。
  环境搭建之前,需要准备好相应的jdk、sdk、CTS测试包等,在这里需要统一选择Linux版本。另外,需要连接IPV6翻墙网络。
  接下来首先需要确认jdk和sdk的安装,Linux上的验证与Windows大同小异。如果ubuntu没有安装相关环境,则需要手动安装。

  JDK与SDK的安装
  将下载好的jdk安装包移动到/usr/lib/jvm目录下,然后再解压,解压后得到文件夹jdk1.x.x_xxx。最后设置环境变量,在.bashrc中进行配置:sudo vim ~/.bashrc。
  添加以下代码在文件末尾:
export {JAVA_HOME}=/usr/lib/jvm/jdk1.x.x_xxx
export PATH=$JAVA_HOME/bin:$PATH

  添加完成后保存退出。
  下载好sdk包,进行安装。输入sudo vim ~/.bashrc 打开.bashrc文件,并在文件末尾编辑加入以下内容:
export {ANDROID_HOME}=SDK路径
export PATH=$PATH:$ANDROID_HOME/tools
export PATH=$PATH:$ANDROID_HOME/platform-tools

  以上是jdk和sdk的配置安装。

  APE_API_KEY配置
  Google 会强制执行GMS业务逻辑(BL,Business Logic)身份验证。
  如果没有正确配置测试环境,验证失败将导致无法进行后续步骤,而要配置测试环境,需要获取密钥文件。业务逻辑身份验证会影响以下阶段的测试。
  随着系统版本不断提升,数据安全性和系统安全性的不断加强,将会有更多的测试需要进行业务逻辑身份验证。
  密钥文件,是一份json文件,可向合作的3pl实验室获取;获得后,将密钥文件拷贝到待测主机上,进入./bashrc文件添加环境变量:sudo vim ~/.bashrc,并在文件末尾添加下面代码:
export APE_API_KEY=/home/{KEY_FILE}

  配置完成后保存退出后输入source  ~/.bashrc进行更新。键入如下命令,测试环境是否配置成功:
run gts -m GtsPlacementTestCases -t com.google.android.placement.gts.DefaultIntentTest#testDefaultIntentHandlers

  提示pass则表示配置成功。

  配置USB
  将下载的USB配置文件拷贝到 /etc/udev/rule.d之下,不要修改文件名,然后执行以下命令:
sudo /etc/init.d/udev restart
adb kill-server
adb start-server
adb devices

  安装aapt
  aapt是Android Asset Packaging Tool的缩写,在SDK的build-tools目录下。
  该工具可以查看、创建和更新ZIP格式的文档附件(zip, jar, apk)。在CTS测试中,需要用sudo apt-get install aapt来进行安装。
  以上配置全部完成后,PC端的CTS环境配置就全部结束了。接下来需要对被测设备进行环境配置与搭建。安卓手机的环境配置内容来自于官网翻译。

  安卓设备设置
  工厂数据重置设备:设置>备份和重置>出厂设置复位
  警告:这将清除设备中的所有用户数据。
  将设备的语言设置为英语(美国):设置>语言和输入>语言。
  如果设备上有GPS或Wi-Fi /蜂窝网络功能,请打开位置设置:设置>位置>开。
  连接到支持IPv6的Wi-Fi网络,可以将被测设备(DUT)视为隔离客户端(请参阅上面的物理环境部分),并具有Internet连接:设置> Wi-Fi。
  确保设备上没有设置锁定模式或密码:设置>安全性>屏幕锁定>无。
  在设备上启用USB调试:设置>开发人员选项> USB调试。 注意:在Android 4.2及更高版本上,默认情况下隐藏开发人员选项。
  要使它们可用,请转到设置>关于手机,然后点击构建号码7次。返回上一个屏幕以查找开发人员选项。有关其他详细信息,请参阅启用设备上开发人员选项。
  确保时间设置为12小时格式:设置>日期和时间>使用24小时格式>关闭。
  选择:设置>开发人员选项>保持清醒>打开。
  选择:设置>开发人员选项>允许模拟位置>打开。
  注意:此模拟位置设置仅适用于Android 5.x和4.4.x.
  选择:设置>开发人员选项>通过USB验证应用程序>关闭。
  注意: Android 4.2中需要验证应用步骤。
  启动浏览器并关闭任何启动/设置屏幕。
  连接用于使用USB电缆测试设备的台式机。
  注意:将运行Android 4.2.2或更高版本的设备连接到计算机时,系统会显示一个对话框,询问是否接受允许通过此计算机进行调试的RSA密钥。选择允许USB调试。
  在设备上安装和配置帮助应用程序。
  注意:对于CTS版本2.1 R2至4.2 R4,请设置您的设备(或仿真器)以运行辅助功能测试
adb install -r android-cts/repository/testcases/CtsDelegatingAccessibilityService.apk

  在设备上,启用:设置>辅助功能>辅助功能>委托辅助功能服务。
  注意:对于7.0之前的CTS版本,在声明的设备上。
  android.software.device_admin,将您的设备设置为运行设备管理测试:
adb install -r android-cts/repository/testcases/CtsDeviceAdmin.apk

  在设置>安全>选择设备管理员,启用两个 android.deviceadmin.cts.CtsDeviceAdminReceiver*设备管理员。确保 android.deviceadmin.cts.CtsDeviceAdminDeactivatedReceiver和任何其他预装设备管理员保持禁用。
  将CTS媒体文件复制到设备,如下所示:
  注意:对于CTS 2.3 R12及更高版本,如果设备支持视频编解码器,则必须将CTS媒体文件复制到设备。
  cd到媒体文件下载并解压缩到的路径。更改文件权限: chmod u+x copy_media.sh ,然后运行:copy_media.sh.
  要将剪辑复制到720x480的分辨率,请运行: ./copy_media.sh 720x480
  如果您不确定最大分辨率,请尝试./copy_media.sh all复制所有文件。
  如果adb下有多个设备,请将-s(serial)选项添加到末尾。
  例如,要使用串行1234567将设备复制到720x480,请运行:./copy_media.sh 720x480 -s 1234567
  通过以上步骤,完成CTS环境的PC端和被测设备端的环境配置。

  执行测试
  整体测试
  进入/android-cts/tools,打开终端,用adb devices查看手机是否连接成功,如手机已连上,输入./ cts-tradefed进入测试环境。
  当前没有提示错误的情况下,可以输入测试命令进行整体测试:run cts –-plan CTS。
  因为是全量测试,整个测试过程持续时间较长,测试完成以后自动生成结果报告和Log,结果报告位于android-cts/repository/results目录下,用浏览器打开testResult.xml 即可看到测试结果。
  Log位于android-cts/repository/logs目录下。
  任何测试设备,都至少要在通过最后测试,出具通过认证证明之前,完整地运行过两次整体测试。

  分项测试
  由于整体测试过程中有时候会由于网络差等因素造成某些测试项fail,我们需要对这些fail项进行单独的测试。
  可通过运行run cts –c CName –m MName进行单项测试(CName表示类名,MName表示方法名)
  对某一个fail项进行单项测试可执行如下命令:
run cts -c libcore.java.net.InetAddressTest -m test_getByname

  单独测试某个类,可以使用命令:run cts –c {CName},{CName}为类名。
  单独测试某个包,可以使用命令:run cts –c {PName},{PName}为类名。
  在这里需要注意的是:单独进行分项测试时,必须输入类名全路径。
  单项测试生成的是单独的测试报告,如果需要将其合并入完整报告,可将完整报告testResult.xml中的fail的替换成notExecuted。
  然后运行run cts –continue-session session_ID, session_ID为完整测试的ID,可通过l r查看,如果要将Session 0的fail项融进整体报告,可使用命令:run cts –continue-session 0。
  为了排除环境等其他因素的影响,单项测试请至少测试3次,以消除干扰因素。

  错误分析及提交报告
  错误项的分类
  测试报告的失败项分为两类:一类是可以搁置的,这一类失败项是谷歌框架和安卓系统自身的原因,经谷歌同意可以不用处理的项。另一类是需要进行分析修复的。
  关于可以搁置的选项,可以搁置的选项一般会有一个表格维护,这个表格会不定时更新,可到谷歌官网进行查阅。

  报告提交
  提交正式报告前需检查一下Root Processes,去掉不必要的信息,突出显示通过测试报告的结论即可。
  以上是CTS所有测试的大致步骤和流程,考虑到这是一个较为高阶和整体的测试,其中的部分细节针对不同的软件版本和硬件差异会有不同,而且CTS测试在软件测试过程中所占的份额并不大,故适合高级测试工程师或专门的CTS测试工程师进行研究。

      版权声明:本文出自51Testing会员投稿,51Testing软件测试网及相关内容提供者拥有内容的全部版权,未经明确的书面许可,任何人或单位不得对本网站内容复制、转载或进行镜像,否则将追究法律责任。
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号