7.2 协议一致性测试
7.2.1 协议一致性测试的基本概念
协议测试通常是在软件测试基础上产生的一种黑盒测试,主要是根据协议标准,通过检测协议实现外部行为,对其进行评价。一般可分为以下四种测试:
● 协议一致性测试,检测实现的系统与标准协议符合的程度;
● 协议性能测试,检测协议实体或系统的性能指标;
● 协议互操作性测试,检测同一协议在不同实现版本之间的互通、互连和互操作性能力;
● 协议健壮性测试,检测协议实体或系统在各种恶劣环境下运行的能力。
ETSI的ISO/IEC9646定义的协议一致性测试的方法如图7.4所示:
图7.4 协议一致性测试的方法
一致性测试是用来确认设备是否符合对其功能要求方面的规范或协议的测试过程,一致性测试标准包括3个部分:抽象测试集(ATS)、协议实现一致性说明(PICS)和协议实施附加信息(PIXIT)。可执行测试集(ETS)是在以上3部分的基础上生成的。
协议一致性测试的主要步骤如下:
(1)根据协议规范,研究协议规范每个特性,并为每个特性编写测试目的;
(2)把每个测试目的转化为抽象测试用例。覆盖协议规范所有特性的多个测试用例集合则构成了该协议规范的抽象测试集;
(3)生成PICS/PIXIT。PICS用来说明实施的要求、能力及可选项实施的情况,PIXIT用来提供测试时必须标明的协议参数;
(4)确定测试方法,针对不同的IUT,即测试实现,用户应该采用不同的测试方法;
(5)根据PICS/PIXIT和测试目的编写测试用例,生成ETS;
(6)使用生成的ETS测试IUT;
(7)根据测试结果生成PTCR。
协议一致性测试的工作包括两部分:一部分是ETSI的工作,另一部分是非ETSI的工作。
ETSI的工作包括以下三项:
● 根据基本协议提供以自然语言描述的测试套件结构和测试目的;
● 根据测试套件结构和测试目的生成以TTCN3语言描述的抽象测试套;
● 提供PICS和PIXIT的格式。
非ETSI的工作有以下三项:
● 测试工具开发商将抽象测试套件实现为可执行的测试套件的工作;
● 由被测提供商和测试实验室填写PICS和PIXIT;
● 测试实验室对测试环境的配置、对IUT进行测试、分析测试结果并最终生成协议一致性测试报告。
协议一致性测试和射频一致性测试是其中最复杂也最重要的部分,协议一致性测试属于软件测试的范畴,在一定的网络环境下,对被测协议实现(IUT)进行黑盒测试,通过比较IUT的实际输出与预期输出的异同,判定IUT在多大程度上与协议描述相一致,从而确立通过一致性测试的IUT在互连时成功率的高低。实际上,2G系统同样需要进行一致性测试,3G系统则因相对于2G系统来说更加复杂,而使得一致性测试显得更加重要。
(未完,精彩待续)
本文选自《51Testing软件测试作品系列》之五的《手机软件测试最佳实践》。
本站经电子工业出版社和作者的授权,近期将进行部分章节的连载,敬请期待!
版权声明:51Testing软件测试网获电子工业出版社和作者授权连载本书部分章节。
任何个人或单位未获得明确的书面许可,不得对本文内容复制、转载或进行镜像,否则将追究法律责任。
相关阅读: