百度智能测试在测试自动生成领域的探索

发表于:2022-7-21 09:38

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:百度    来源:掘金

  测试自动生成,通过将数据、算法、工程等相关技术有机结合,在测试输入阶段自动实现“高覆盖、高仿真、全校验”的揭错集合,一般包含测试数据生成、测试用例生成、动作集生成、测试断言生成等方面,在学术界和工业界均有非常优秀的研究和实践。方法论上一般包含基于控制流图、基于数据建模或两者结合的方式。本章节将从多个实践的角度,介绍相关领域的目标、思路、涉及到的技术点、效果,希望能给到大家一定参考。
  01基于AST的异常单测用例生成技术揭秘
  代码级用例自动生成用于解决RD写单测困难、耗时等问题,探索一种可以根据代码结构、代码信息自动生成单元测试代码的方法。
  基于AST的代码级异常单测用例生成技术是一种近代码感知问题的测试手段,其核心技术包括代码理解、用例数据生成、用例驱动代码生成。
  代码理解环节通过静态代码扫描的手段,将代码语言抽象成结构化的函数特征数据,特征数据包含:函数调用方式、变量声明和赋值方式、变量关系、变量字面值、mock点等信息。
  用例数据生成环节,基础数据源包括边界值、随机值、变异值、代码字面值和函数插桩参数值以及一些业务自定义的数据。为了避免用例爆炸,在传统的基于生成法构造用例数据的基础上,除了被测目标接口协议外,结合了高风险变量选择、路径选择、符号执行以及基于搜索的生成算法(例如采用遗传算法,通过适应度公式来评估用例质量好坏)来指导用例数据的生成,保证用例集覆盖更多分支下的代码逻辑,结合覆盖率和问题堆栈信息,反哺用例生成算法,降低对无效用例的生成,在有限测试成本下生成更有价值的用例,保证揭错能力。
  用例驱动代码生成环节,依托多语言多测试模板如(gtest语法要求)建立生成算子集,基于代码结构化数据和用例数据,调用不同的生成算子,结合智能mock生成算子,生成可编译执行的测试用例代码。
  现已具备C++/GO/OC三种语言的用例生成能力,召回1000+异常(core、死循环、panic)等问题。
  02接口级用例自动生成
  接口用例自动生成,主要是针对服务接口级自动生成API请求来代替人工写用例的场景,解决人写用例不完备、工作量大等问题。
  接口api一直具有良好的可测性,在各大场景下面,都有相关自动化接口测试的应用,但是使用的越来越多,也会出现新的挑战。比如case的人力成本,因为要持续添加新的case测试,还要持续维护老旧case,所以针对case这边的人力维护成本也越来越高;自动化case的质量,有可能写了很多case,但是压根就没有多少是有用的,或者无法辨别case质量,越积愈多,无法维护。所以针对以上问题,提出接口用例的智能自动生成,主要是思路就是根据定义好的接口格式,包括api定义管理工具,业务系统日志,截包等等,都可以拿到各个接口标准的定义,然后加上人工梳理的理解,对一些字段进行一些条件限制,最终可以通过接口的定义和限制条件,自动智能的生成批量的测试case,可以快速的进行接口契约测试和回归测试。除了接口用例自动生成,在接口的断言也做了自动智能化的升级,主要的思路就是根据历史case的运行结果,首先可以自动判断后续所有case的返回接口体一致,不会出现结构嵌套的问题。再进一步,也可以根据历史接口返回各个字段的值的特点,自动智能的生成针对每个value值的断言,快速判断接口是否有异常。目前接口智能化生成的case有2w+,占整体case量级的80%以上。
  03UI浅交互用例自动生成
  UI自动化测试可以实现端到端测试,对业务功能进行回归验证,大大提高测试效率。目前该领域存在明显局限性:1、用例书写成本高;2、用例召回能力弱;3、用例维护成本大。但有部分业务UI交互并不复杂,如在关注展现样式或浅交互功能的产品中,一方面,QA需要对数百上千条数据驱动下的页面进行样式校验;另一方面,需要对页面里数十个元素的操作交互进行验证,我们尝试用视觉技术解决此类用例生成用于代替人工。
  UI浅交互case生成技术工作,具体包括离线数据挖掘模块和实时任务执行模块:在数据挖掘环节,操作的对象是线上基线产品,我们使用DNNObjectDetection技术,训练生成控件级和页面级分类和回归任务模型,进而利用mine技术录制页面关键Dom元素的探索操作,生成带有上下文语景的操作序列,最后把这些action和pic作为生成的用例步骤;接着在real-time任务执行环节,对线下提测模块进行路径回放,并进行ui-diff视觉技术校验,来进行case的回归验证测试。
  整套UI用例浅交互生成机制,可以生成低成本、高召回的自动化case,目前该技术在共覆盖多个产品线,发现有效问题16个,在某业务的前置准入流水线,生成1000+case,试用阶段,已召回3例问题。
  04GUI遍历动作集自动生成
  前面介绍的均是代码、接口、UI层面的生成技术,本段解决的是动作集自动生成,此类场景在UI遍历、巡检、monkey有非常广泛的应用,即如何探索出一套高效的拟人化遍历解决方案。
  GUI遍历动作集自动生成,核心是在平衡资源与收益前提下,自动生成覆盖率和问题露出率高的动作集。GUI动作集是指向移动真机或模拟器发送的一系列随机的用户事件流(如按键操作、触摸屏操作、手势输入等),是模拟真实用户的点击、滑动、输入等操作的集合。核心点在于更快(相同的召回率,耗时更少)、更多(相同的操作次数,覆盖率更高)、更准(相同的机器时长,增量覆盖率更高);传统Monkey随机遍历,速度极快但无效操作多资源消耗大,较为智能的做法是基于控件的加权遍历方法,该方法将页面结构提取成控件树,并对这些控件基于属性、历史操作情况等赋予不同权重,最后将页面抽象为“点”,控件抽象为“边”,这样将动作集的生成转化成对有向有环图的遍历问题;这种遍历没有场景对照,且图中存在大量环路极易陷入局部循环,需要在遍历过程中给一定的反馈辅助动作集走出死循环,对此引入基于Deep-Q-Learning的智能遍历,以能否进入新的页面作为激励,遍历过程有反馈,并且结合业务加入多种场景,让动作集的生成在反馈机制下自探索自学习,并进一步引入拟人化的思想,通过激励和惩罚机制使得动作集具有一定的逻辑性。与纯随机相比,相同时间内,智能遍历覆盖率提升33%,相同覆盖率,智能遍历缩短75%的测试时间。
  05前端用例自动生成断言
  撰写测试断言存在不规范、工作量大、不完整等问题,导致很多本该召回的问题未及时报警,本阶段就是为了解决此类问题。
  测试断言用于检查被测系统行为的正确性,即通过向被测系统提供输入,并以预期的输出评估结果来处理生成结果是否正确。在前端自动化领域,大量手工测试行为被自动化代替,自动化用例又逐渐趋向于自动生成。如何有效判断执行是否符合预期?关键点在于如何自动地生成完备、合格的断言。主要思路,一是有参照召回,即以历史版本或某机型的当前版本作为正确的参照,将被测版本与正确版本进行对比;二是无参照召回,即预先提取明显问题的特征,检查用例执行后是否命中,如白屏、乱码。在百度的实践中,我们加入了多层级页面理解和特征提取算法,来解决多设备版本的相对位置不同、复杂页面难以识别等问题,实现了端到端的立体校验。目前日均运行数十万次,策略准确率达到97%+,拦截bug2000+个。
  本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号