TotT
Testing on the Toilet,在Google各个办公室的厕所,你会发现墙上经常贴着各种文档,这个是Google专有的厕所文化。
文档一般是各个产品使用工具或做测试的例子,目的是吸引所有工程师做更多的测试,这个文化被Google离职工程师带到了百度,可惜他们太懒了没有把页首和页眉去掉,模板也改改吧,当然他们加了一个像框,Google就张纸贴在墙上。
四、工具
从上面可以看出,搜索产品一般是一周一发布的频率(称为Weekly Push),测试人员除了做常规的RC测试,还需要了解新功能的需求、提早介入新功能测试、编写测试计划和测试用例,和开发人员协作提高代码质量,那么时间有限,提高效率就需要工具的帮助,下面介绍一些使用到的工具或策略。
1、Clearsilver Diff Tool
我们知道测试里面的“二八原则”,很多新的功能会发现大量的bug,同时在旧功能也会发现由于新功能或是代码修改引入的bug。
通过Diff工具,我们可以了解新版本和上一版本的区别,更利于测试资源的分配,关注修改部分的质量,而原有功能模块的质量通过自动化来做回归测试。
2、Selenium UI Automation
UI的自动化,其实解决的更多是各个浏览器上的功能测试,界面的测试还是需要通过人来查看,当然也可以通过UI自动化截取图片,运行完成后统一查看。在搜索产品中有个原则,由于UI的频繁变更,推荐UI的自动化率一般达到30%即可,太多了对于维护是个很大的成本。
3、Data Comparison Tool
数据比较工具,在财经搜索中使用,因为财经产品有些特殊,数据来源是第三方提供后解析保存到Google的数据库,而不像其他产品都是爬虫爬取的,使用这工具可以和其他流行的财经网站做数据对比。
提到数据的准确性,除了各个产品团队对关键字的结果进行对比,Google还有专门的搜索质量团队。
4、Lflip
内部工具,通过此工具,可以将TestScribe中的每条测试用例都嵌在Iframe中自动运行,不过每个测试用例都需要指定运行环境的URL。
5、Puppet
搜索产品中大量使用的基于JS的冒烟测试工具,在产品编译后执行,可以提前发现问题。
6、Statix
性能测试工具,支持Jmeter的JMX文件,通常运用在每周发布后的回归性能测试上,自动生成Dashboard,可以和上一周版本对比。