自动化测试?测试自动化!(前言)

上一篇 / 下一篇  2014-04-03 22:12:41

06年大学毕业。浑浑噩噩的找了个日企干了一个月java开发,直接炒掉老板回家睡觉。
后来带着自己的狗屁梦想跟着一个要创业的疯子干了俩月的视频编辑,一分钱没挣到还搭进去几百块。
在家人的压力下,也是在经济的压力下,无奈加入了自动化测试的大军中。运气很好,碰上了SE组建自动化测试团队,狗屁不会的我就这样加入了这个改变了我七年的公司。

从06年干道13年,7年的时间,我从一个团队里最年轻的新人做到老板最看重的员工。最终因为SE的战略调整离开了SE。本以为凭借自己的能力再找一份新工作完全不是问题,谁知却是处处碰壁。坐下来好好反思才发现,原来这几年,做的所谓测试,不过是水中月雾中花,自己从来没有了解过真正的测试。开发更不要提了,写了几万行代码却一直没有突破。、

7年,专注测试自动化,而非自动化测试。

06年~07年,做Fonts and Keymap以及Language Layout的自动化实现。
07年到08年,做测试结果的报表自动化实现。
08年到09年底,做Sim Server的自动化实现。
09年初到09年10月,做MTBF系统,一个自动收集手机crash信息的系统。
09年10月到11年2月,代领一个自动化测试团队做PS手机的自动化测试。case大部分都是现成的,主要做的还是实现,bug追踪,效率提升,质量提升等。
11年2月到13年7月,稳定性测试管理团队,项目经理。但是即便是这个团队,依然是专注于更多的自动化实现。通过自动化来解决时间,成本,以及质量问题。


13年9月到14年1月,加入某国企,在老板的支持下建立起完整的黑盒自动化测试体系。包括稳定性测试,系统测试,压力测试,电源测试,甚至包括一部分音频和红外编码测试。

14年1月因个人问题离职,至今待业在家。面试四处碰壁。遂开此博客,逐一反思。

言归正传。我猜51testing的大多数参与者都专注于 测试 二字,而我则更加关系自动化部分。

自动化在很多公司都在做,但是很多时候做的很盲目。自动化最大的噱头就是节省测试人力,但是事实上增加的脚本研发,工具研发要远比测试人力多得多了。

自动化能解决的问题,其实是项目管理中的三个要点中的一个或几个。
时间,成本,和质量。如果自动化不能提高这三点中的任意一点,那自动化就没有任何意义。
如果自动化可以通过提高其中的一点或两点,造成另外的一点急剧下降,那么自动化也会变得没有意义。

举例子。
Fonts and keymap项目是一个典型的例子。
F&K测试是用来检测手机中各种语言的正确性的,比如在英文输入法中,按一下手机键盘上的2键,手机上应该打出来a,两下打出来b,三下打出来c。换成希腊语的时候,打出来的东西就会有所不同。

最早这个测试在SE需要六名测试工程师来共同完成。通过人眼来对比手机的显示结果与需求是否相符。因为需要手按,一个工程师一次只能按一台手机,所以效率相对低下。

F&K自动化测试的逻辑就不详细说了,只能说当时通过F&K自动化后,SE只需要一名脚本工程师和一名测试工程师就可以完成所有产品的测试任务。而且,自动化测试发现了一些测试工程师没有发现的bug(例如一些俄文/阿拉伯文的错误)。同时,因为PC支持多台手机同时测试,而且支持24小时测试,从而大大缩短了测试时间。


F&K的自动化测试实现大概花了4周的时间。而最终在测试成本,测试质量和测试时间上均有优化。可以说是一个一举多得的事情。

再举一个反例,来源于F&K后的一个项目。当时我的TL要求我研发一套自动化case,来完成多媒体的播放正确性验证。
这件事儿被我拒绝了。因为到现在为止,手机UI层面的多媒体几乎就是自动化测试的禁区。在09年,甚至于找不到合适的语音识别,图像识别技术来对UI层的多媒体进行检测。从技术上来说就不可行。
TL后来提出了个折中的方案:自动化步骤,但是验证由测试工程师来做。就是说,手机插上电脑,然后开始自动的进入文件夹,播放视频,测试工程师坐在电脑前,看到视频播放了,点“pass”,没看到,点“failed”。
这个方案同样被我拒绝了。因为这种方案首先就没有解放测试工程师。在成本上却增加了一个脚本工程师来编写脚本。在时间成本上,又多了一个脚本工程师编写/检查脚本的时间。至于质量,并无提升。这样的自动化,做不如不做。

















TAG:

淡定Rui的个人空间 引用 删除 zhr219   /   2014-09-05 17:37:22
5
 

评分:0

我来说两句

日历

« 2024-04-17  
 123456
78910111213
14151617181920
21222324252627
282930    

我的存档

数据统计

  • 访问量: 3980
  • 日志数: 5
  • 建立时间: 2014-04-03
  • 更新时间: 2014-04-14

RSS订阅

Open Toolbar