入职无线已经2年多了,很感激,感恩给过我机会的领导,同事,朋友,2年多,3次双十一,前两次因各种原因,没现场参与,今年全面参与,体会到了激动,澎湃,奇迹的时刻,在我的职业生涯中刻骨铭心.
双十一过后,作为产品的测试人员,我更加愿意从职业的角度来看本身工作的不足和后续改进的地方,下面我从如下几个方面来说说 一:主客测试
双十一可以说是对平时产品,开发,测试工作的检验,此次项目参与人员多,有些方面平时工作中没有考虑到,正好趁这个机会,总结测试主客户端需要考虑的范围:
淘宝主客=外部插件(服务)+ UI前端 +业务 +技术(h5,native)
1.功能,主要包括业务,无线业务并不复杂,但是android客户端碎片太多,同一功能不同系统版本出现问题,低端版本2.X之类问题多,高版本Nexus硬件加速问题也多;dalvik模式和art模块支持; 2.安全,后台系统问题多,如:xss之类,活动接口被拦截刷,redirct重定向没过滤,没白名单外挂可以hook,主客本身的bug很难发现,主要是接口方面,平时安全测试主要从:接口,源代码阅读,log,代理方面进行,从细节方面着手,业务安全,分享链接是否可点击,有没有信息泄漏. 3.性能,图片大小,此次代码集成到主客户端,出现http多次请求,CDN上图片没压缩(q90,q70),以及图片尺寸过大,搜索list图片尺寸80*80合适,以及集成外部插件,插件内部app图片出现类似问题.
4.埋点,BI埋点,主要是运营方面跟踪数据,由埋点引起crash的也不少,这块数据测试需要关注,而且BI埋点要提前准备,如果是活动,红包之类的审批就更加需要提前,否则到上线时间点,测试压力和项目风险大。
5.系统之间关联,看请求来区分哪个关联系统引起的问题(第三方工具识别链接来分析是什么原因引起的.)
6.电量,流量,其中对主客的电量,流量测试都需要跟竞品做对比测试,主要是定场景.目前的策略是:
1030版本5个场景(home键静默,退出,)1128前
1128版本中
1128后与1128前对比:(后续写一篇个人总结的流量,电量测试的文章). 7.主客用到的传感器,帧FPS(动画),测试如下:adb shell dumpsys batteryinfo,adb shell dumpsysgfxinfo;有些功能没用到传感器,GPS,但是业务场景中打开了,需要关闭,否则耗费电量. 8.主客启动的时候,初始化是否有多次请求,以及集成的SDK初始化是否有多次请求,
9.客户端扫描,h5活动banner是否唤起客户端,浏览器打开是否进入下载页面,跳转,cookie之类以及h5和sdk
10.不同版本的os,硬件设置不同,客户端的加载功能回归等
11.sdk方面:此次双11版本,SDK表现稳定,但是双12发布版本合并前期,安全黑匣子SDK升级以及分享SDK代码被修改都导致了灰度版本重新打包,引起业务层面相关人员的无奈,因为SDK是底层的基础性产品,相关升级
涉及到的业务方太多,这个需要评估影响,又长经验了.
测试工具:PowerTutor耗电量,wireshare流量,网卡代理监控请求,以及IOS测试工具套件.
总结: 细心,考虑全面,实践技术手段
二:大项目管理方式(双十一1030版本,双十二项目1128版本) 双十一以及这次的双十二,主客户端需要集成的项目大大小小有20几个,投入的测试人员和开发也几百号人,最终产生的缺陷7000多个,对于此类项目是怎样开展才能达到目标的了,个人总结如下:
1.目标明确,上线时间明确,行动统一;
2.把握几个点,如:提测前,提测后(环境,bug提交,每日情况跟进),上线前,上线后回归,演练安排.提测前,从需求一开始就有总体测试负责人跟进,例如excel跟进格式:项目名字 测试人员 状态 备注这段时间请PD讲解需求;提测后,每日进度,风险,质量情况跟进,bug日清,主要解决比如资源,协调等问题.
3.上线前几天(根据具体情况),bug优先级更换(p1,p2不能发版本),座一起统一回归;
4.上线后一份总的报告,包括:缺陷趋势,测试类型(安全,性能等)
总结:大项目化成小项目,统一,风险跟进
三: 小项目管理方式(专享价,可信设备)
和兄弟测试团队合作的项目,我曾经对共建项目做过类似的总结,其实,业务方面来说,无线端的根基在
PC端，但是PC端对客户端项目不了解,因此链路太长,出问题的地方又多,个人认为从如下几点开展
就可以确保项目成功:
1. 指定一个测试PM,抓需求变更,抓bug,进度,每日测试报告,胆大心细;
2. 共赢态度,分工明确,必须TC评审,覆盖全面;
3. 项目组或者测试内部每天一次进度,风险评估会;
4. 客户端测试需要评估风险,如果PC对后期客户端不了解,无线风险需要客户端测试把控;
5. 该走的流程必须走,如:设备借用,测试内部验收流程
6. 上线之前开一次评估会
以上几点对任何业务类型的项目都适用,具体情况具体分析.
总结:态度,团队原则
四: SDK项目
SDK测试工作除了兼顾内部的功能点测试,还需要包括:集成到主客测试,集成文档.基础服务方可以按照android sdk发布,开源的方式来发布.
总结: SDK测试,发布需要兼顾Android不同版本.
五: 双十一后职业感触
眼界决定一个人的选择,从毕业到现在,一路不平坦,没有抓到重点,这几年一直在很努力,也大大小小实现了一些目标,但是还是没达到想要的高度,深度,造成这种困境的根本原因:没有遵从自己的内心,视眼太小,工作性质.现在想来,我失去了很多改变命运的机会,以前的很多努力都在工作中没找到落脚点,说真的,测试领域需要坚持的东西很多,找准一个点,做深入,然后在扩展,虽然已经30了,一直有创业的冲动,好想好想做点自己的事,所以我对测试新人或者刚毕业同学的建议是:一定要做好职业规划,不忘初心,拼命努力,创造价值,成就别人,要做就要做别人做不到的事情.
引用 删除 天堂婷儿 / 2014-02-17 15:59:53
引用 删除 chenchunyan / 2014-01-10 10:57:57
引用 删除 zhouzhou423 / 2013-12-31 15:36:26
