记录阿里巴巴QA架构组成长点滴。2008年关键词为效率,技术,影响力!QA/测试架构师定义:开发和设计测试框架测试库;纵横全局的考虑产品的功能,设计复杂的测试系统;负责研发某一项特定的测试技术;为公司考虑如何提高测试效率。领导公司测试技术的发展和测试策略上的方向,关注整个公司的测试部门的问题,前瞻性的考虑未来的版本的测试策略和技术。测试架构师计划/设计测试平台,关注着产品的测试过程,提供咨询服务,影响到公司内的测试机构测试社区,以及开发机构等,对产品各个方面施加深远而正确的影响,最终提高整体软件质量。

阿里巴巴测试难题

上一篇 / 下一篇  2008-06-17 16:55:27 / 个人分类:测试管理


(一) 功能测试

1测试环境搭建时编译抛出错误,快速判断是否系代码问题  
2测试中抛出500错误(或log文件中error),快速判断系代码or数据or外部接口问题
3自动化测试脚本是否细化验证点为所有可验证内容(页面所有内容显示区域、数据库、搜索引擎、cache、本地cookies等)? 检查细化,但维护量非常大
4(高优先级) 测试数据准备工具(数据库、搜索引擎、cache等持久化或临时数据)
5个人pc机本地测试环境差异(操作系统状态、完整性,浏览器版本、完整性),引起问题的原因是软件的添加/卸载,浏览器插件安装/删除,补丁程序,系统设置与浏览器设置等等
6 数据准备 如:不同类型账号生成,像生成10中供新单账号, 10个中供服务中账号等等,批量生成而不需要手工完成,否则效率慢了。
7 搜索引擎支持多个站点,每个站点又有不同的数据应用,se.conf存在众多的配置项、分词器,测试的矩阵非常庞大,如何保证尽少资源获取最好测试效果
8 抽样检查分词器的功能有遗漏,但分词器算法和外部已有的分词器算法不同,如何提高分词效果核对效率
10 海量数据查询结果正确性验证

(二) 性能测试
  1 生产环境硬件模拟
                生产环境依赖于外部昂贵的设备,在测试环境开展性能测试如何模拟?比如有专用邮件服务器,图片服务器,CACHE服务器?
        2 数据模拟
            生产环境的数据量巨大,如何剪裁合适的数据集作为性能测试基准数据?
        3 用户行为模拟
                  虽时间变化日志系统分析的数据会很快过时,如何低成本跟进访问模式
          
  4 特殊场景下性能瓶颈定位与监控等等
      比如国际站凌晨2点突然LOAD 升高,原因未明
  5  容量规划的效果如何衡量
   

(三) 质量管理平台
1 没有缺陷报告平台,需要详细或自定义报表时无法给出   
                如QC 的报表、需求管理2部分功能一直没有采用。
2 项目管理、需求管理缺陷管理多个系统入口, 并没有统一关联。另外代码与需求之间映射关系随着业务变更也难以一一映射
3  现有的软件测试平台更适合传统的大型软件测试,能否、如何定制更适合快速上线的WEB系统?
      
(四) 测试管理
1 测试机器的使用权限(LinuxWindows)管理,做到近少互相干扰
2 如何有效度量测试工程师的绩效?
3 (高优先级) 如何更快找到合适的测试人才?
4 (高优先级)如何提高开发、测试双方的满意度?
5 (高优先级)如何提高估计测试时间的准确度?
  
(五) 测试新技术的应用与推广  

1  如何有效开展安全与漏洞测试
如:sql注入,cookie安全机制,安全证书、加密等. 服务器与客户端的安全漏洞检测等
2 白盒测试工具引入及白盒技术等
如:单元测试工具Junit, parasoft的白盒测试工具使用与引入等。
3 自动化测试在项目中是否需要介入,何时介入?(数据准备?回归测试?)
4  如何在自动化覆盖率和验证点密度  与自动化成本间找到一个合理的平衡点


测试策略与方法方面
(一) 测试用例分析与设计
  1 冗余的测试用例的精简化问题
  2 (高优先级) 底层代码的修改如何测试,回归范围如何确定,测试策略如何确定?
如 ejb, jboss改造的性能与功能测试
  3 如何使用冒烟测试对大型软件进行快速测试,用例的选择问题
  4 如何为复杂产品/大型测试项目选取测试策略? 如
镜像站点测试
异地数据同步测试
重构项目测试  
  5 Apache Modul如何测试(功能测试与性能测试)如中文站最近发布的将Image server固定域名通过modul替换成动态域名?
  
  6 (高优先级)支持多浏览器(IE6/ie7/firefox...)/多OS软件如何测试? 支持国际化语言版本的软件如何测试?如国际站网站支持英文,繁体版,马来西亚语言。

     降低成本的测试方法有哪些?
    正交表测试方法满足我们的需求么?
  7 (高优先级)如何在时间、进度压力下,最优选取测试集合?回归测试的面积多大算合理?

  8(高优先级) 跨部门、跨公司的接口测试如何开展,以提高协调效率?
     如中文站和阿里软件贸易通状态接口,国际站和后台CRM 接口,

(二) 测试执行

1开发的代码中缺少足够的接口来支持自动化或者黑盒测试的问题
2 反复测试引发的测试疲劳如何应对(个人、团队)?交叉测试什么时候引入合适?如何衡量交叉测试的绩效?

(三) 测试标准
1 如何定义测试“完成”,比如如何定义搜索引擎测试完成?
2 如何提升对项目是否可以release的影响力
3 (高优先级)如何清晰度量产品的测试质量
按测试覆盖率?按BUG遗漏数?按已经发现BUG的曲线图?哪些标准度量最合适
4 测试人员是否需要了解代码,了解代码需要到达何种程度?
5 如何在没有单元测试代码情况下,度量代码测试覆盖率

TAG: 阿里巴巴 测试 难题 曲线 测试管理

Testingblog of Cherry的个人空间 引用 删除 guofei318   /   2009-01-18 17:26:36
的确专业,感觉难!
 

评分:0

我来说两句

日历

« 2024-03-07  
     12
3456789
10111213141516
17181920212223
24252627282930
31      

数据统计

  • 访问量: 152505
  • 日志数: 163
  • 文件数: 1
  • 建立时间: 2008-02-26
  • 更新时间: 2008-12-10

RSS订阅

Open Toolbar