“第三方”测试什么
根据软件的特性,第三方软件测试工程可划分为三种类型四个层次。
(1) 第一类是系统软件、环境软件和各类工具软件等的测评。这类软件多作为计算机的环境或作 “公用” 支撑软件,产品类型多、市场销量大、生产厂商多,产品的特点大都有企业、甚至国际的产品质量标准,用户选择使用时大都希望进行产品功能、性能的对比测试;对于这类软件的评测重点是软件产品的功能、性能和特点评测。
(2)第二类是面向应用软件系统的测评。这类软件,具有很强的行业应用特性,往往是要由用户与开发商签定项目合同,开发商负责开发,用户负责验收。对这类软件的评测,根据用户对第三方的依赖程度,又可分为两个层次。
① 第一个层次只对应用软件系统进行综合性功能、性能测试。大体是在软件系统级进行“黑盒”测试,并不对软件过程进行控制、监督。
② 第二个层次是对应用软件系统进行质量监理与评测。不仅承担第一个层次的任务还要对软件过程进行监控,具备初级软件工程监理的职责。
承担该类软件质量监理评测的第三方,承担软件过程质量监理的责任,在软件生命周期过程中,从软件定义开始,要对软件过程从质量保证角度进行规范化的监督、管理和控制。评测工作不仅包括软件生命周期各阶段的评审,而且还要对程序系统,进行包括模块白盒测试在内的系统集成、系统验收等测试。第三方实际上是软件业主授权的初级的软件工程监理。
(3)第三类是对软件企业的CMM评估认证,也是最高层次的软件评测。
了解测试评估
测试评估是软件测试的一个阶段性的结论,用所生成的测试评估报告,来确定测试是否达到完全和成功的标准。在测度评估阶段向用户提供强有力的支持,包括通过测试报告,验证测试结果是否符合测试计划中制定的测试标准;根据缺陷报告提供的测试结果数据,给出软件质量和测试完整性的评估报告;特别在以下几方面对测试的过程进行评测:
(1)评估测试用例覆盖:测试的目标是确保100%的测试用例全部成功地执行。如果这个目标可行或不可能达到,则要根据不同的情况制定不同的测试覆盖标准。主要考虑风险和严重性、可接受的覆盖百分比。
(2)评估代码覆盖:需要断定测试目标期望的总的测试代码行数,在测试中真正执行的代码行数及其百分比,将此结果记录在测试评估报告中。
(3)分析缺陷:对缺陷进行分析,应遵照缺陷分析策略中制定的分析标准。
最常用的缺陷分析标准有三种:缺陷分布——缺陷数量作为随缺陷属性变化的函数(如状态和级别);缺陷趋势——缺陷数量作为以时间为条件的函数;缺陷滞留——特殊的缺陷密度报告,缺陷数量与缺陷在某一状态保留的时间长短有关。
(4)确定测试是否达到完全和成功的标准在此阶段将判定测试是否已达到完全并可接受,生成测试结果报告。