发布新日志

  • 测试管理工作检查表

    2008-12-09 16:08:22

    1. 检查每轮测试开始时测试环境是否准备好(包括软件硬件、测试基本数据等);

    2. 确保测试环境(数据和程序)与开发分离,除了测试组之外其他人不能更新测试环境的数据和程序;

    3. 每轮测试根据上一轮的情况和总体测试计划做分工调整;

    4. 检查case库的填报情况,抽查执行过的case;

    5. 检查BUG提交情况,抽查提交的BUG是否规范;

    6. 每天晚上统计BUG情况,填写每天的BUG报告;

    7. 根据每天的测试情况,决定是否开发组要发布新的BUILD;

    8. 每轮测试结束后填写测试总结。

  • 如何有效的对测试人员进行业绩考核?(转载)

    2008-11-05 17:29:52

    测试人员主要是三个方面。
            第一,整体
    工作效率。第二,工作结果。第三,过程控制。(针对测试主管或组长)
            1.整体工作效率
            1.1有效工作时间
            主要check指标是每日实际工作时间,按照Ms的标准,一个测试工程师的每天的有效工作时间应该在70%以上。如果只有50%或以下的有效工作时间,那么不能成为好的测试工程师,因为他有能力做得更好。
            1.2是否在制定时间内完成工作任务
            主要check指标是进度偏离度。主要是和测试计划相比,有多少的延期。这个指标计算是:计划时间/实际需用时间。
            当然,本指标未考虑
    其他因素,如开发人员窝工导致的delay。
            2.工作结果
            2.1测试用例的数量和质量
            a,测试用例的数量
            主要
    考核指标是用例编写速度,考核办法是测试用例的个数/写用例所用时间。
            b,测试用例的质量
            主要考核指标是用例编写质量,用于考察文档是由有效的指导了测试工作。考核办法是来自用例的
    bug数目/总bug数目,应该是70%以上才算是质量比较好的用例。
            2.2bug的数量和质量
            a,bug提交的数量
            主要考核指标是提交bug的数量,这个指标根据项目不同而定,不好给出固定经验值。
            b,bug的质量
            主要考核指标是提交bug的质量,即提交的bug,严重程度和,发现路径的复杂程度
            c,发现bug的阶段
            主要考核指标是提交bug的时间段,具体执行是统计在测试的每个阶段,发现bug的比例,特别是严重的bug发现的早晚
            2.3是否及时验证关闭bug
            主要考核指标是验证关闭bug的及时度
            2.4测试自动化程度及收效
            主要考核指标是,测试中自动化运用的含量,也就是
    测试技术含量,成果如何?
            2.5所负责模块的产品总体质量以及用户反馈
            这个总体质量是产品发布之后一段时间才能得出结论,主要是市场,用户对产品的质量、稳定性、性能的反馈。
    考核的主要指标是两个。
            a,根据市场反馈(由经理定性考核)
            b,根据测试人员提交的bug和用户反馈的bug之间的比例,比例越大,说明测试质量相对越高。当然前提是必须划清楚客户的新需求,或者对spec设计方面的抱怨。
            3.过程改进
            考核点,是纵向对比,相比上一个项目,在质量控制上和测试进度进程上有否进步。包括测试方法,提升质量的手段,测试数据记录,用例更新等等有没有改进。
            该项具体考核方法也是经理来根据测试组在过程中具体表现,来定性打分。
            还包括测试人员在测试过程中的
    学习能力。这个也是定性。
            4.考核注意事项
            4.1统计bug的注意事项
            5.其它注意事项
            作为考核者要注意以下比例,也许有些没有列入考核内容,但是如下这些点可以指导测试。
            a,测试团队发现的bug和所有bug之间的比例
            b,spec设计造成的bug
            c,重复或者误提交的bug所占的比例
            d,每周发现的bug的趋势图
            e,Bug严重等级的构成比例
            f,Bug从提交到解决的平均需要时间
            g,Bug从解决到关闭的平均需要时间
  • 测试计划的全面性和有效性

    2008-11-05 17:05:48

         测试规划与软件开发活动同步时行,在需求分析时,就开始测试策划,确定测试需求、目标、资源等。测试计划可以按不同的测试阶段(集成测试、系统测试等)来组织,也可以为每个测试任务或目标(安全性、性能、可靠性等测试)进行考虑。
       测试计划主要集中在测试目标、质量标准、测试策略、测试范围、测试用例设计方法、所需资源和日程安排等,其关键是制订有效的测试策略,清楚地界定测试范围,识别测试中所存在的各种风险并找出风险回避、监控和管理的方法,针对不同的测试目标或阶段确定测试方法,对测试工作量及所需的资源、时间进行合理的估算。所有这些都是为了两个根本目的:测试的质量和效率。
    • 制订测试策略
       制定测试策略主要分析测试的目标和质量指标、确定测试的对象和依据,测试的重点和所采用的方法,包括在规定的时间内哪些测试内容要完成,软件产品的特性或质量在哪些方面要得到确认。测试策略可以分为如下方面。
      • 基于测试技术的测试策略。根据软件系统的技术构成和层次结构,着重考虑如何分层测试、选择哪些测试工具,如何将白盒测试和黑盒测试有机地结合起来等。
      • 基于测试方案的综合测试策略。根据测试的目标和范围,着重考虑如何更好地满足测试需求、如何让功能测试、适用性测试和兼容性测试等有机地结合起来、如何充分利用测试资源、如何更有效地完成回归测试等。
             为了更好地制定好测试策略,要做到如下几点。
      • 全面细致地了解产品的应用领域、测试范围、市场需求、产品特点、主要功能和技术架构等项目信息。
      • 基于模块、功能、系统、版本、性能、配置和安装等各个因素对产品质量的影响,客观地、全面地展开测试计划。
      • 根据软件单元在系统结构的重要性差异和一旦发生故障将给客户造成的损失大小、来确定软件测试的等级、重点和先后次序。
      • 需要在测试用例数和测试覆盖率上进行权衡而获得一个平衡点,以便能使用尽可能少的有效测试用例去发现尽可能多的程序错误。测试不足意味着让用户承担隐藏错误带来的危险;同时反过来看,过度测试则又会浪费许多宝贵的资源或耽误软件产品的发布时间。
    • 确定测试范围
    测试主要根据产品设计规格说明书、代码所发生的变化及其影响的区域,来确定哪些功能和特性要测试、哪些功能和特性不需要测试。在确定测试范围时,要考虑的因素如下:
      • 优先级最高的城需求功能。
      • 新增加的功能和编码发动较大的已有功能。
      • 容易出现问题的部分功能。
      • 过去测试不够充分的地方。
      • 经常被用户使用的功能和配置(占20%)
    • 所需资源和日程安排
    为了合理、准确地安排日程,对测试工作量要时行正确的估计。除了对工作量的估计之外,还要正确评估参与该项目人员的培训时间、适应过程和工作能力等。由于涉及不同的项目、不同的测试人员、不同的前期介入方式,要对每人每天能够完成的平均测试用例数目做出一个准确的估计确实困难,但是可以根据以前一些项目测试以经验或历史积累下来的数据进行判断推理,并适当地增加10%-20%的余量,估算结果就比较准确了。
     在估算的基础上进行有效的、合理的资源安排。在不同的测试阶段人力资源的需求是不一样的,所以人力资源的计划要有一定的灵活性和动态性,要形成有机的动态平衡,保证测试的进度和资源的使用和效率。
    • 编制测试计划的技巧
    要做好测试计划,测试设计人员要仔细阅读有关资料,包括用户需求规格说明书、设计文档等,全面熟悉系统,并建议注意以下方面。
      • 让所有合适的相关人员特别是在测试计划早期参与测试项目的计划制定。
      • 测试所需的时间、人力及其他资源的预估,尽量做到客观、准确、留有余量。
      • 测试项目的输入、输出和质量标准,应与各方达成一致,
      • 建立变化处理的流程规划,识别在整个测试阶段中哪些是内在的、不可避免的变化因素,并加以控制。
    • 测试项目计划的评审
    测试项目的计划不可能一气呵成,而是要经过计划初期、起草、讨论、审查等不同阶段,才能将测试计划制订好。测试计划的评审是完成测试计谋关键的一个环节,包括测试组织内部的自我评审、讨论和修改,然后交到评审会进行正式的评审,直至测试计划得到审批。
      测试计划的正式评审,项目中的每个人(产品经理、项目经理、开发工程师等)都应当参与。计划的审查是必不可少的,每一个参与者都可能根据其经验及专长提出问题或建议,弥补在测试范围、工作量、风险等各方面的不足,从而进一步完善测试计划。
  • 测试报告模板

    2008-11-04 14:55:29

    摘要 测试报告是把测试的过程和结果写成文档,并对发现的问题和缺陷进行分析,为纠正软件的存在的质量问题提供依据,同时为软件验收和交付打下基础。本文提供测试报告模板以及如何编写的实例指南。
    关键字 测试报告 缺陷


    正文
        测试报告是测试阶段最后的文档产出物,优秀的测试经理应该具备良好的文档编写能力,一份详细的测试报告包含足够的信息,包括产品质量和测试过程的评价,测试报告基于测试中的数据采集以及对最终的测试结果分析。
    下面以通用的测试报告模板为例,详细展开对测试报告编写的具体描述。
    PARTⅠ 首页
    0.1页面内容:
    密级
        通常,测试报告供内部测试完毕后使用,因此密级为中,如果可供用户和更多的人阅读,密级为低,高密级的测试报告适合内部研发项目以及涉及保密行业和技术版权的项目。
    XXXX项目/系统测试报告
    报告编号
        可供索引的内部编号或者用户要求分布提交时的序列号

    部门经理 ______项目经理______
    开发经理______测试经理______

    XXX公司 XXXX单位 (此处包含用户单位以及研发此系统的公司)
    XXXX年XX月XX日
    0.2格式要求:
        标题一般采用大体字(如一号),加粗,宋体,居中排列
    副标题采用大体小一号字(如二号)加粗,宋体,居中排列
    其他采用四号字,宋体,居中排列
    0.3版本控制:
    版本 作者 时间 变更摘要
    新建/变更/审核

    PARTⅡ 引言部分

    1.1编写目的
        本测试报告的具体编写目的,指出预期的读者范围。
    实例:本测试报告为XXX项目的测试报告,目的在于总结测试阶段的测试以及分析测试结果,描述系统是否符合需求(或达到XXX功能目标)。预期参考人员包括用户、测试人员、、开发人员、项目管理者、其他质量管理人员和需要阅读本报告的高层经理。
    提示:通常,用户对测试结论部分感兴趣,开发人员希望从缺陷结果以及分析得到产品开发质量的信息,项目管理者对测试执行中成本、资源和时间予与重视,而高层经理希望能够阅读到简单的图表并且能够与其他项目进行同向比较。此部分可以具体描述为什么类型的人可参考本报告XXX页XXX章节,你的报告读者越多,你的工作越容易被人重视,前提是必须让阅读者感到你的报告是有价值而且值得浪费一点时间去关注的。
    1.2项目背景
        对项目目标和目的进行简要说明。必要时包括简史,这部分不需要脑力劳动,直接从需求或者招标文件中拷贝即可。
    1.3系统简介
        如果设计说明书有此部分,照抄。注意必要的框架图和网络拓扑图能吸引眼球。
    1.4术语和缩写词
        列出设计本系统/项目的专用术语和缩写语约定。对于技术相关的名词和与多义词一定要注明清楚,以便阅读时不会产生歧义。
    1.5参考资料
    1.需求、设计、测试用例、手册以及其他项目文档都是范围内可参考的东东。
    2.测试使用的国家标准、行业指标、公司规范和质量手册等等
    PARTⅢ 测试概要
    测试的概要介绍,包括测试的一些声明、测试范围、测试目的等等,主要是测试情况简介。(其他测试经理和质量人员关注部分)
    2.1测试用例设计
        简要介绍测试用例的设计方法。例如:等价类划分、边界值、因果图,以及用这类方法(3-4句)。
    提示:如果能够具体对设计进行说明,在其他开发人员、测试经理阅读的时候就容易对你的用例设计有个整体的概念,顺便说一句,在这里写上一些非常规的设计方法也是有利的,至少在没有看到测试结论之前就可以了解到测试经理的设计技术,重点测试部分一定要保证有两种以上不同的用例设计方法。
    2.2测试环境与配置
        简要介绍测试环境及其配置。
        提示:清单如下,如果系统/项目比较大,则用表格方式列出

    数据库服务器配置
    CPU:
    内存:
    硬盘:可用空间大小
    操作系统:
    应用软件:
    机器网络名:
    局域网地址:
    应用服务器配置
    …….
    客户端配置
    …….

        对于网络设备和要求也可以使用相应的表格,对于三层架构的,可以根据网络拓扑图列出相关配置。
    2.3测试方法(和工具)
        简要介绍测试中采用的方法(和工具)。
    提示:主要是黑盒测试,测试方法可以写上测试的重点和采用的测试模式,这样可以一目了然的知道是否遗漏了重要的测试点和关键块。工具为可选项,当使用到测试工具和相关工具时,要说明。注意要注明是自产还是厂商,版本号多少,在测试报告发布后要避免大多工具的版权问题。
    PARTⅣ 测试结果及缺陷分析
    整个测试报告中这是最激动人心的部分,这部分主要汇总各种数据并进行度量,度量包括对测试过程的度量和能力评估、对软件产品的质量度量和产品评估。对于不需要过程度量或者相对较小的项目,例如用于验收时提交用户的测试报告、小型项目的测试报告,可省略过程方面的度量部分;而采用了CMM/ISO或者其他工程标准过程的,需要提供过程改进建议和参考的测试报告-主要用于公司内部测试改进和缺陷预防机制-则过程度量需要列出。
    3.1测试执行情况与记录
    描述测试资源消耗情况,记录实际数据。(测试、项目经理关注部分)
    3.1.1测试组织
        可列出简单的测试组架构图,包括:
    测试组架构 (如存在分组、用户参与等情况)
    测试经理(领导人员)
    主要测试人员
    参与测试人员
    3.1.2测试时间
        列出测试的跨度和工作量,最好区分测试文档和活动的时间。数据可供过程度量使用。
    例如 XXX子系统/子功能
    实际开始时间-实际结束时间
    总工时/总工作日
    任务 开始时间 结束时间 总计
    合计
        对于大系统/项目来说最终要统计资源的总投入,必要时要增加成本一栏,以便管理者清楚的知道究竟花费了多少人力去完成测试。
    测试类型 人员成本 工具设备 其他费用

    总计
        在数据汇总时可以统计个人的平均投入时间和总体时间、整体投入平均时间和总体时间,还可以算出每一个功能点所花费的时/人。
    用时人员 编写用例 执行测试 总计

    合计
        这部分用于过程度量的数据包括文档生产率和测试执行率。
    生产率人员 用例/编写时间 用例/执行时间 平均

    合计
    3.1.3测试版本
        给出测试的版本,如果是最终报告,可能要报告测试次数回归测试多少次。列出表格清单则便于知道那个子系统/子模块的测试频度,对于多次回归的子系统/子模块将引起开发者关注。
    3.2覆盖分析
    3.2.1需求覆盖
        需求覆盖率是指经过测试的需求/功能和需求规格说明书中所有需求/功能的比值,通常情况下要达到100%的目标。
    需求/功能(或编号) 测试类型 是否通过 备注
    [Y][P][N][N/A]
    根据测试结果 ,按编号给出每一测试需求的通过与否结论。P表示部分通过,N/A表示不可测试或者用例不适用。实际上,需求跟踪矩阵列出了一一对应的用例情况以避免遗漏,此表作用为传达需求的测试信息以供检查和审核。
    需求覆盖率计算 Y项/需求总数 ×100%
    3.2.2测试覆盖
        需求/功能(或编号) 用例个数 执行总数 未执行 未/漏测分析和原因

        实际上,测试用例已经记载了预期结果数据,测试缺陷上说明了实测结果数据和与预期结果数据的偏差;因此没有必要对每个编号在此包含更详细的说明的缺陷记录与偏差,列表的目的仅在于更好的查看测试结果。
    测试覆盖率计算 执行数/用例总数 ×100%

    3.2缺陷的统计与分析
        缺陷统计主要涉及到被测系统的质量,因此,这部分成为开发人员、质量人员重点关注的部分。
    3.3.1缺陷汇总
        被测系统 系统测试 回归测试 总计

    合计
    按严重程度
    严重 一般 微小

    按缺陷类型
    用户界面 一致性 功能 算法 接口 文档 用户界面 其他

    按功能分布
    功能一 功能二 功能三 功能四 功能五 功能六 功能七

    最好给出缺陷的饼状图和柱状图以便直观查看。俗话说一图胜千言,图标能够使阅读者迅速获得信息,尤其是各层面管理人员没有时间去逐项阅读文章。

    图例
    3.3.2缺陷分析
        本部分对上述缺陷和其他收集数据进行综合分析
    缺陷综合分析
    缺陷发现效率 = 缺陷总数/执行测试用时
    可到具体人员得出平均指标
    用例质量 = 缺陷总数/测试用例总数 ×100%
    缺陷密度 = 缺陷总数/功能点总数
    缺陷密度可以得出系统各功能或各需求的缺陷分布情况,开发人员可以在此分析基础上得出那部分功能/需求缺陷最多,从而在今后开发注意避免并注意在实施时予与关注,测试经验表明,测试缺陷越多的部分,其隐藏的缺陷也越多。
    测试曲线图
    描绘被测系统每工作日/周缺陷数情况,得出缺陷走势和趋向

    重要缺陷摘要
    缺陷编号 简要描述 分析结果 备注

    3.3.3残留缺陷与未解决问题
    残留缺陷
    编号:BUG号
    缺陷概要:该缺陷描述的事实
    原因分析:如何引起缺陷,缺陷的后果,描述造成软件局限性和其他限制性的原因
    预防和改进措施:弥补手段和长期策略
    未解决问题
    功能/测试类型:
    测试结果:与预期结果的偏差
    缺陷:具体描述
    评价:对这些问题的看法,也就是这些问题如果发出去了会造成什么样的影响
    PARTⅤ 测试结论与建议
    报告到了这个部分就是一个总结了,对上述过程、缺陷分析之后该下个结论,此部分为项目经理、部门经理以及高层经理关注,请清晰扼要的下定论。
    4.1测试结论
    1. 测试执行是否充分(可以增加对安全性、可靠性、可维护性和功能性描述)
    2. 对测试风险的控制措施和成效
    3. 测试目标是否完成
    4. 测试是否通过
    5. 是否可以进入下一阶段项目目标
    4.2建议
    1.对系统存在问题的说明,描述测试所揭露的软件缺陷和不足,以及可能给软件实施和运行带来的影响
    2.可能存在的潜在缺陷和后续工作
    3.对缺陷修改和产品设计的建议
    4.对过程改进方面的建议

          测试报告的内容大同小异,对于一些测试报告而言,可能将第四和第五部分合并,逐项列出测试项、缺陷、分析和建议,这种方法也比较多见,尤其在第三方评测报告中,此份报告模板仅供参考。

Open Toolbar