测试
简介
测试的主要评测方法包括覆盖和质量。
测试覆盖是对测试完全程度的评测,它建立在测试覆盖基础上,测试覆盖是由测试需求和测试用例的覆盖或已执行代码的覆盖表示的。
质量是对测试对象(系统或测试的应用程序)的可靠性、稳定性以及性能的评测。质量建立在对测试结果的评估和对测试过程中确定的变更请求(缺陷)的分析的基础上。
覆盖评测
覆盖指标提供了"测试的完全程度如何?"这一问题的答案。最常用的覆盖评测是基于需求的测试覆盖和基于代码的测试覆盖。简而言之,测试覆盖是就需求(基于需求的)或代码的设计/实施标准(基于代码的)而言的完全程度的任意评测,如用例的核实(基于需求的)或所有代码行的执行(基于代码的)。
系统的测试活动建立在至少一个测试覆盖策略基础上。覆盖策略陈述测试的一般目的,指导测试用例的设计。覆盖策略的陈述可以简单到只说明核实所有性能。
如果需求已经完全分类,则基于需求的覆盖策略可能足以生成测试完全程度的可计量评测。例如,如果已经确定了所有性能测试需求,则可以引用测试结果来得到评测,如已经核实了 75% 的性能测试需求。
如果应用基于代码的覆盖,则测试策略是根据测试已经执行的源代码的多少来表示的。这种测试覆盖策略类型对于安全至上的系统来说非常重要。
两种评测都可以手工得到(公式如下所示)或通过测试自动化工具计算得到。
基于需求的测试覆盖
基于需求的测试覆盖在测试生命周期中要评测多次,并在测试生命周期的里程碑处提供测试覆盖的标识(如已计划的、已实施的、已执行的和成功的测试覆盖)。
在执行测试活动中,使用两个测试覆盖评测,一个确定通过执行测试获得的测试覆盖,另一个确定成功的测试覆盖(即执行时未出现失败的测试,如没有出现缺陷或意外结果的测试)。
这些覆盖评测通过以下公式计算:
这一关于测试覆盖的陈述是有意义的,可以将其与已定义的成功标准进行对比。如果不符合该标准,则此陈述将成为预测剩余测试工作量的基础。
基于代码的测试覆盖
基于代码的测试覆盖评测测试过程中已经执行的代码的多少,与之相对的是要执行的剩余代码的多少。代码覆盖可以建立在控制流(语句、分支或路径)或数据流的基础上。控制流覆盖的目的是测试代码行、分支条件、代码中的路径或软件控制流的其他元素。数据流覆盖的目的是通过软件操作测试数据状态是否有效,例如,数据元素在使用之前是否已作定义。
基于代码的测试覆盖通过以下公式计算:
质量评测
测试覆盖的评估提供对测试完全程度的评测,在测试过程中已发现缺陷的评估提供了最佳的软件质量指标。因为质量是软件与需求相符程度的指标,所以在这种环境中,缺陷被标识为一种更改请求,该更改请求中的测试对象与需求不符。
缺陷评估可能建立在各种方法上,这些方法种类繁多,从简单的缺陷计数到严格的统计建模不一而足。
严格的评估假定测试过程中缺陷达到的比率或发现的比率。常用模型假定该比率符合泊松分布。则有关缺陷率的实际数据可以适用于这一模型。生成的评估将评估当前软件的可靠性,并且预测继续测试并排除缺陷时可靠性如何增长。该评估被描述为软件可靠性增长建模,这是一个活跃的研究领域。由于该类型的评估缺乏工具支持,所以应该慎重平衡成本与其增加价值。
缺陷分析就是分析缺陷在与缺陷关联关系的一个或多个参数值上的分布。缺陷分析提供了一个软件可靠性指标。
对于缺陷分析,常用的主要缺陷参数有四个:
· 状态:缺陷的当前状态(打开的、正在修复或关闭的等)。
· 优先级:必须处理和解决缺陷的相对重要性。
· 严重性:缺陷的相关影响。对最终用户、组织或第三方的影响等等。
· 起源:导致缺陷的起源故障及其位置,或排除该缺陷需要修复的构件。
可以将缺陷计数作为时间的函数来报告,即创建缺陷趋势图或报告;也可以将缺陷计数作为一个或多个缺陷参数的函数来报告,如作为缺陷密度报告中采用的严重性或状态参数的函数。这些分析类型分别为揭示软件可靠性的缺陷趋势或缺陷分布提供了判断依据。
例如,预期缺陷发现率将随着测试进度和修复进度而最终减少。可以设定一个阈值,在缺陷发现率低于该阈值时才能部署软件。也可根据执行模型中的起源报告缺陷计数,以允许检测"较差的模块"、"热点"或需要再三修复的软件部分,从而指示一些更基本的设计缺陷。
这种分析中包含的缺陷必须是已确认的缺陷。不是所有已报告的缺陷都报告实际的缺陷,这是因为某些缺陷可能是扩展请求,超出了项目的规模,或描述的是已报告的缺陷。然而,需要查看并分析一下,为什么许多报告的缺陷不是重复的缺陷就是未经确认的缺陷,这样做是有价值的。
缺陷报告
Rational Unified Process 以三类形式的报告提供缺陷评估:
· 缺陷分布(密度)报告允许将缺陷计数作为一个或多个缺陷参数的函数来显示。
· 缺陷龄期报告是一种特殊类型的缺陷分布报告。 缺陷龄期报告显示缺陷处于特定状态下的时间长短,如"提出的"。在龄期类别中,缺陷还可以按其他属性分类,如"拥有者"。
· 缺陷趋势报告按状态(新的、已打开的或关闭的)将缺陷计数作为时间的函数显示。趋势报告可以是累计的,也可以是非累计的。
· 测试结果和进度报告显示对测试的应用程序进行若干次迭代和测试生命周期后的测试过程执行结果。
许多此类报告对于评估软件质量具有很高的价值。一般测试标准中包括有关特定类别(如严重性级别)中打开的缺陷数的陈述。通过缺陷分布评估可以轻松地核对该标准。对测试需求进行过滤或分类,该评估可以侧重于不同的需求集。
要有效生成此类报告,一般需要工具支持。
缺陷密度报告
缺陷状态与优先级
应该给定所有缺陷的优先级,通常可行的做法是设定四种优先级中的一种:
1. 立即解决
2. 高优先级
3. 正常排队
4. 低优先级
一个成功测试的标准可以表示为缺陷在上述优先级上所应体现的分布方式。例如,对于一个成功的测试标准来说,可能不存在优先级为 1 的打开的缺陷,而且优先级为 2 的打开的缺陷要少于 5 个。例如下面的缺陷分布图:
很明显该图显示的情况没有达到标准。请注意,该图需要通过过滤器才能只显示需要的打开的缺陷。
缺陷状态与严重性
缺陷严重性报告显示每种严重性级别的缺陷个数,例如致命错误、未执行主要功能、次要错误等严重性级别。
缺陷状态与在实施模型中的位置
缺陷起源报告显示缺陷在实施模型元素上的分布情况。
缺陷龄期报告
缺陷龄期分析提供了有关测试有效性和缺陷排除活动的良好反馈。例如,如果大部分龄期较长的、未解决的缺陷处于有待确认的状态,则可能表明没有充足的资源应用于再次测试工作。
缺陷趋势报告
趋势报告确定缺陷率并提供了一个出色的测试状态视图。在测试生命周期中,缺陷趋势遵循着一种比较好预测的模式。在生命周期的初期,缺陷率增长很快。在达到顶峰后,就随时间以较慢的速率下降。
要发现问题,可以根据这一趋势复审项目时间表。例如,在四个星期的生命周期中,如果缺陷率在第三个星期中仍然增长,则项目很明显没有按时间表进行。
这一简单的趋势分析假定:缺陷是立即关闭的,且在随后的工作版本中对修复进行测试,这样关闭缺陷的速率应该遵循与打开缺陷的速率相同的增减趋势。如果情况并非如此,则表明缺陷解决流程发生了问题;缺陷修复所需的资源或再次测试和确认修复所需的资源可能不足。
该报告反映的趋势显示,在项目开始时,发现和打开新缺陷的速率很快,但随着时间推移,该速率不断降低。打开的缺陷的趋势与新缺陷的趋势相似,但稍微滞后一些。关闭的缺陷的趋势随着打开的缺陷的修复和核实而不断增长。这些趋势描述的是成功的工作。
如果您的趋势与这些趋势差别显著,则表明存在问题,并可以确定可能需要附加资源以应用于开发或测试特定区域的时间。
当与测试覆盖评测结合起来时,缺陷分析可提供出色的评估,测试完成的标准也可以建立在此评估基础上。
性能评测
评估测试对象的性能行为时,可以使用多种评测,这些评测侧重于获取与行为相关的数据,如响应时间、计时配置文件、执行流、操作可靠性和限制。这些评测主要在评估测试活动中进行评估,但是也可以在执行测试活动中使用性能评测评估测试进度和状态。
主要的性能评测包括:
· 动态监测 - 在测试执行过程中,实时获取并显示正在执行的各测试脚本的状态。
· 响应时间/吞吐量 - 测试对象针对特定主角和/或用例的响应时间或吞吐量的评测。
· 百分位报告 - 数据已收集值的百分位评测/计算。
· 比较报告 - 代表不同测试执行情况的两个(或多个)数据集之间的差异或趋势。
· 追踪报告 -主角(测试脚本)和测试对象之间的消息/会话详细信息。
软件作为一种纯数字化商品,在没有权威的第三方进行监督认证的情况下,软件供应商和用户在软件产品是否达到目标需求的问题上,往往各执一词。
关于软件质量标准和认证,国内虽然制定了有限的几个软件技术标准,但无法从根本上对软件这种特殊商品实施有效的质量监督和认证。在国际上通行的做法是,软件的质量标准和认证工作,由独立的软件测试机构来完成。这些测试机构的行为是市场化的,但因为测试能力和权威性将直接关系到它们的市场影响力,所以他们的测试行为极其严格,力求将垃圾软件扼杀在摇篮中。
樱花西街一座不太显眼的大厦里,迈捷实验室技术总监武友文从软件测试说起,以第三方的视角分析了制约国内软件发展的瓶颈,发表了不同意见,提出了自己的建议。
为什么需要软件测试
“我是清华大学77级的学生,在国内做了3年软件开发,随后就去了加拿大读研,专业是网络协议测试。毕业后我在北电、惠普等公司做软件质量的控制和测试项目。”武友文轻声细语地说着自己的经历,“1998年我回到国内,在对金融和电信行业进行考察时,发现他们买的硬件设备都是顶级的,可惜软件应用这一块跟不上,导致了硬件功能得不到充分的发挥。硬件设备低下的运行效率,造成了资源与资金的隐性浪费。不客气地说,实际上,是国内软件在拖硬件的后腿。”
在武友文回国期间,国内一些软件开发商通过朋友的引见,邀请武友文与公司研发人员交流时,武友文发现当时国内的软件开发普遍存在“重开发,轻测试”的现象,常常是在项目开发完成之后,才发现软件有严重缺陷问题,不得不全部推倒从头再来。推倒重来则意味着前期人、财、物的投入全部浪费了,即大大增加了软件的开发成本,又会因为超出了客户的委托时间,付出的代价就更高了。
武友文以自己在国际公司的实践经验,一再强调,软件测试是软件开发过程中的一个重要步骤,或者说测试应该贯穿在软件开发过程的每一个阶段。软件测试所起到的作用就是:能够确保在软件开发的过程中,随时发现问题,方便开发人员及时修改。
在国内对于消费类软件来说,经常出现一些已经推向市场的产品由于被发现有严重缺陷而导致大量退货的局面。而对于定制的行业软件来说,则是一再的返工、绵绵无绝期的修改和维护,既拖死了软件提供商,也耽误了客户的正常业务。
这一系列现状使用户对国内软件提供商失去信心,因此我们经常听到有人抱怨:国内软件没法用,对于正在成长的国内软件市场来说,这一结论无疑是灭顶之灾。
武友文告诉记者:“因为国外软件的成熟度高,开发商对软件质量的控制力度很强,所以国外软件测试外包的不是太多;不过在国外有些软件需要比较专业的质量认证,例如软件的本地化测试,就必须借助第三方机构来完成了。拿微软来说吧,微软的产品要翻译成欧洲的6种文字,如果是自己来做这些本地化测试工作,成本就会很大,所以外包给别的公司来做就很合适;另外还有一种情况也会外包的,例如对一些大型软件的测试,不一定每家开发商都有专业的测试队伍和测试的工具。从成本上来说,某些软件测试工作外包是经济的。相反,国内软件的成熟度比较低,软件开发商基本没有能力来做测试,我指的是专业的、职业的测试,所以从目前来说,国内软件测试的市场空间很大。”
凭着对软件测试行业的深刻理解,武友文意识到要解决国内软件应用滞后于硬件的问题,就必须提高国内软件的质量,而要提高软件质量,就必须加强软件开发过程中的测试力量,而独立的第三方测试机构正是一个市场空白点,于是专业从事软件测试的迈捷实验室就应运而生。
软件测试如何做
“迈捷成立之初,主营业务只是受客户委托,测试已经开发完毕的软件,更多的是事后验收工作,后来我们慢慢的从事后测试,向质量控制上转型,例如开始介入软件开发前的需求评审,以及开发时的文档评审、代码走查等等。我们最终的发展方向就是做软件监理,但是不能不承认,目前我们与国际上通行的软件监理还有一定的距离。”说到迈捷的发展方向,武友文沉稳中略显激昂。
武友文接着说:“美国实际是在软件规模的扩大和结构的不断复杂的情况下,开始建立软件测试制度和规矩的。我想美国在软件开发的起步阶段,也不会自己主动去做,是在现实的压力下,才去实施这些流程规范的。国内一定要有这种意识,意识到软件开发过程中一定要引进这些规章制度。另外,意识到了还不行,一定要实践。
软件测试现状
武友文向记者提供的一个市场调查报告说明,目前国内做软件测试的机构,还没有发现与迈捷公司商业形态相同的企业,只是有某些政府部门下属的机构做一些软件产品验收工作,但完全商业化操作的机构没有;另外就是开发商临时承接的一些软件测试项目。当记者问到迈捷实施软件测试时遇到的最大障碍是什么时,武友文很爽快的回答到: “一是客户的意识,二是我们派出的项目实施人员的素质问题。”
实施软件评测项目时,客户要有接受管理软件开发流程的意识。
客户交给开发商一个项目,通过测试等质量掌控流程,可以将产品的质量保证在一个相对较高的水准,减少后续工作的成本。但是现在很多开发商和客户很短视,觉得只要现在没有出问题,就可以了,不愿意在软件开发过程中,让测试介入的程度不深,这导致测试不完全,埋下了隐患。
无论是对软件开发商还是对客户来说,忽视软件测试,必将导致上的软件开发项目越多,将来会被这些有问题的项目给拖死的概率越高。
武友文说:“有独立的软件测试第三方的出现,好处就是严格地掌控软件质量,减少维护成本,这不光对客户有好处,对开发商也有好处。所以一个项目,在我们实施很长一段时间,大约是半年至两年后,客户才意识到这样做是有用的。这很正常,因为软件开发一定会有大大小小的问题,包括我们评测也有一些问题查不出来。”
迈捷对派出的项目实施人员的标准很高,要求既有综合素质,又要有专业素质,目前国内这种复合型的人才太少了,于是迈捷只能自己培养。
而人才培训,则令武友文最为头痛。人才培养是迈捷在资金和力量上投入最大的一块。其中专业素质的培训最难,因为需要实践。这如同医生一样,从医学校毕业了,虽然有很多理论上的积累,但是缺乏临床经验,你还不是一个合格的医生,更别谈做一个好医生了。项目实施管理者也一样,既要有理论基础,更要有经验积累,而一个优秀的项目实施管理者重要的素质是,能在按流程做的基础上,发挥个人的主观能动性,这个要求就太高了,但这又是项目实施成否的关键。
国内软件业和国外相比,最大的差异就在:质量和质量控制应该是最重要的一项内容。但是,无论在消费类软件还是大型软件的测试领域,与国外相比,国内软件产品的质量掌控体系和标准都是模糊的。国内软件提供商的质量承诺,既没有相应机构的监督,质量水平也没有第三方来认证,承诺显得极其苍白而无力。
可喜的是,软件测试机构在我国正逐渐成长起来,并且,它们在软件市场上的影响力正逐步得到提升。因缺乏游戏规则导致整个软件行业的市场行为不规范,并且严重制约软件行业健康成长的局面,一定会有所改善。
采访后记:
软件评测只是用技术手段来监控软件产品的质量,并不能从根本上提高我国软件产品的水平。目前,国内最缺的是软件项目实施的高级管理人才和软件结构分析的专业人才。这种高级人才的培育制度才是最重要的,缺乏高级人才培养的后果,会影响国内软件的进程。与培养软件蓝领相比,虽然高级人才培育的时间周期长,资金投入大,但是我们一定不能急功近利,要有这种忧患意识,去做这项有长远影响的工作。这种工作不是非得要谁去做,但是我们一定要有这种意识去投入去做。
在采访中,武友文认为大量的蓝领、很少的白领,这样的软件产业肯定有问题。不少人对将软件分为对白领蓝领很有意见,软件开发流程应该有一定的延续性。因为写程序不难,谁都能写,难的是写出合格的、优秀的程序。单一的写程序对软件开发很不合适,如果你不懂别的,譬如软件架构和质量目标,那么程序也写不好。单从编程的角度进行培训,对蓝领见效快,对白领则不太公平。
日本在软件开发中分得很细,国内接日本软件外包的业务很多,但大部分只是负责一个模块。软件是个创造性的工作,变成流水线工业化生产也许有问题。在我们的软件开发中,往往技术是不成问题的,但是管理是个大问题。我们的软件企业中,各个员工意识不一样,在不同的阶段理解不一样,管理人员的素质也不一样。软件管理和测试是一个需要反复实践的过程,要通过反复的实践才能解决问题。这些问题根本不是培训大量的软件蓝领就能解决的。
现在关于软件工程的培训很多,如果只是讲课意义不大,这些课在学校都已经讲过了,现在要的是实践。但是,目前国内还很欠缺这种实践的机会。
的主要评测方法
简介
测试的主要评测方法包括覆盖和质量。
测试覆盖是对测试完全程度的评测,它建立在测试覆盖基础上,测试覆盖是由测试需求和测试用例的覆盖或已执行代码的覆盖表示的。
质量是对测试对象(系统或测试的应用程序)的可靠性、稳定性以及性能的评测。质量建立在对测试结果的评估和对测试过程中确定的变更请求(缺陷)的分析的基础上。
覆盖评测
覆盖指标提供了"测试的完全程度如何?"这一问题的答案。最常用的覆盖评测是基于需求的测试覆盖和基于代码的测试覆盖。简而言之,测试覆盖是就需求(基于需求的)或代码的设计/实施标准(基于代码的)而言的完全程度的任意评测,如用例的核实(基于需求的)或所有代码行的执行(基于代码的)。
系统的测试活动建立在至少一个测试覆盖策略基础上。覆盖策略陈述测试的一般目的,指导测试用例的设计。覆盖策略的陈述可以简单到只说明核实所有性能。
如果需求已经完全分类,则基于需求的覆盖策略可能足以生成测试完全程度的可计量评测。例如,如果已经确定了所有性能测试需求,则可以引用测试结果来得到评测,如已经核实了 75% 的性能测试需求。
如果应用基于代码的覆盖,则测试策略是根据测试已经执行的源代码的多少来表示的。这种测试覆盖策略类型对于安全至上的系统来说非常重要。
两种评测都可以手工得到(公式如下所示)或通过测试自动化工具计算得到。
基于需求的测试覆盖
基于需求的测试覆盖在测试生命周期中要评测多次,并在测试生命周期的里程碑处提供测试覆盖的标识(如已计划的、已实施的、已执行的和成功的测试覆盖)。
在执行测试活动中,使用两个测试覆盖评测,一个确定通过执行测试获得的测试覆盖,另一个确定成功的测试覆盖(即执行时未出现失败的测试,如没有出现缺陷或意外结果的测试)。
这些覆盖评测通过以下公式计算:
这一关于测试覆盖的陈述是有意义的,可以将其与已定义的成功标准进行对比。如果不符合该标准,则此陈述将成为预测剩余测试工作量的基础。
基于代码的测试覆盖
基于代码的测试覆盖评测测试过程中已经执行的代码的多少,与之相对的是要执行的剩余代码的多少。代码覆盖可以建立在控制流(语句、分支或路径)或数据流的基础上。控制流覆盖的目的是测试代码行、分支条件、代码中的路径或软件控制流的其他元素。数据流覆盖的目的是通过软件操作测试数据状态是否有效,例如,数据元素在使用之前是否已作定义。
基于代码的测试覆盖通过以下公式计算:
质量评测
测试覆盖的评估提供对测试完全程度的评测,在测试过程中已发现缺陷的评估提供了最佳的软件质量指标。因为质量是软件与需求相符程度的指标,所以在这种环境中,缺陷被标识为一种更改请求,该更改请求中的测试对象与需求不符。
缺陷评估可能建立在各种方法上,这些方法种类繁多,从简单的缺陷计数到严格的统计建模不一而足。
严格的评估假定测试过程中缺陷达到的比率或发现的比率。常用模型假定该比率符合泊松分布。则有关缺陷率的实际数据可以适用于这一模型。生成的评估将评估当前软件的可靠性,并且预测继续测试并排除缺陷时可靠性如何增长。该评估被描述为软件可靠性增长建模,这是一个活跃的研究领域。由于该类型的评估缺乏工具支持,所以应该慎重平衡成本与其增加价值。
缺陷分析就是分析缺陷在与缺陷关联关系的一个或多个参数值上的分布。缺陷分析提供了一个软件可靠性指标。
对于缺陷分析,常用的主要缺陷参数有四个:
查看(280)
评论(0)
收藏
分享
管理
2007-04-16 13:20:26
测试基础
软件质量
测试方法
测试过程
单元测试
集成测试
系统测试
测试覆盖率
通用测试用例写作
测试经验教训
配置管理
需求管理
同步评伸
缺陷管理
查看(347)
评论(0)
收藏
分享
管理
2007-04-16 13:12:38
有效的用例编写规则
发布时间: 2007-4-14 13:56 作者: wangguan007 来源: csdn.net
字体: 小 中 大 | 上一篇 下一篇 | 打印
第一章 什么是高质量的用例
1.1 为什么要使用用例
用例提供了一种用于构建故事的半形式框架;
在每个用例和所有描述层次中,用例都描述了错误情况的系统需求;
虽然本质上是一种功能分解技术,但用例已经成为面向对象软件开发的一个流行元素;
用例提供了可以在其上处理其他项目信息的骨架:
项目经理根据用例进行估计和发布进度;
数据及业务规则制定人员可以把自己的需求和所需用例联系起来;
用户界面设计人员可以进行设计,并将其与相关用例联系起来;
测试人员可以根据用例中描述的成功和失败情况构建测试场景(测试用例);
1.2 编写用例容易出现的问题
用户界面太多,用户界面应属于设计范畴,鼠标、按键等内容不应出现在用例中;
较低目标层次上的用例太多,无法展示系统将会给其最终用户提供什么功能;
使用用例表示非行为信息,性能需求、业务规则等不要在用例中描述;
太冗长,最好在3~9步;
目标实现不完整,尤其是错误处理;
句子片断,主、谓、宾尽量完整;
1.3 为什么使用用例模式语言
描述了用例的质量标志及其编写过程,提供了能够经受时间考验的用例改进建议;在评审用例初稿和改进其质量的过程中,这个工具能起到很大作用。
1.4 什么是模式
模式是质量标志和策略;
1.5 使用模式语言时错误观念
模式提供了一个关于其自身和模式内容的完整方法;只起补充作用
使用模式肯定会成功;
模式为老问题提供了新的解决方案;只是经常出现的问题的通用可靠方案
模式适用于所有情况;仅是处于某种上下文中的问题的解决方案
1.6 模式组织
模式分类 |
子类 |
开发模式 |
团队组织 :判断和改进用例团队组织方式的质量的模式; |
过程 :判断和改进团队用来创建用例的方法质量的模式; |
编辑 :随着潜在需求的变化和编写人员知识的增加,判断和改进单个用例的质量; |
结构模式 |
用例集 :判断和改进用例集质量的模式; |
用例 :判断和改进单个用力质量的模式; |
场景和步骤 :判断和改进用力场景以及这些场景中的步骤质量的模式; |
用例关系 :判断和改进集合中用例之间的结构关系质量的模式; |
1.7 用例的读者和编写者
有两组不同的认阅读和使用用例:(1)最终用户或业务专家;(2)程序员。
用例编写组必须包括:
至少一位具有编程背景的认,以获得描述所要求的准确性和精度;
至少一位熟知业务规则的认;
至少一位熟知在实际中如何使用系统的认;
1.7 用例的读者和编写者
有两组不同的认阅读和使用用例:(1)最终用户或业务专家;(2)程序员。
用例编写组必须包括:
至少一位具有编程背景的认,以获得描述所要求的准确性和精度;
至少一位熟知业务规则的认;
至少一位熟知在实际中如何使用系统的认;
第二章 团队
2.1 SmallWritingTeam
原因:
用例要求具有不同观点和专业知识的人编写;
将一大组人聚集在一起是困难的;
理论上,在用例上投入的人越多,就能越快的完成用例编写工作;
大的团队会变得低效;
大型编写团队可能会通过集体讨论的形式开发用例,添加许多不必要的特性;
所以:
一个由2人或3人组成的团队足够小,容易交流和达成一致;
可以使用几个SmallWritingTeam,但应当制定一位用例设计师,以保证所有用例与愿景一致。
最终目的是使过程保持在可管理状态,大的团队将在管理上投入更多的精力。
2.2 ParticipatingAudience
没有涉众提供的信息和反馈,就不能满足他们的需要;尽可能使客户和内部涉众积极参与用例开发过程。
2.3 BalancedTeam
由一些个性相似、意见相同的个人组成的团队开发用例,可能会得到一组缺乏创见、范围狭窄的用例,这种用例不能满足每个人的需要。
因此,为小组配备具有不同专长的人员,以维护开发过程中涉众的利益,确保团队中包括开发人员和最终用户。
最大好处是使编写人员在用例中使用常见的、可理解的术语。
第三章 过程
编写好的用例是极其个性化的,每个人都有他自己的风格,每个组织都有根据自己的文化和业务需要做事情的方式,因此,没有创建用例的通用过程。
3.1 BreadthBeforeDepth
原因:
需求收集是一个发现过程,用例编写是一个迭代过程;
人们很早就开始编写用例的细节;
人们浪费了精力或陷入了太多的细节,通常都会失去重点,无法描述所有可能的扩展条件;
从早期获得概述是有益的;
最初编写的细节越多,在了解系统后必须进行的改变也就越多;
所以:
通过首先开发用例的概述来保存精力,然后逐步增加细节,并行开发一组相关用例。
完成概述用例后,随着对系统了解的增多,不断提高用例精度,避免突然开发完所有用例或一次只开发一个用例的倾向。
3.2 SpiralDevelopment(螺旋式开发)
原因:
理解系统的行为可能会花掉大量时间,要求渐进式分析;
拖延是昂贵的。要尽快完成用例的编写;
对需求进行分析后,需求很可能会发生变化;
需求成本的错误是昂贵的;
所以:
以一种迭代的,宽度优先的方式开发用例,每次迭代都会提高用例集的准确性和精度。
基本过程:
从简单的东西开始,如一个参与者/用例列表;
简要描述用力主场景,即高层用例,以包含用例的主要范围;
扩展摘要的子集,并填充细节;
评审并调整;
3.3 MultipleForms
不同的项目需要不同程度的形式化,每个人对模板都有不同的偏好,要求每个人都使用相同的用例模板只会起到相反的作用。
原因:
每个人的个性、经验和经受的锻炼不同,每个开发组织都有其特有的人员、历史和文化;
不同的项目有不同的需要;
不同的编写团队需要不同程度的规范和严格度;
在组织中使用公共的编写形式有助于交流;
在同一个项目上使用不同的模板不是一个好主意;
因此:根据项目相关的风险性、项目特点,和所涉及到的人员选择用例的编写格式,并在该项目的开发过程中的组织内部使用。
3.4 TowTireReview(评审)
许多人都可能需要评审用例,这是一件昂贵耗时的事情。
原因:
对于验证和确认编写及内容来说,评审是必要的;
涉众在用例上有一种既得利益;
使每个人参与编写过程非常昂贵、麻烦并且缓慢;
如果仅由一个小的编写组进行评审,就不会考虑所有涉众的利益;
评审可能是昂贵的、乏味的、耗时的。
所以:
进行两种类型的评审:第一种是由较小的内部小组进行的评审,可能要重复进行很多次;第二种是由整个团队进行的评审,可能只进行一次。
3.5 QuittingTime
开发一个超出了涉众和开发人员需要的用例模型不仅浪费资源,而且会拖延项目进度。
原因:
忽视重要需求的巨大恐惧使构建人员和涉众延长了需求收集活动;
大多数人可以用一种合理的模糊性工作,即不言自明;
详细讲述谎言并不能使他们更为精确;
所以:
在用例完整并且符合参与者的需要后,停止开发用例;
用例模型完整性的检验:完整、可读、逻辑上正确、对开发人员足够详细。
是否识别了所有的参与者和目标并将其编成了文档?
客户及其代表是否承认用例集是完整的,而且每个用例都是可读的和正确的?
设计人员是否能够实现这些用例?
3.6 WriterLicense
小的格式差别并不重要,解决了所有系统问题后,及时还存在一些格式问题,也可以停止编写;
查看(175)
评论(0)
收藏
分享
管理
2007-04-16 13:10:44
黑盒测“外”不测“内”
发布时间: 2007-4-14 13:59 作者: 不详 来源: 赛迪网
字体: 小 中 大 | 上一篇 下一篇 | 打印
|
软件测试有许多种方法,其中黑盒测试是广泛使用的两类测试方法之一。
“黑盒”测的是功能
黑盒测试也称功能测试或数据驱动测试。它在已知产品应具有的功能的条件下,通过测试来检测每个功能是否都能正常使用。在测试时,把程序看作一个不能打开的黑盒子,在完全不考虑程序内部结构和内部特性的情况下,测试者在程序接口进行测试,它只检查程序功能是否按照需求规格说明书的规定正常使用,程序是否能适当地接收输入数据而产生正确的输出信息,并且保持外部信息(如数据库或文件)的完整性。
“黑盒”法着眼于程序外部结构、不考虑内部逻辑结构、针对软件界面和软件功能进行测试。“黑盒”法是穷举输入测试,只有把所有可能的输入都作为测试情况使用,才能以这种方法查出程序中所有的错误。实际上测试情况有无穷多个,人们不仅要测试所有合法的输入,而且还要对那些不合法但是可能的输入进行测试。
“黑盒”的两种基本方法
黑盒测试有两种基本方法,即通过测试和失败测试。
在进行通过测试时,实际上是确认软件能做什么,而不会去考验其能力如何。软件测试员只运用最简单,最直观的测试案例。
在设计和执行测试案例时,总是先要进行通过测试。在进行破坏性试验之前,看一看软件基本功能是否能够实现。这一点很重要,否则在正常使用软件时就会奇怪地发现,为什么会有那么多的软件缺陷出现?
在确信了软件正确运行之后,就可以采取各种手段通过搞“垮”软件来找出缺陷。纯粹为了破坏软件而设计和执行的测试案例,被称为失败测试或迫使出错测试。
黑盒测试的设计方法
黑盒测试是以用户的观点,从输入数据与输出数据的对应关系出发进行测试的,它不涉及到程序的内部结构。很明显,如果外部特性本身有问题或规格说明的规定有误,用黑盒测试方法是发现不了的。黑盒测试法注重于测试软件的功能需求,主要试图发现几类错误:功能不对或遗漏、界面错误、数据结构或外部数据库访问错误、性能错误、初始化和终止错误。
具体的黑盒测试方法包括等价类划分、因果图、正交实验设计法、边值分析、判定表驱动法、功能测试等。在使用时,自然要针对开发项目的特点对方法加以适当的选择。
◆ 等价类划分
等价类划分是一种典型的黑盒测试方法,用这一方法设计测试用例可以不用考虑程序的内部结构,只以对程序的要求和说明,即需求规格说明书为依据,仔细分析和推敲说明书的各项需求,特别是功能需求,把说明中对输入的要求和输出的要求区别开来并加以分解。
由于穷举测试的数量太大,以致于无法实际完成,促使我们在大量的可能数据中选取其中的一部分作为测试用例。例如,在不了解等价分配技术的前提下,测试了1+1、1+2、1+3和1+4之后,还有必要测试1+5和1+6吗?能否放心地认为它们正确吗?那么1+999…(可以输入的最大数值)呢?这个测试用例是否与其他用例不同?是否属于另外一种类别?另外一个等价区间?这是软件测试员必须考虑到的问题。
等价类别或者等价区间是指测试相同目标或者暴露相同软件缺陷的一组测试案例。 1+999…和1+13有什么区别呢?至于1+13,就像一个普通的加法,与1+5或者1+392没有什么两样,而1+999…则属于邻界的极端情况。假如输入最大允许数值,然后加1,就会出现问题——也许就是软件的缺陷。这个极端案例属于一个单独的区间,与常规数字的普通区间不同。
等价类划分的办法是把程序的输入域划分成若干部分,然后从每个部分中选取少数代表性数据当作测试用例。每一类的代表性数据在测试中的作用等价于这一类中的其他值,也就是说,如果某一类中的一个例子发现了错误,这一等价类中的其他例子也能出现同样的错误。使用这一方法设计测试用例,首先必须在分析需求规格说明的基础上划分等价类,列出等价类表。
在考虑等价类划分时,先从程序的功能说明中找出每个输入条件,然后为每个输入条件划分两个或更多个等价类。等价类可分两种情况:有效等价类和无效等价类。有效等价类是指对程序的规格说明是有意义的、合理的输人数据所构成的集合;无效等价类是指对程序的规格说明是不合理的或无意义的输人数据所构成的集合。
◆ 边界值分析
软件测试常用的一个方法是把测试工作按同样的形式划分。对数据进行软件测试,就是检查用户输入信息、返回结果以及中间计算结果是否正确。
即使是最简单的程序,要处理的数据也可能数量极大。还记得在计算器上简单加法的全部可能性吗?再想一想字处理程序、导航系统和证券交易程序。使这些数据得以测试的技巧(如果称得上的话)是,根据下列主要原则进行等价分配,以合理的方式减少测试案列:边界条件、次边界条件、空值和无效数据。
边界值分析(Boundary Value Analysis,BVA)是一种补充等价划分的测试用例设计技术,它不是选择等价类的任意元素,而是选择等价类边界的测试用例。实践证明,在设计测试用例时,对边界附近的处理必须给予足够的重视,为检验边界附近的处理专门设计测试用例,常常可以取得良好的测试效果。BVA不仅重视输人条件边界,而且也从输出域导出测试用例。
边界值设计测试遵循的五条原则:
1、如果输入条件规定了取值范围,应以该范围的边界内及刚刚超范围边界外的值作为测试用例。如以a和b为边界,测试用例应当包含a和b及略大于a和略小于b的值;
2、若规定了值的个数,分别以最大、最小个数及稍小于最小、稍大于最大个数作为测试用例;
3、针对每个输出条件使用上述1、2条原则;
4、如果程序规格说明中提到的输入输出域是个有序的集合(如顺序文件、表格等),就应注意选取有序集的第一个和最后一个元素作为测试用例;
5、分析规格说明,找出其他的可能边界条件。 |
查看(478)
评论(0)
收藏
分享
管理
2007-04-16 13:08:49
功能测试用例的书写方式
发布时间: 2007-4-14 14:00 作者: 不详 来源: 51cmm.com
字体: 小 中 大 | 上一篇 下一篇 | 打印
功能性测试用例
1. 测试的来源,即测试的需求
测试用例的主要来源有:
1) 需求说明”及相关文档
2)相关的设计说明(概要设计,详细设计等)
3)与开发组交流对需求理解的 记录(可以是开发人员的一个解释)
4)已经基本成型的UI(可以有针对性地补充一些用例)
简而言之,所有你能得到的项目文档,都尽量拿到。 从所得到的资料中,分解出若干小的“功能点”,理解“功能点”,编写相应的测试用例。
2. 用例的组织方式
不同的公司有不同的做法,原则上,只要方便管理和跟踪,怎么组织都可以的。
用例可以按大的功能块组织,如查询功能模块的用例,可以组织在一起,打印模块的测试用例,可以另外组 织在一起。
在没有专门的测试用例管理工具的情况下,用例执行后会产生2种状态:“通过”、“失败”——这样加上“未 执行”的用例的状态,共3种状态。
即从“未执行”用例中执行一个用例后,该用例状态应为“失败”或“通 过”。将同一状态的用例组织在一起。
至于用例文件格式,可以是.DOC或.XLS(如果有专门的测试用例管理工具另当别论)。
3. 用例与其他材料的关联方式,即如何解决用例跟踪的问题 测试用例面临的比较大的风险有:
需求的变更、设计的修改、需求的错误和遗漏等等。
由于用例的主要来源是需求和设计的说明,所以对用例的跟踪其实就是对需求和设计的跟踪,需求和设计的 变更势必引起测试用例的变更。
如前所说,将分解的功能点编号,与相应的用例联系起来。例如,你可以列一个表格,列出各个(编号的)功 能点和测试用例间的关联关系。
这样,当需求和设计发生变化时,你只需要跟踪“功能点”是否变化,是否增 加了新的功能点。
重要和困难的是,不手头的资料和信息一定要是最新的。
4. 一个好的用例的表述要点,即用例中应当包含的信息
一个优秀的测试用例,应该包含以下信息:
1) 软件或项目的名称
2) 软件或项目的版本(内部版本号)
3) 功能模块名
4) 测试用例的简单描述,即该用例执行的目的或方法
5) 测试用例的参考信息(便于跟踪和参考)
6) 本测试用例与其他测试用例间的依赖关系
7) 本用例的前置条件,即执行本用例必须要满足的条件,如对数据库的访问权限
8) 用例的编号(ID),如可以是 软件名称简写-功能块简写-NO.。
9) 步骤号、操作步骤描述、测试数据描述
10)预期结果(这是最重要的)和实际结果(如果有BUG管理工具,这条可以省略)
11)开发人员(必须有)和测试人员(可有可无)
12)测试执行日期
5. 给出一个测试用例的例子该范例已经包含一个测试用例的模板。
项目/软件 |
技术出口合同网络申领系统 (企业端) |
程序版本 |
1.0.25 |
|
|
|
功能模块名 |
Login |
编制人 |
xxx |
|
|
|
用例编号- |
TC-TEP_Login_1 |
编制时间 |
2002.10.12 |
|
|
|
相关的用例 |
无 |
|
|
|
|
|
功能特性 |
用户身份验证 |
|
|
|
|
|
测试目的 |
验证是否输入合法的信息,允许合法登陆,阻止非法登陆 |
|
|
|
|
|
预置条件 |
无 |
特殊规程说明 |
如数据库访问权限 |
|
|
|
参考信息 |
需求说明中关于“登陆”的说明 |
|
|
|
|
|
测试数据 |
用户名=yiyh 密码=1 |
操作步骤 |
操作描述 |
数 据 |
期望结果 |
实际结果 |
实际结果 |
|
1 |
输入用户名称,按“登陆”按钮。 |
用户名=yiyh,密码为空 |
显示警告信息“请输入用户名和密码!” |
|
|
|
2 |
输入密码,按“登陆”按钮。 |
用户名为空,密码=1 |
显示警告信息“请输入用户名和密码!” |
|
|
|
3
|
输入用户名和密码,按“登陆”按钮。
|
用户名=yiyh,密码=2
|
显示警告信息“请输入用户名和密码!”
|
|
|
|
4
|
输入用户名和密码,按“登陆”按钮。
|
用户名=xxx,密码=1
|
显示警告信息“请输入用户名和密码!”
|
|
|
|
5
|
输入用户名和密码,按“登陆”按钮。
|
用户名=xxx,密码=2
|
显示警告信息“请输入用户名和密码!”
|
|
|
|
6
|
输入用户名和密码,按“登陆”按钮。
|
用户名=空,密码=空
|
显示警告信息“请输入用户名和密码!”
|
|
|
|
7
|
输入用户名和密码,按“登陆”按钮。
|
用户名=yiyh,密码=1
|
进入系统页面。
|
|
|
|
8
|
输入用户名和密码,按“登陆”按钮。
|
用户名=Admin,密码=admin
|
进入系统维护页面。
|
|
|
|
9
|
输入用户名和密码,按“登陆”按钮。
|
用户名=yiyh',密码=1
|
显示警告信息“请输入用户名和密码!”
|
|
|
|
10 |
输入用户名和密码,按“登陆”按钮。
|
用户名=yiyh,密码=1'
|
显示警告信息“请输入用户名和密码!”
|
|
|
|
11 |
输入用户名和密码,按“重置”按钮。 |
用户名=yiyh,密码=1 |
清空输入信息 |
|
|
|
测试人员 |
|
开发人员 |
|
|
项目负责人 |
|
备注:本用例未考虑“企业代码”的输入情况;测试用例并未涵盖所有的非法输入,如非法输入中可能会有
“user=*,pw=*”的组合,对回车的默认操作,空格输入,对输入上溢的处理的处理(可能会跳过身份验证) 等等。
如果你有兴趣,至少可以再补充5-10条左右的输入组合
(当然,如果步骤超过15步,用例的易操作 性就降低,你可以再创建一个测试用例如TC-TEP_Login_2)。
查看(588)
评论(0)
收藏
分享
管理
2007-04-16 12:57:32
单元测试方法
发布时间: 2007-4-14 12:02 作者: 不详 来源: 网络
字体: 小 中 大 | 上一篇 下一篇 | 打印
|
|
单元测试的对象是软件设计的最小单位——模块。单元测试的依据是详细设描述,单元测试应对模块内所有重要的控制路径设计测试用例,以便发现模块内部的错误。单元测试多采用白盒测试技术,系统内多个模块可以并行地进行测试。 单元测试任务 单元测试任务包括:1 模块接口测试;2 模块局部数据结构测试;3 模块边界条件测试;4 模块中所有独立执行通路测试;5 模块的各条错误处理通路测试。 模块接口测试是单元测试的基础。只有在数据能正确流入、流出模块的前提下,其他测试才有意义。测试接口正确与否应该考虑下列因素: 1 输入的实际参数与形式参数的个数是否相同; 2 输入的实际参数与形式参数的属性是否匹配; 3 输入的实际参数与形式参数的量纲是否一致; 4 调用其他模块时所给实际参数的个数是否与被调模块的形参个数相同; 5 调用其他模块时所给实际参数的属性是否与被调模块的形参属性匹配; 6调用其他模块时所给实际参数的量纲是否与被调模块的形参量纲一致; 7 调用预定义函数时所用参数的个数、属性和次序是否正确; 8 是否存在与当前入口点无关的参数引用; 9 是否修改了只读型参数; 10 对全程变量的定义各模块是否一致; 11是否把某些约束作为参数传递。 如果模块内包括外部输入输出,还应该考虑下列因素: 1 文件属性是否正确; 2 OPEN/CLOSE语句是否正确; 3 格式说明与输入输出语句是否匹配; 4缓冲区大小与记录长度是否匹配; 5文件使用前是否已经打开; 6是否处理了文件尾; 7是否处理了输入/输出错误; 8输出信息中是否有文字性错误; 检查局部数据结构是为了保证临时存储在模块内的数据在程序执行过程中完整、正确。局部数据结构往往是错误的根源,应仔细设计测试用例,力求发现下面几类错误: 1 不合适或不相容的类型说明; 2变量无初值; 3变量初始化或省缺值有错; 4不正确的变量名(拼错或不正确地截断); 5出现上溢、下溢和地址异常。 除了局部数据结构外,如果可能,单元测试时还应该查清全局数据(例如FORTRAN的公用区)对模块的影响。 在模块中应对每一条独立执行路径进行测试,单元测试的基本任务是保证模块中每条语句至少执行一次。此时设计测试用例是为了发现因错误计算、不正确的比较和不适当的控制流造成的错误。此时基本路径测试和循环测试是最常用且最有效的测试技术。计算中常见的错误包括: 1 误解或用错了算符优先级; 2混合类型运算; 3变量初值错; 4精度不够; 5表达式符号错。 比较判断与控制流常常紧密相关,测试用例还应致力于发现下列错误: 1不同数据类型的对象之间进行比较; 2错误地使用逻辑运算符或优先级; 3因计算机表示的局限性,期望理论上相等而实际上不相等的两个量相等; 4比较运算或变量出错; 5循环终止条件或不可能出现; 6迭代发散时不能退出; 7错误地修改了循环变量。 一个好的设计应能预见各种出错条件,并预设各种出错处理通路,出错处理通路同样需要认真测试,测试应着重检查下列问题: 1输出的出错信息难以理解; 2记录的错误与实际遇到的错误不相符; 3在程序自定义的出错处理段运行之前,系统已介入; 4异常处理不当; 5错误陈述中未能提供足够的定位出错信息。 边界条件测试是单元测试中最后,也是最重要的一项任务。众的周知,软件经常在边界上失效,采用边界值分析技术,针对边界值及其左、右设计测试用例,很有可能发现新的错误。 单元测试过程 一般认为单元测试应紧接在编码之后,当源程序编制完成并通过复审和编译检查,便可开始单元测试。测试用例的设计应与复审工作相结合,根据设计信息选取测试数据,将增大发现上述各类错误的可能性。在确定测试用例的同时,应给出期望结果。 应为测试模块开发一个驱动模块(driver)和(或)若干个桩模块(stub),下图显示了一般单元测试的环境。驱动模块在大多数场合称为“主程序”,它接收测试数据并将这些数据传递到被测试模块,被测试模块被调用后,“主程序”打印“进入-退出”消息。 驱动模块和桩模块是测试使用的软件,而不是软件产品的组成部分,但它需要一定的开发费用。若驱动和桩模块比较简单,实际开销相对低些。遗憾的是,仅用简单的驱动模块和桩模块不能完成某些模块的测试任务,这些模块的单元测试只能采用下面讨论的综合测试方法。 提高模块的内聚度可简化单元测试,如果每个模块只能完成一个,所需测试用例数目将显著减少,模块中的错误也更容易发现。 |
查看(432)
评论(0)
收藏
分享
管理