软件可靠性测试(转贴)

航天工业总公司二院204所 周新蕾 缪峥红51Testing软件测试网8My@.v,X J'AMQ
一、对软件可靠性测试的认识
kF$QR9J7JK^Bl0
,nGm o2O$Xq y01.有关术语
#z1G5o6ej0(1)软件可靠性 在规定条件下,在规定时间内,软件不引起系统失效的概率。该概率是系51Testing软件测试网NIz!S:D @4aL+k.Q
统输入和系统使用的函数,也是软件中存在故障的函数,系统输入将确定是否会遇到存在的故51Testing软件测试网Q%Mj[.v!E,k
障。51Testing软件测试网G0RSSWO'Kb
(2)软件可靠性估计 应用统计技术处理在系统测试和运行期间采集、观察到的失效数据51Testing软件测试网$x$N%G%E7_]6nH%iG.V
,以评估该软件的可靠性。51Testing软件测试网$S/F/hO@b
(3)软件可靠性测试 在有使用代表性的环境中,为进行软件可靠性估计对该软件进行的
^ K%pk;q t u \:Ubq0功能测试。51Testing软件测试网S/X(M5\~v'z4I~
需要说明的是,"使用代表性"指的是在统计意义下该环境能反映出软件的使用环境特性51Testing软件测试网VV;b6{1QK0HI
。51Testing软件测试网M+k f!w%N
51Testing软件测试网4T1VU,Mh
2.软件可靠性测试的目的
H1h6a
\C;_)\$I:[7`GN0软件可靠性测试的主要目的有:51Testing软件测试网F wd&q8P&mm.hov
(1)通过在有使用代表性的环境中执行软件,以证实软件需求是否正确实现。
mg6qs(Gao?0(2)为进行软件可靠性估计采集准确的数据。估计软件可靠性一般可分为四个步骤,即数
#i;cEkM/I~J0据采集、模型选择、模型拟合以及软件可靠性评估。可以认为,数据采集是整个软件可靠性
1Qf5C4`d Ly0估计工作的基础,数据的准确与否关系到软件可靠性评估的准确度。
-tjbK!Z-C)B'Z0(3)通过软件可靠性测试找出所有对软件可靠性影响较大的错误。51Testing软件测试网|
`k^Y kB
51Testing软件测试网6ceniWze*t
3.软件可靠性测试的特点
H3iElf fU0软件可靠性测试不同于硬件可靠性测试,这主要是因为二者失效的原因不同。硬件失效51Testing软件测试网J\1Wv`7BFVb)kx
一般是由于元器件的老化引起的,因此硬件可靠性测试强调随机选取多个相同的产品,统计它
.E9K ?w{e-H3F0们的正常运行时间。正常运行的平均时间越长,则硬件就越可靠。软件失效是由设计缺陷造
ryG,Fp9U8Z4W0成的,软件的输入决定是否会遇到软件内部存在的故障。因此,使用同样一组输入反复测试软51Testing软件测试网2}/PB8pk!~l
件并记录其失效数据是没有意义的。在软件没有改动的情况下,这种数据只是首次记录的不51Testing软件测试网&\}x
\REwyI
断重复,不能用来估计软件可靠性。软件可靠性测试强调按实际使用的概率分布随机选择输51Testing软件测试网u4w!R#d#H8p\a
入,并强调测试需求的覆盖面。51Testing软件测试网w.T Ci(CcTI
软件可靠性测试也不同于一般的软件功能测试。相比之下,软件可靠性测试更强调测试
/DOS8tD rL0输入与典型使用环境输入统计特性的一致,强调对功能、输入、数据域及其相关概率的先期
5vd ks0c g*H.Bxy/`0识别。测试实例的采样策略也不同,软件可靠性测试必须按照使用的概率分布随机地选择测
hu)a%^@DLf D)\;U
B0试实例,这样才能得到比较准确的可靠性估计,也有利于找出对软件可靠性影响较大的故障。51Testing软件测试网cS
P|I)j t
此外,软件可靠性测试过程中还要求比较准确地记录软件的运行时间,它的输入覆盖一般也要
aM&FV&S!{&H6R$Y0大于普通软件功能测试的要求。
2ef
i;zeyx
?'v0对一些特殊的软件,如容错软件、实时嵌入式软件等,进行软件可靠性测试时需要有多种51Testing软件测试网!dW kgk6]yI0b
wR
测试环境。这是因为在使用环境下常常很难在软件中植入错误,以进行针对性的测试。51Testing软件测试网w?,yeB y'`VC;a
51Testing软件测试网6i;G~R9V!E|^
4.软件可靠性测试的效果51Testing软件测试网(ct B B8U)L%I:_"QJf
软件可靠性测试是软件可靠性保证过程中非常关键的一步。经过软件可靠性测试的软件51Testing软件测试网"W(K`v2h!K
并不能保证该软件中残存的错误数最小,但可以保证该软件的可靠性达到较高的要求。从工
H&B0[P@+R*B{/UV8_Jy0程的角度来看,一个软件的可靠性高不仅意味着该软件的失效率低,而且意味着一旦该软件失51Testing软件测试网PF1oB2^ c
效,由此所造成的危害也小。一个大型的工程软件没有错误是不可能的,至少理论上还不能证51Testing软件测试网 },pFBG Ch
明一个大型的工程软件能没有错误。因此,保证软件可靠性的关键不是确保软件没有错误,而51Testing软件测试网(O~[qI
是要确保软件的关键部分没有错误。更确切地说,是要确保软件中没有对可靠性影响较大的
)j9M&gc:Y1m6r0错误。这正是软件可靠性测试的目的之一。
}YGr&@x4a6iDq0软件可靠性测试的侧重点不同于一般的软件功能测试,其测试实例设计的出发点是寻找
@pGeY:Z(O6Pw0对可靠性影响较大的故障。因此,要达到同样的可靠性要求,可靠性测试比一般的功能测试更51Testing软件测试网*N6QNOm'r
有效,所花的时间也更少。
W n0V.c^/X:J
O#oz}6w0另外,软件可靠性测试的环境是具有使用代表性的环境,这样,所获得的测试数据与软件51Testing软件测试网3tQ~0r2O
j"L3p
的实际运行数据比较接近,可用于软件可靠性估计。
F_hKV$R0总之,软件可靠性测试比一般的功能测试更加经济和有效,它可以代替一般的功能测试,51Testing软件测试网?Eg#uD
而一般的软件功能测试却不能代替软件可靠性测试,而且一般功能测试所得到的测试数据也51Testing软件测试网rSmyc
不宜用于软件可靠性估计。51Testing软件测试网F5f[JD+K

cY2T:L~w4G,M0M
r)w0二、软件可靠性测试中需注意的问题51Testing软件测试网P
Aq e
` _-Z+P_
软件可靠性测试一般可分为四个阶段:制定测试方案,制定测试计划,进行测试并记录测
5Ib#W$vvPv0试结果,编写测试报告。
]|-Hm m^X OBs0制定测试方案时需要特别注意被测功能的识别和失效等级的定义。制定测试计划时需设51Testing软件测试网4W!Ic&oI$y'r8y}+^
计测试实例,决定测试时要确定输入顺序,并确定程序输出的预期结果,这时也需注意测试覆51Testing软件测试网b
SF3op"p3A2R
盖问题。51Testing软件测试网)D3@9k8d-?G%E M

(wNN1qY d1\01.功能识别51Testing软件测试网b]*u"eN3m
软件可靠性测试的第一步就是进行功能识别,确定使用剖面。功能识别的目标是:识别所51Testing软件测试网-G9MLxjV7_
有被测功能以及执行这些功能所需的相关输入,识别每一个使用需求及其相关输入的概率分51Testing软件测试网I$Y9X
j Hvz:gH9z
布。
?l!XFP lu0为达到第一个目标,需要分析软件功能的所有集合,这些功能之间全部的约束条件,功能
%O7e!wl:Y:w9SE[0之间的独立性、相互关系和相互影响,还需分析系统的不同运行模式、失效发生时系统重构
KjxS i;k&Kf F0策略等对软件运行方式有较大影响的因素。
W4V0[+P
Q"Lx2N0第一个目标也是一般软件功能测试需要达到的目标,但第二个目标则是软件可靠性测试51Testing软件测试网X8Z\P] V&b|3t9A
特别强调的。为了得到能够反映软件使用的有代表性的概率分布,测试人员必须和系统工程51Testing软件测试网.k G(P`1i&g8L
师、系统运行分析员和顾客共同合作。需要指出的是,由于可靠性的要求,输入数据的概率分
5W'V\'ibG3m)Q{0布应包括合法数据的概率分布和非法数据的概率分布两部分。有时为了更好地反映实际使用
'Y4^
KBb/Sq#`[0状况,还需给出那些影响程序运行方式的条件,如硬件配置、负荷等的概率分布。51Testing软件测试网h;^){6b_

A;EIC }
dy5b"[02.定义换效等级51Testing软件测试网4TVd*ry!y dy LW,oC
定义失效等级主要是为了解决下面两个问题:
]:l~2H O3YgCV [I0·对发生概率小但失效后危害严重的功能需求的识别。51Testing软件测试网+vSe+IRN
·对可不查找失效原因、并不做统计的功能需求的识别。
l8u%E!~*L%B#n ox5g0在制定测试计划时,失效及其等级的定义应由测试人员、设计人员和用户共同商定,达成
'\
v
xu+g|'K0协议。一般的等级定义如表所示。51Testing软件测试网0A*Ln$ui:W J#w-B
@@16115000.GIF;表1 失效等级定义@@51Testing软件测试网0U}/k(d hv
ad
如果存在1级和2级失效可能性,那么就应该进行故障树分析,标识出所有可能造成严重失51Testing软件测试网@{A^1Ts0y
效的功能需求和其相关的输入域、外部条件和发生的可能性。
j3O wI`;U}7IV0对引起1级和2级失效的功能需求及其相关的输入域必须进行严格的强化测试。对引起351Testing软件测试网4]0j"O1Ea Yw
级失效的功能可按其发生概率选择测试实例。第4级失效可不查找原因,可在以后的版本中处51Testing软件测试网"e7Y yqm@
理。51Testing软件测试网&HC"E$`|*`n8cP
51Testing软件测试网D]\0G"?yWQ
3.可靠性测试覆盖
(hFeFui.Ap0可靠性测试必须保证输入覆盖和环境覆盖,这是准确估计软件可靠性的基础。
0VD{ F#k.F+g3R0输入覆盖包括下面几个内容:
U:\3qc;`0·输入域覆盖,即所有被测输入值域的发生概率之和必须大于软件可靠度的要求。
O5w$eKd/J%f0·重要输入变量值的覆盖。
c9N%^'HcH-n/V0·相关输入变量可能组合的覆盖,以确保相关输入变量的相互影响不会导致软件失效。
6cW6fr~S(y8\*|0·设计输入空间与实际输入空间之间区域的覆盖,即不合法输入域的覆盖。
\)~!mPT2b0·各种使用功能的覆盖。51Testing软件测试网/qlY:?lo;o
环境覆盖是指测试时必须覆盖所有可能影响程序运行方式的条件。
.g4i(T:m\8L:PXQ0
6dn;e{C@3@h~0三、软件可靠性测试的步骤
|f-I)i!L!T/y-M0软件可靠性测试分为四个阶段:51Testing软件测试网rk/}!c?aQv!S Y
51Testing软件测试网N lb7])NARO
1.制订测试方案51Testing软件测试网9F!B#L$^.mgW!S8F
本阶段的目标是识别软件功能需求,触发该功能的输入和对应的数据域,确定相关的概率
XR)ad)@0分布及需强化测试的功能。
Zj~'B)L;YK0以下是我们推荐的步骤。在一些特定的应用中,有的步骤并不是必须的。
OF/y ^aVI0(1)分析功能需求 分析各种功能需求,识别触发该功能的输入及相关的数据域(包括合法
mzE5QCd5Q9j0与不合法的两部分)。分析时要注意下述问题:
/FCN*|0Wzr+xC#|]r0·该软件是否存在不同的运行模式?如果存在,那么应列出所有的系统运行模式。
$]q;~Bl&[)G2n+E0·是否存在影响程序运行方式的外部条件?如果存在,那么有多少?它们的影响程度如何
\"g%T!O[q`0·各种功能需求之间是相互独立的还是相关的?如果相关,是密切相关还是部分相关?如51Testing软件测试网6R_ r-eF y)}J6ch)L_
果两种功能密切相关,那么可将两种功能合并为一种功能。如果功能之间为部分相关,则需列
#kXW(YFUQ0出相应输入变量的合法组合。
ao(P)}+`k3]0(2)定义失效等级 判断是否存在出现危害度较大的1级和2级失效的可能性。如果这种可51Testing软件测试网vO2o,a3o
能性存在,则应进行故障树分析,标识出所有可能造成严重失效的功能需求和其相关的输入域
+y$T(|CZ0。51Testing软件测试网B fu0t
x?k!V%OUB
(3)确定概率分布
c,Y4X'vQT%tm(n0·确定各种不同运行方式的发生概率,判断是否需要对不同的运行方式进行分别测试。
3@%Y5j jyb&Dv3qR0如果需要,则应给出各种运行方式下各数据域的概率分布;否则,给出各数据域的概率分布。
)P4`Kh.z1@u&P.C8O0·判断是否需要强化测试某些功能。
8pFl3S+M0(4)整理概率分布的信息 将这些信息编码送入数据库。51Testing软件测试网F;oiQPN,kx
51Testing软件测试网5K|aG&~ J\
2.制订测试计划
3K9\Q%U3I%z L5{0本阶段的目标是:
~NJ,@yb\0(1)根据前一阶段整理的概率分布信息生成相对应的测试实例集,并计算出每一测试实例51Testing软件测试网t T3yS[;dXD\
预期的软件输出结果。
3N2J2`| mKa0本阶段需要注意:在按概率分布随机选择生成测试实例的同时,要保证测试的覆盖面。51Testing软件测试网X7jS*hC~
(2)编写测试计划,确定测试顺序,分配测试资源。由于本阶段前一部分的工作需要考虑51Testing软件测试网)saRI[7N
大量的信息和数据,因此需要一个软件支持工具,建立数据库,并产生测试实例。另外,有时预
\j9^6c9tody,~0测软件输出结果也需要大量的计算,有些复杂的软件甚至要用到仿真器模拟输出结果。
;[&`9Vn1T/H0总之,具体实施与被测应用软件的实际功能类型有关。51Testing软件测试网%w |f7`uJ*sqz(v

F,qg7_2QO-lY03.测试51Testing软件测试网-S"ds?G0p*O
本阶段进行软件测试。需注意的是被测软件的测试环境(包括硬件配置和软件支撑环境
fE5` |5E
~W0)应和预期的实际使用环境尽可能一致,对某些环境要求比较严格的软件(如嵌入式软件)则应51Testing软件测试网9u9j.m/iC3OF!y
完全一致。51Testing软件测试网\Z8K5^&O5Y*M'X\v
测试时按测试计划和顺序对每一个测试实例进行测试,判断软件输出是否符合预期结果
N#?+{m}C'KFl0。测试时应记录测试结果、运行时间和判断结果。如果软件失效,那么还应记录失效现象和51Testing软件测试网7~
K:G0x*]"J)`P
时间,以备以后核对。51Testing软件测试网b z+D1a^#[;t7m~"Q#q
51Testing软件测试网 x4O/eFv0s {
4.编写测试报告
'I6nN"_^'{Q;H*t,Y0按软件可靠性估计的要求整理测试记录,并将结果写成报告。51Testing软件测试网!_DP
j^
笔者认为,软件可靠性测试的关键在于:51Testing软件测试网jJ
{tB5H
·对需求、输入、数据域的识别及相关概率分布的确定。
)d"M7|S'C0V$\0·按照概率分布随机生成测试实例,并确定测试顺序。51Testing软件测试网 M&aJ&p r T+q
据国外有关文献报导,这种测试方法已成功应用于大量应用软件的可靠性测试,包括一些
b&ofBW0商用软件和航空、航天电子设备中嵌入式软件的测试,其效果很好。因此,我们有必要投入一
;LzbRN!t2L0定的人力、物力,针对我们的实际需要,有目的地对各类应用软件进行软件可靠性测试,从实
8^bV)xs)q-s^0践中逐步积累经验。同时需要软件开发方和使用方共同合作,进行软件可靠性测试方法的研51Testing软件测试网4Kv0O]:b!P"Bo:o
究和有关支持工具的开发,促进我国软件可靠性水平的提高。51Testing软件测试网%?*KfI;q.QWJ

~Yhm7[/l5_7j0

（计算机世界报 1997年 第16期）51Testing软件测试网ENQ"t1R$CP'Zm

51Testing软件测试网(B%a qnc*lq}w

 

D9r"r)Y&v ua0