质量严重程度标准和关闭原则

N-^P9Z u051Testing软件测试网.fm&Y m1B)Kz1t\4]

A$@R(](VG0 

我司现行关于产品质量问题严重程度的定义比较简单，可操作性不足，为了提高定义的可操作性，同时向业界标准靠拢，现调整产品质量问题严重程度的定义如下。51Testing软件测试网e!o5A7Q(H5a#m+HE D,y

问题严重程度级别判定原则：问题级别判定应该就重不就轻，当问题现象可能符合多个问题级别定义的描述时，应该选择级别最严重的作为最终的问题级别。以下的参考标准（举例）中，未给出统一的定量标准，是因为各类产品对不同功能和性能的重视程度不同，应该由各产品根据用户关注程度进行判定。各产品线可以根据下列原则性标准，制订各类产品的具体判定标准。51Testing软件测试网 W#Ol2G6D(K*| h

4I `7~5m@{0本标准主要适用于在集成测试、系统测试、α测试、β测试（试验局）、网上运行过程中发现的问题。对于单元测试及前期评审检视活动中发现的问题严重程度标准将另行定义。

n0wC-I.hX0 

l  致命

{Mj9i0P-{0定义：产品的关键功能和性能不能符合用户要求，或由于设备质量原因造成业务中断、频繁瞬断或服务质量严重下降等可能给用户收益或声誉造成较大损失的问题。

举例：（包括但不限于下列情况）51Testing软件测试网.}[\;ee-`S gg!B

n4a(zWZ0（1）整机或关键部件异常重新启动或瘫机；

（2）由于设备质量原因造成的基本业务失效、部分失效及不能稳定提供，基本业务例如附着、位置更新、路由区更新、切换、呼叫、短消息等业务，具体可以由各产品根据实际情况调整；

o:yV*O O2K9f0（3）话单无法生成，或丢失话单或话单错误并可能影响用户收益或声誉的；

（4）重要操作维护功能完全失效，例如用户无法对系统进行操作维护或操作维护经常被打断，无法登记话统任务，无法对系统进行维护，告警功能完全丧失等；

!K%F3`IqM"an0（5）系统性能基于上一个版本下降10%以上并可能影响用户收益或声誉的；

（6）按照版本升级指导书操作导致系统升级失败；51Testing软件测试网;X)d+k&|.w}\.U

（7）其他可能造成业务中断、频繁瞬断或服务质量严重下降等可能给用户收益或声誉造成较大损失的问题，例如资源大量吊死、大量消息丢失、时钟丢失无法恢复等。51Testing软件测试网4tI)P:q P)@

5g6P4w+J,B:O;I0（8）产品不符合行业规范或目标客户群所在地区的相关标准，如果不解决将导致无法在该地区销售；51Testing软件测试网%dw"eoRv

5| b#e4BG#d.g0^o0（9）不符合安全规范，在遵守安全规程进行操作维护的情况下可能造成重大人身伤亡的问题；

fk-T MD2W0说明1：系统关键部件由于异常原因发生倒换并且倒换成功，这种情况对用户应该说不会造成很大影响，但在实验室测试中，发生了异常重新启动说明系统中发生了非常严重的错误，因此仍建议作为致命问题；51Testing软件测试网s `
c6mO

说明2：关于XX软件的问题级别定义，若该软件不是作为独立的产品发布，例如XX，则对XX小概率死机问题，建议定义为严重，对频繁出现死机，影响用户正常操作的，则定义为致命。对于独立产品发布的XX软件，可以根据上述第二条自定义基本业务。

*uh\(SP;j0说明3：关于（6），只要测试人员严格按照升级指导书操作，无论是指导书错误还是版本质量原因造成的升级失败，都作为致命问题，这主要是考虑到升级失败对用户的影响是非常大的。51Testing软件测试网zT%`Ygv{)h

\#R(qK3p0 51Testing软件测试网Tm Ll2qHjn-]9f

#n,n2Mf(N:?It0 

l  严重

定义：在产品规格书或行业标准规定的条件范围内，系统的主要功能和业务性能不符合用户要求，或不能稳定运行，但仍然可以向用户提供基本的业务。51Testing软件测试网;Z [5l3b._lh { N

举例：（包括但不限于下列情况）

（1）非基本业务功能失效或部分失效，例如跟踪任务无法创建或创建后没有输出、无法取日志、一个话统任务创建失败、故障告警没有上报；51Testing软件测试网K^Ab,n

（2）基本业务功能在特定的不常见的条件下的失效，例如在某异常情况下的处理不符合协议；51Testing软件测试网}]e"Nj+\a5mU

（3）非关键性部件故障，例如监控系统故障、备板故障等，这些部件的故障不会影响用户使用基本业务；51Testing软件测试网3r X5{u)]

（4）系统数据丢失或出现不一致但不会给用户带来损失；

（5）系统未达到要求或设计的性能指标、系统或模块性能下降但不影响基本业务；51Testing软件测试网 |-O)z"g#[6tb@

q/]+oB!}-N\+[ XA:}0（6）用户资料存在严重的技术错误或缺少重要技术内容；51Testing软件测试网avq#[ei$b\"E

q:z!mG8r$CZ0（7）其他各种可能对客户造成影响但尚未影响基本业务的问题，例如单板误码率较高但还能支持基本业务、资源吊死但能通过核查恢复、少量消息丢失等；

wLSH#v1E0（8）部分主要功能操作很不方便，多数用户会认为这些操作方式显著影响工作效率；51Testing软件测试网(O0q8`r3Gpl-p2~

w;~[w,G!u0（9）不符合安全规范，在遵守安全规程进行操作维护的情况下可能造成轻微人身伤害或设备损坏的问题；

说明：对于（1），如果理解部分失效，它和一般问题中（1）中一个特例失效的区别在什么地方。举一个例子，如果一个话统任务创建失败，我们认为这是话统功能部分失效了，这是一个严重问题；如果一个话统任务的某个指标统计结果不正确，则这是一个特例失效，应该是一个一般问题。

RH[ d%O4IJm7@)J0 51Testing软件测试网cwm?L1[/v:h

l  一般51Testing软件测试网CXaf^[%_

定义：部分次要功能失效或性能略有降低，但不会造成用户收益或荣誉受损失；

~9n\d2K*u%h$^,J*^Z0举例：（包括但不限于下列情况）51Testing软件测试网?6A/v U.Q9rx(g#U

+_I1Kw.b?r@
q_0（1）非基本业务功能的一个特例失效，例如某条跟踪消息无法解释、某个话统指标统计结果不正确、参数未检查但未造成严重后果；51Testing软件测试网Y:Zq-Y+Y$no:X2_^

（2）出现异常告警/断言等但没有影响系统的正常运转；51Testing软件测试网?4}(V%]1i!_

#L$] ?WR;B G0（3）帮助文档少量内容缺失，用户文档及界面提示中存在一些不会造成严重后果的技术错误，翻译错误；

（4）不符合公司编程规范（必须遵循部分）；

（5）其他不属于致命/严重的功能失效或性能降低的问题；51Testing软件测试网vf0zy`Zs3E(|d

[n\[ir#PQ0（6）部分次要功能操作不方便；51Testing软件测试网 E7RG4?Uo

lp{
j_0（7）在某些罕见或外界强烈干扰情况下（不包括外部灾难情况）会出现短暂的次要功能失效，且能够自动恢复；51Testing软件测试网.y8M AuYxI!Zd X

说明：话统是用户用来衡量比较设备运行情况一个重要信息，因此一些关键指标的不正确通常会引起客户的高度重视，因此这些指标的不正确仍应该定为严重问题。但对没有实际网上应用经验的产品来说要定义关键指标是困难的，而话统指标又非常多，因此我们暂时把此类问题描述到一般问题中，请各产品在具体操作中掌握。

l  提示

定义：系统功能可以正常运行，但存在不影响功能正常完成的操作、理解上不合理的的问题。51Testing软件测试网,]M,W\6y

举例：（包括但不限于下列情况）

%Tyf xdCzx/Uy0（1）用户界面文字排版风格问题；

wk}0w
h5[0（2）帮助文件或提示信息可读性差、用词不当、错别字及不易于理解；

Pa^|t[:W0（3）操作维护功能使用不方便，无效命令或信息冗余，并且不方便的程度很轻微；51Testing软件测试网m@#T8k6G

（4）不符合公司编程规范（建议部分）；

-Jl3m)B9I0（5）其他不属于致命/严重/一般的问题；

N-VJf
vz7d0 51Testing软件测试网?6q;]xx z*HH/zO{

;g9n8oQt0 

2u*Q(cv?'~0 51Testing软件测试网7n}^(V:j

51Testing软件测试网D!V,zSxb

N.r+}/}]HS5R0 51Testing软件测试网T9U;~u3mt

Xr;vuv7n{u]0一、适用范围

i j"a A,E6js |` \0    本原则适用于在产品研发过程中通过“CMM过程库－缺陷跟踪”电子流进行闭环管理的所有问题单，包括但不限于开发组、测试组、制造组提交的问题单。51Testing软件测试网v |'Ayjq$B*^

二、处理原则51Testing软件测试网0e#Hr a
A8M/i+v

1、问题单必须通过回归测试，验证问题已经解决，并且没有产生新问题的情况下才能正常关闭。关闭问题单只能有两个情况：问题解决正常关闭和非问题关闭。

Magi:zJ\;ue0    特别说明：在现行CMM电子流中，没有“无法解决”这种状态，所以在实际操作中用“无法解决关闭”状态来代表。“无法解决关闭”状态的问题单不算关闭，仍然算未解决的遗留问题。计划2003年6月份推行的新版本CMM电子流中将取消“无法解决关闭”状态，改成“无法解决”状态。

2、以下几种情况下的问题单可以由测试经理进行挂起。51Testing软件测试网X1A^v} is9u"?

cL$E\es'cf0    （1）超过3个月不能重现的问题经过CCB评审后允许挂起。51Testing软件测试网b*A^w)Zx\$B$IhW

W?1]YG&g'AR0    （2）经产品决策评审以后决定在后续B版本解决的问题，可以先挂起，等新的B版本发布以后再激活解决。

;t@UYHf0    特别说明：问题挂起的主要目的在于进行一个标记，以提高项目组每周例行问题分析的效率。挂起的问题不能算解决，仍然算遗留问题。挂起操作必须由测试经理在CCB授权下统一操作。51Testing软件测试网#k3h N9^PAw

.R7y6`nm{03、以下几种情况下的问题单可以由问题提交人根据产品级CCB的授权进行“无法解决关闭”操作。

    （1）如果问题单的解决需要修改直接借用的老代码、老单板，而老代码、老单板在网上长时间运行证明比较稳定，如果修改质量风险比较大的情况下，此类问题单可以经CCB评审后进行“无法解决”处理，并对流程进行“无法解决关闭”的操作。（建议操作标准：老代码要求发布时间大于2年，网上运行量大于100套；老单板要求发布时间大于2年，网上运行量大于200PCS。）51Testing软件测试网I
R:C#e
u

EcS:yz
t0    （2）因产品所采用的操作系统、体系结构、关键套片的缺陷等原因，使解决问题单的投入产出比很小的情况下，进行“无法解决”处理，并对流程进行“无法解决关闭”的操作。这种情况下进行“无法解决关闭”的前提是问题不是致命问题，且问题的风险经过了充分的评估。51Testing软件测试网s9E,v[1zu q?

;h4ry%lP
L4aS0    （3）经过风险分析和产品级CCB评审以后决策在本R版本不解决，计划在下一个R版本解决的非致命问题单，可以进行“无法解决”处理，并对流程进行“无法解决关闭”的操作。

    特别说明：“无法解决关闭”状态的问题单不算关闭，要计算遗留问题。“无法解决关闭”只是一个状态标记，其目的对遗留问题进行区分分层，提高问题分析效率。51Testing软件测试网+t^z S-~@

 51Testing软件测试网^2SI RMm o

3A-G B vGW
r[IZ2Ia04、本R版本无法解决的问题，需要在后续R版本中解决的，无论问题在新R版本中能否解决，其在低R版本中的问题单都不能以在下一版本解决的理由进行删除或正常关闭。51Testing软件测试网J8s.g,Ccm+M$T2L

2K%@`P'|n0    本B版本无法解决的问题，需要在后续B版本中解决的，只有在新发布B版本中验证解决以后，才能关闭原问题单。51Testing软件测试网u'mu&E[4HrqV

 51Testing软件测试网&H+\&U/rZ?&u

{:Q&SWw*a%R05、平台产品的问题：业务产品上的问题单如果涉及到平台产品的，需要复制到平台产品问题单库中，在统计问题单的解决率和遗留问题时两边都要算。

Oq`$ur&Q ^NC0 51Testing软件测试网 qHyJ9j%U;p iEY

8cx&a9]qu-}[06、规避措施： 对问题仅有操作层面规避措施（需要人为干涉）的不能算解决，也不能作为问题降级的理由。实现了自动规避措施的算解决。51Testing软件测试网r3RXr3i&L

S
[dN'zt07、产品标准遵从： 对于产品不能满足国内、国际产品标准的问题，如果在规格书中没有明确说明，但实际又不遵从标准项，要算问题单。

8、规格和需求定义：规格书中有明确定义不支持的需求不算问题。 规格书中没有明确定义，但从客户的角度看对产品稳定性、对使用效果有比较大影响的需求如果没有实现要作为缺陷并记问题单。51Testing软件测试网$mv-K#{*j.S:o5t

 51Testing软件测试网/g8B1p~w(E_

9、对于经过努力仍然长期不可重现的问题，在CCB评审以后，可以作为非问题进行关闭。原则上不重现时间要超过6个月的问题单才能以非问题进行关闭。非问题关闭由测试经理根据CCB的决议进行统一操作。51Testing软件测试网Yf CA~!MQ

vh'z u,I\!oxL)b0 

#p yH$r7g`0三、操作方法51Testing软件测试网9k/y4B4vIX&Hrc

1、本原则由测试部、测试中心及各PDT测试经理负责监控执行。

tf(F$a5z8C/D02、各质量部、测试部等在计算问题解决率的时候，对挂起的问题单、“无法解决关闭或无法解决”状态的问题单仍然要算遗留问题。51Testing软件测试网 ERD*~4v#uC;k/eP

4E ] F8eL-uF0    挂起的问题单和“无法解决关闭或无法解决”的问题单算已经开发答复。问题解决率的责任对象为PDT，问题答复率的责任对象为开发组。

*?yuWb)R?V03、在版本发布和技术评审等活动中需要计算遗留问题次级的时候，对挂起问题的严重程度经风险分析后可作适当的降级处理。51Testing软件测试网-|8uu)Oi\1@

4、测试质量部、各业务部质量部负责对本原则的执行进行例行审计，对审计中发现问题的PDT给予通报批评，PDT测试经理要承担连带责任。公司质量管理部负责进行不定期审计活动，发现问题的通报研发管理办处理。51Testing软件测试网`N-Z&Th&w&e
["^o

d!e'_n+YMn1R0 

四、解释和维护51Testing软件测试网y&YY6l n w,`u*~

DJ^ l_I6}4m7f0       本原则由公司质量管理部负责解释和维护。

Oz#`#s[e0 51Testing软件测试网8~7QM!\,T q

q(ZlUq~oy0                                                    

 51Testing软件测试网&Q
z/Px"d#_/~g ZD