测试难题

转：http://blog.csdn.net/omomo/archive/2007/06/10/1646233.aspx

最近人们谈到测试，常常会听到：测试其实很复杂，所以很有前途。但具体怎么复杂却不尽其详。我觉得这篇我在微软内部测试架构师站点里读到的，Jim Moore 关于测试领域中有待解决的难题的文章很有启发。读过之后，静心想想，技术含量如何？好像蛮高的？呵呵，也许吧。这其中有些在微软已经解决了，有些却也是没有解决的。 突然发现，测试技术对一个公司来说好像还蛮秘密的，微软很多内部测试工具测试框架都不产品化，虽然那些工具看起来是可以普遍运用到业界的。
#@3s??:c8^k?o0 51Testing软件测试网$s:A*xQmG{-HG
<<翻译开始了>>
u+r rA?.B~-y0难题可以分为这么些类别：51Testing软件测试网v:W`/K,VI

质量衡量标准 (标尺)

0o&v-u.|3g0可清晰量化的衡量产品质量51Testing软件测试网5oQ wuuZ
测试覆盖率-代码块覆盖,功能覆盖,用例覆盖.... 这么多覆盖率,每个覆盖率,合理的目标是多少? 50%? 80% 100%
I}/[}&e]WU|;@*r0按照找到的缺陷数目,多少是被用户找到的,多少是被内部非测试团队找到的,多少是被测试团队找到的,以此为衡量质量的标尺之一?
ThM8V:Cf)M(W0重复发生的回归性缺陷数目 51Testing软件测试网T]4vk_
补丁和Service package数量,来衡量质量 
6t t@;u&I&eP~U"tx0我们有这么多可以用来衡量质量的标准,那么,哪些应该是核心的标准,最重要的普遍标准.怎么把各个标准和质量关联上?
Wgj3v]j\0制定发布的质量指标,怎样才是正确的指标,可以指导我们决定发布还是延迟发布产品直到我们达到该指标.51Testing软件测试网,we
Ae F
怎么定义测试效率?包括怎么衡量s变化对测试的影响..51Testing软件测试网F]4U#Z^-c6^
怎么定义测试"完成"了?
:s:u3ew u0

^ foN+ZN0复杂领域产品测试:51Testing软件测试网.G0Chz |

7gfn4x;@ s0音频和视频质量测试
3F/~M_T$A\C[0"看起来效果对吗?"
jdTR2e#~#j0"听起来效果对吗?"51Testing软件测试网j"B"k(s}E{+o8b
效果"好"吗?51Testing软件测试网4UrD~QOS
aJ3`^
各种主观类型的测试判断51Testing软件测试网#eL7d]sH"e
51Testing软件测试网
qc#^?4UIAl

测试工具对系统本身的影响(测不准原理?):

性能测试工具本身对机器性能的影响所导致的测不准效果.
,}!JeT#jf0

测试要素的各种组合(测试范围庞大):51Testing软件测试网$q_e8G-R4u

r%A\*Y/{2f0测试要素组合, 覆盖各种可能组合,将变得庞大: 操作系统 vs. 调试/发布 vs. 硬件配置 vs. 各种语言 vs. etc. vs. etc.
:Q(H9{;A%a7l2h0无穷无尽的用户可能输入.51Testing软件测试网G'Ba VF0y3r Y
有时间相关性的产品的测试.各种时间可能的穷举是无限的.
%F+k7I
hJ.@2e051Testing软件测试网p;[LU@3|"K N$Xr

:@|#yu8z[_Y0s0整个产品范围测试中的问题

整个产品的压力测试 
wIG&a-_K0这个产品性能测试 vs. 各个开发组对自己模块所作的性能测试
]ncO}0集成测试.
t4q^7@3{r051Testing软件测试网
{
zi%m:p,z

测试集优选:51Testing软件测试网b1~)f:?IW'q*V`

由时间和进度影响决定?
pZ5GXE@,yl0由用户影响决定?
L:q
A[u8P$?sK0由平均测试用例所找到的缺陷数决定? (或者考虑其他投资回报因素而决定)51Testing软件测试网'|VsD{5nL!e
挑选测试用例覆盖了所更改的代码,依此决定?
;g^K{5cc/lJ0由所要测试的代码复杂度决定?
U&D a.I-H051Testing软件测试网_+m*]ib@

项目计划安排:

[,]3L&Q)G0准确估计测试所需要的时间.
(a fdrsHt0测试团队如何参与决定项目整体进度计划.
K @Ho8L&D,j$[0敏捷快速迭代测试的计划安排.
p,|$G8w.v*e0

.y3e1A$FC'E)V`-s0测试对项目的影响:51Testing软件测试网E
B)g)x)~7x2q;k7b7Kt

?n/U `^];L0争取修复缺陷– i.e. 比如要求开发组修复缺陷,而他们回答"没人会这么做!", 这个时候怎么有理有据的坚持要求修复缺陷.
3ggt F4x6p0设计阶段的测试团队参与 – 可测试性的分析/设计.51Testing软件测试网5Q&{1]k S4V
是否该拥有对发布/不发布的决策的影响.
R'}6_L(W+C051Testing软件测试网T,[$U:^1U O]E

测试自动化:

9`tc1?M9F^0自动化测试用例的后期维护梦魇.51Testing软件测试网N/? V0k~2N
怎么模拟人眼人耳来做自动化测试(音频/视频测试)51Testing软件测试网ZG4e
h_U(FYFz
产品代码中缺乏足够的接口来支持自动化测试(比如开发人员自己画出来的控件)51Testing软件测试网B6hC7x!Gs1d*U
模拟N用户操作的自动化测试(N非常大)
,T:|*oW `&\{y7k0模拟真实的用户-- [随机的用户行为]
)^i^7_FH^0

集成测试:

集成测试中的自动化测试51Testing软件测试网*m#faJhbU
调试的责任,谁做集成测试,谁负责调试整个产品中的问题?
(X;ABo? H7Ej0集成测试应该包含哪些测试用例?51Testing软件测试网rX L O*]p7ws
51Testing软件测试网3s}8U2hWn*N

T3F7?;`$d
P0其他普遍的难题:51Testing软件测试网6UE$L7O@P"P2J
i

1M!b%e7L&UjF;c0几个版本发布之后,积累的测试代码变得臃肿和难以维护.
/mL4Oc@4}0设计不好的测试代码,重复的测试代码,各个测试自动化队伍之间缺乏总体的设计和架构避免冗余工作
]?Y|&@
F&z:L0冗余的测试用例
p2EcdaL
VA0留住有经验的测试人才
6R7`5}7K8dz\0