这个公司是“广泛测试”的先驱。有数以百万的人下载过这些未完成,充满BUG的版本。在开始的几年,几乎所有人都使用的Netscape都是测试版本。结果,大部分人都认为Netscape的软件满是BUG。即使在最后的发布版本只有很少的BUG,由于Netscape如此可恶的让人们使用满是BUG的版本,因此大部分人的印象中它的软件是非常差的。
另外,让“你的用户”做测试的重要一点就是他们会找到BUG,而且你能修复他们。不幸的是,不管是Netscape,还是地球上的其他公司,都没有人力能从2,000,000用户的BUG报告中分辨出哪个是重要的。当我要报告Netsacpe2。0的BUG时候,报告页面一直崩溃,就是不让我报告BUG。当时,Netscape就是不学乖。现在的“预览版”6。0的测试员,在新闻组抱怨BUG报告网页还是不能提交。几年后,问题一样存在。
在数以亿万的BUG报告中,我敢肯定几乎都是关于5到10个最明显的BUG。埋没在干草堆中的会有一或者两个有趣的,难以寻找的BUG,但是没有人会在这些报告中寻找这些,因此就这样丢失了。
这种形式的测试最糟糕的后果就是让人对你的公司留下坏印象。当Userland发布第一个标志性的Frontier的Windows版本,我下载了并进行了试用。不幸的是,Frontier崩溃了好几次。我是严格按照他们打印的指南操作的,然而我就是没有使用超过2分钟。我觉得Userland连最小的测试都没有做的,连正常试用都不能保证。Frontier的低质量在很长的一段时间内让我觉得非常失望。
4、每个各个的测试员都不想做测试员。
这让人很痛苦。雇一个优秀的测试员是非常困难的
测试员和程序员一样,其中最优秀的比平均水平的优秀得多。在Juno,我有有一个测试员Jill McFarlane,她找到的BUG是其他四个程序员总和的三倍。我不是在夸张,我是计算过的。她的效率比中等的测试员高十二倍。当她辞职的时候,我个CEO发了封Email,“和QA团队剩余的所有人比起来,我宁愿Jill只在星期一和星期三来工作。”
不幸的是,大部分优秀的测试员会对一天又一天重复的测试厌倦,因此最好的测试员会坚持3到4个月后就离开了。
对这种事情唯一能做的就是承认它存在,然后处理它。以下是一些建议:
- 把测试工作作为技术支持工作的提升。测试虽然很枯燥,但可能比对着电话处理愤怒的客户要好。
- 允许测试员去上一些程序课程发展他们的事业,鼓励比较优秀的测试员使用需要工具的脚本语言的测试套件。这就比一次一次的测试相同的对话框要有意思的多。
- 要认识到在你的顶尖测试员中有很大的流动性。一直保持雇佣人员。不要仅仅因为看上去人已经足够了就停止招聘。
- 寻找“非常规”人员:聪明的青少年,大学生,退休人员。你可以创造一个由两到三个全职员工和一群来自Bronx Science(纽约排名最高的高中)的孩子在暑假时候来工作赚取大学学费。
- 雇佣临时人员。如果你雇佣了大约10个人,并且让他们鼓捣你的软件几天,你会发现大量的BUG会被发现。临时人员中的两到三人可能有好的测试技巧,这些你可以雇佣来作为全职员工。也要认识到有些临时人员并不是好的测试员;送他们回家,然后继续雇佣。这就是组建临时机构的原因。
以下是建议不要做的事情:
- 想都不要想让大学CS专业毕业的学生来你这里工作都要先在QA部门待一定的时间。我见过很多这种事情。程序员并不是优秀的测试员,而且你会失去优秀的程序员,而且程序员更难被替换。
最后,不雇佣测试员最傻逼的理由:
5、我请不起测试员!
这是最愚蠢的理由,而且最容易被揭穿。
不管寻找测试员有多难,他们也比程序员更便宜。便宜很多。而且如果你不雇佣测试员,就是要让程序员做测试。如果你认为当测试员离开很糟糕,那你就对公司最优秀的程序员说“在发布之前花几个星期测试一下”,等他对这一套厌倦而辞职去加入更专业的公司的时候,你就知道替换一个明星程序员有多么昂贵,100000美元啊。替换一个程序员的价钱你可以在一年里雇佣三个测试员了。
忽视测试员是如此重大的经济上的错误,我简单的就能避免,但是很多人没有认识到。
原文链接 http://www.joelonsoftware.com/articles/fog0000000067.html