一个大型集中项目的性能测试实例(转)
上一篇 / 下一篇 2007-03-20 12:43:49 / 个人分类:性能测试
文章出处:转载 作者:关河 发布时间:2005-11-16 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
从2004年8月底至2004年10月中,本人在北方L省的一个全省集中的交换网管项目中负责该项目的性能测试工作。该性能测试历时1个半月多,投入了3.6人月,占总的项目测试投入的17%。性能测试共进行了三轮,测试实现了预期的目标,测试过程中共发现影响性能的2级缺陷5个,三级缺陷8个,其中有一个缺陷导致了架构的部分变更。缺陷修改完成后,整个系统的采集效率提升了60%,告警入库效率提升了20%,应用的修改也使得系统具有了更强的稳定性。从测试的结果来说,本次测试取得了比较满意的效果,在测试过程中,本人也有一些心得和体会,因此,通过这篇文章记录本次性能测试的过程,希望能和各位同仁进行性能测试的更加深入的交流。51Testing软件测试网+U9o.Ll)|){,U6? 1. 背景51Testing软件测试网D+Or1A#C6C~e 本人参与的项目是一个全省大集中的交换网管项目,该项目使用的所有服务器(数据库服务器、应用服务器、采集服务器、认证服务器、WEB服务器)均部署在省中心机房,所有的数据采集和处理都在省中心完成,地市通过反拉终端通过WEB和Socket方式访问省中心的服务器。考虑全省的需要,在整个系统上线后,总的用户数应该在1500左右。 Ea ]Jn A0图1是本项目的结构示意图。 k+]E h o sej|051Testing软件测试网M3hM|@v 在我们这个系统之前,L省的交换网管采用的是本地网管理方式,也就是每个地市都有自己的本地网网管系统,对省中心提供的数据仅仅是定期的报表。采用分散的本地网网管形式,每个本地网系统仅需要支持少量本地用户的访问,因此在性能方面没有过多的考虑,也没有进行过性能方面的测试。51Testing软件测试网3_@6v0[r2sA H"m 我们为L省提供的新的解决方案是全省大集中的统一交换网管,一方面所有的用户都通过统一的平台对系统数据进行访问,另一方面,系统通过已有的DCN网络对分布在地市的网元进行采集。考虑到用户数据访问地集中、集中带来的数据访问需求的增加(在以前的老系统上,省中心只能通过地市定期的上报报表获知地市运行情况,但在新系统中,省中心要求可以随时从任一位置获取系统数据)、对网元采集的统一,新系统需要承受的压力要远远大于老系统现有压力的叠加。因此,十分有必要根据目前的情况,对整个系统进行一次较为全面的性能测试。51Testing软件测试网+@"\4AZ:A 我们的系统采用Oracle数据库,IBM MQ消息平台,采用的开发工具包括VS.NET、Perl、HP aCC和HP Temip平台。整个系统由6个Unix应用模块、8个PC应用模块和三个WEB项目构成。 7f Jk)y]c9PR/b0本次性能测试进入的条件是项目代码已经基本完成并经过集成测试,1、2级遗留BUG数为0,3级遗留BUG数不超过5个。51Testing软件测试网G8r F5C O9T 说明:对于这样一个集中式的系统,DCN网络性能其实也应该是一个被重点考虑的对象,但根据L省以前类似项目经验,目前的DCN网络足够支撑当前应用的运行,也就是说,在性能测试过程中不需要考虑由于DCN网络原因造成的数据丢失和应用程序异常的情况。 b(n[KyKnN&qE'Gn0 2. 测试计划51Testing软件测试网Z-C0]H#cWA1\ 在初步确定了性能测试的要点后,我们就可以依据更具体的要求来制定性能测试计划了,一般来说,性能测试计划需要与客户进行良好的沟通,测试目标、终止准则、策略、测试资源配备都需要和客户经过沟通才能最终确定下来。实际操作中,建议至少召开一次正式会议,会议形成的结论要用会议纪要的方式确定下来,对最终确定的测试计划需要客户的签字认可。51Testing软件测试网p}jm#v6p+~ 一份测试计划至少需要包括测试对象、测试目标、测试策略、测试终止准则、测试环境与测试工具、测试资源配置(人员与时间)几个方面的内容,本文不打算罗列出项目测试计划中的所有内容,只就主要问题进行说明。 lpp]l5H0 测试对象自然是本集中交换网管系统的性能;51Testing软件测试网l6u$bav$ks,D 测试目标在上文已经提到,需要和用户沟通,得到用户的认可。制定合理的测试目标并不容易,尤其是受限于现有项目文档的详细程序,单靠文档描述很难制定出合理的测试目标,在本项目的测试中,我们结合了文档描述、用户要求和个人经验,经过和用户的讨论,才最终确定了测试目标。51Testing软件测试网!c)E8m+X9z 根据项目要求,我们对测试总体目标定义为“验证系统的总体处理能力”,对于系统的扩展性,不作为本次测试的目标。测试结论要求给出系统能否达到设计性能、系统性能瓶颈所在。其中,“系统能够达到设计性能”是本次测试的最关注内容。 9{sd}$kVRM*V r6{0 “系统能够满足设计性能”的目标达成需要明确定义性能应该达到的指标。鉴于该部分的工作比较重要,以下将本次测试中的应达到性能指标确定过程详细给出(当然,下文的例子中并没有包含全部的数据),希望能给需要的同仁一点帮助。51Testing软件测试网"e,iC{bQ%T:Z 需求和设计阶段确定的性能相关指标是性能测试需要确定的性能指标的首要来源,对我们的这个系统而言,在需求文档中确定的指标有三个:51Testing软件测试网c}9NW PyR 1、 “能在一小时完成话务报告的采集,在5分钟内完成报表的生成”; 8p;O7G/z bh9Zp7|Iq0 2、 “具有600网元的告警和话务处理能力”; O8r)}E.jceA/o0 3、 “告警要求在5秒内呈现”; M:t {1ROZ iH0 在设计文档中,对于告警处理能力有更详细的指标定义: EzZuQI"A%[,wm0 1、 “能处理平均每秒200次的告警”; &U9u~BfO1fA0 2、 “能处理峰值为每秒600次的告警”;51Testing软件测试网F0S0X#JW/u(@'Ad 针对这两份文档中的描述,我们至少可以确定我们需要针对以下两种情况进行测试: TL!eEIRD%I%A n.Ob0 1、 针对600个网元话务报告的采集和处理进行测试,采集过程要求在一小时完成;报表生成需要在5分钟内完成; |]g%v{n0 2、 针对600个网元的告警处理能力进行测试,在告警产生的均值为200次/秒,峰值产生为600次/秒的情况下,告警从产生到呈现的时间间隔不超过5秒;51Testing软件测试网$t[ \X5Ex 粗看起来,这两个指标的定义已经很详细了,但仔细考究,其实这样的描述还是远远不够的,例如,对第一个指标,话务周期(多长时间产生一次数据)必须要指明,因为5分钟的话务周期和1小时的话务周期在处理速度上是有很大差别的;对第二个指标,必须说明在多少呈现告警客户端的条件下,因为多个告警客户端和单个告警客户端在性能上肯定会有不同。51Testing软件测试网/?W$J5w sbZ5`E 除了从文档中获取的指标外,直接从用户处获取的指标也很重要,例如,在可客户的沟通中就发现,客户对于实时性能数据的呈现时间也非常关注,但在需求中并未提到该需求,当然,通过和客户直接沟通获取的指标必须经过变更控制,在文档中变更体现后才能被正式纳入测试目标。51Testing软件测试网0g%Q FnF[ 还有一个指标的来源就是个人经验了,作为一门实践性的学科,个人经验在测试中发挥的作用也是不能忽视的,例如,根据系统的实现,在测试指标中增加“300用户并发时MQ服务器的MQ派生进程数不得超过200个”等。 zU0l7t8h]0 本次测试最终确定的需要验证的性能指标为14个,其中从文档中直接映射的为6个,从客户获得并经过变更控制认可的为2个,根据经验补充的为6个。51Testing软件测试网k4o;`m;h%Zzn 测试策略描述对整个测试采取的方法,本次测试的测试策略规定,测试最少为2轮,每轮测试应该执行所有的测试用例至少一次,在一轮测试过程中程序需要保持“锁定”,不允许进行修改,每轮测试结束后需要形成测试结果记录文档;所有的待验证指标都达到后才能称为本测试结束,测试结束后需要提供完整的测试报告,记录整个测试过程和中间结果。51Testing软件测试网lrpM)I7vw 测试终止准则确定测试终止的原则,对本次测试,我们定义了每轮的终止准则“所有测试用例至少执行一次”,定义了整个测试的终止准则“所有待验证指标都达到”。 5In|Lnf4\?L(}g0 测试环境与测试工具确定本测试需要使用的测试工具和定义需要使用的测试环境,这部分的内容非常重要,对于测试环境,在计划阶段需要尽可能地考虑到各种可能的情况,设备资源限制的情况等,否则,在测试执行时才发现环境不完整就很被动了;对于需要使用的测试工具,测试设计阶段也应该进行详细的规划,采用商用工具还是自己开发工具?到底需要哪些工具才能满足测试的需要?好的规划可以让你尽早安排相关人员的配合(例如,需要找开发人员协调开发测试工具),反之,把希望寄托在“我有XX测试工具”或是“XX测试工具据说很好用”就一定会导致测试的失败。51Testing软件测试网8k+`'bB1TV1m4C0Ui 测试资源配置描述执行本测试需要的人员和时间资源,一方面可以作为工作量的评估与项目经理和客户进行沟通,另一方面,也可以尽早规划工作安排。51Testing软件测试网C1?J;nH%APK 3. 测试用例与测试数据 G(m+a2@)L!ot HK0 确定了测试计划后,就可以针对测试计划中确定的需要测试的指标设计测试用例了。同样,设计的测试用例也需要向客户解释清楚并得到客户的认可。一般来说,客户比较关注的“这个测试用例怎么能说明系统达到了性能指标?”和“我怎么检验你的测试结果?”,因此需要通过会议或是其他方式与客户尽可能地沟通,在本项目的测试中,我们在第一轮测试中就出现了因为与客户沟通不够出现的问题,其实在测试用例执行之前,我们已经和客户进行了测试用例的确认,但在执行过程中,用户表示希望能看到更详细的中间结果,导致我们只能重新修改了部分测试工具和测试环境,导致测试执行未能按计划完成。第一轮测试完成后,我们就再次和用户对测试用例进行了详细的审核,包括每个用例的详细输入、输出,以及如何验证输出。51Testing软件测试网+q2aCQ#|'ZP 从已确定的测试指标产生测试用例没有单一的法则,这个就是测试设计员(Test Designer)的基本功了,在这里不进行描述。51Testing软件测试网NV.p!O`;U4] 关于测试用例的书写格式在51cmm和其他很多网站上都有讨论,我个人的感觉是不必要太多拘泥于测试用例的书写方式,一般只要测试用例描述清楚了测试步骤、输入、预期输
从本测试用例中可以看到,测试用例已经详细定义了用例执行的先决条件、测试输入和输出,以很直观的方式给出了测试用例的各个要素。51Testing软件测试网TDB#p m[\:o 设计测试用例的过程中,同时需要关注的是测试数据的产生和维护。51Testing软件测试网f`| `X6g{2y:i+^ 在上一个测试用例的例子中,“特定告警的详细内容”就是一个被选择的测试数据,如何选择具体的测试数据需要根据测试的具体需求而定,没有统一的法则。但在设计测试用例时,一定要明确每个用例的数据需求并将这种需求综合起来,并形成对测试环境的测试数据的维护策略,以便在测试用例执行时能顺利进行。51Testing软件测试网#r.Y&d/ko nTe[ 一般而言,我们可以考虑初始测试数据的需求、考虑测试用例之间的依赖关系、记录每个用例对数据的要求,然后最终确定需要哪些测试数据和如何维护测试数据。 l-qzJ-T0 4. 测试环境与测试工具
除了测试环境CheckList外,还需要准备一份更详细的文档,详细记录每一个环境项目的实际数据,这样的一份文档一方面可以便于对数据的审查;另一方面,在测试过程中即使人员发生变动,新参与的成员也能很快熟悉整个测试环境。 G;MIIBi7W"Y0 测试数据的可恢复性 0{{)z/@W.U8`!d.Bp0 说到测试数据,就不能不提测试数据的可恢复性。在一次测试过程中,一个用例一般都需要被多次执行,但在多次执行同一个用例时,就必须保证每次执行用例时的环境一致,因此在准备好数据,执行用例之前,必须要计划好测试完成后怎样将整个测试环境中的数据恢复,在本次测试中,我们采用的是为每个测试准备一个“回滚”脚本,该脚本用来恢复数据至测试用例执行之前。 %lyZ I J`sou:nZGI G0 测试环境的时间同步51Testing软件测试网u4kSG+y/j-DOQ 在性能测试中,尤其需要注意的是测试环境的时间同步问题。性能测试关注的是系统的总体性能表现,这些性能表现又需要通过各个模块的响应时间来体现,在本次测试中,我们在应用程序中增加了部分测试代码,测试代码通过记录关键操作的时间来完成性能指标的记录。51Testing软件测试网$Jj"}[,L ?d 基于以上的要求,整个测试环境中各台计算机的时间同步就非常重要了,如果时间不同步的话,就会造成测试结果的不准确,尤其在本次测试中,部分测试指标要求到秒级,因此,我们必须要对整个环境进行一个精确的时间同步。 S0Bf'aF g]j0 本测试的测试环境包括7台HP小型机、两台WEB服务器、一台Windows域服务器和15台加入域的PC机,在时间同步方案上,我们以一台小型机为主时间服务器,采用Windows域服务器作为Windows机器的时间服务器(域内的客户机可以实现与域服务器的自动的时间同步),利用NTP协议在Unix主机和Windows域服务器之间进行时间同步,之所以采用NTP协议,主要是因为NTP是在Internet和Unix系统上被广泛采用的协议,在Windows平台上,也有基于NTP协议的开源软件(NetTime)可以使用。51Testing软件测试网GC.SNc6_ 4.2. 测试工具51Testing软件测试网7@+WaA0?Jx 测试工具的评估和选择是测试开始之前必须进行的工作。在机械工业出版社出版的《软件测试自动化-引入,实施和管理》书中对测试工具的评估选择、应用有详细的描述,个人觉得这本书对于测试工具应用部分的说明非常不错,强烈推荐这本书给对这部分感兴趣的朋友。 "w*a-f*f zRt-z'zb0 本测试没有使用商业测试软件,主要原因在于以下几点: -oj^+[9\Ke0 1、 测试时间资源:本测试安排的时间比较紧迫,没有足够的时间用商业测试工具进行录制脚本、脚本调试维护等一系列的工作;51Testing软件测试网9WDQLI-Tmr"cD0l?7] 2、 测试工具的学习曲线:商业测试工具的应用需要一个学习曲线,整个测试团队中只有一名成员具有足够的技能,这是限制商业测试工具应用的极大障碍; |