性能测试步骤(一)——熟悉应用
nF:~GTNW ~.L0 这是整个性能过程最关键的步骤之一,毋庸质疑。51Testing软件测试网#C7sB&`
j,P8Ep7L
我们必须了解:应用的架构51Testing软件测试网$CM[pr)P8h;J
以我熟悉的应用类型为例。了解了应用架构,我们才能知道,我们需要模拟的是:一般的html静态文件请求、一般的servlet和jsp请求、AJAX请求、还是远程调用请求等。51Testing软件测试网1jp(y{QL
我们必须了解:应用的功能逻辑51Testing软件测试网
F@b,xh
Y~
性能测试步骤(二)——测试需求
8AC9LW&y2@4C0 我们得到的测试需求往往是这么描述的:这个系统能否支撑100万的uv(每天登录系统的人次)。
z&TK-c1v!Hw"{7qJ3@0 言下之意是:按照目前的硬件性能和数量,系统能否支撑100万的uv。51Testing软件测试网2N"q1[V#G*@.K,oA
然而,我们了解的是吞吐量、响应时间等指标51Testing软件测试网$@4Y(nU^/M
吞吐量:系统每秒能处理的请求数,这个指标从服务器的视角,表征系统容量51Testing软件测试网O
Ve jrJB @1P
响应时间:从请求发出到第一个字节返回所需要的时间,这个指标从用户的视角,表征系统响应速度。
CV Ak}p0s k3v
~0 那么,请问开发同事:能把测试需求转化成我们熟悉的吞吐量和响应时间吗?51Testing软件测试网
M5Jh8] k5W*O
......
IT!o#IZw0 答案常常是否定的51Testing软件测试网*F!Bynl
怎么办:只能由我们根据经验,把100万uv转化成一系列的指标。
l/\ w8Qy}!v2@0 响应时间:根据国外的一些资料,一般操作的响应时间不能高于3~5秒;重要操作,如结账操作的响应时间不能高于15秒。
v2Y$YYj7V0 吞吐量:可以根据已经上线的类似产品进行估计。或者,采用80/20原则进行估计。我们经常使用的是80/20原则。
*Z"Rc/o5u9vI&`0 虽然已经有了响应时间和吞吐量指标,但是测试需求还是不明确的。51Testing软件测试网8Sq Lt'YQS(q
我们的测试目的是什么?
U3u-DVIE0 是验证当前硬件和软件配置能否支撑100万uv?是测试当前的硬件和软件配置最多能支撑多少uv?是帮助开发寻找性能瓶颈?
&v+n#TNpBt1P0 答案往往是:都要!
WHP!Ch0 根据我们的经验,开发的需求往往是这样的(当然开发一般不会说得那么详细,^_^):51Testing软件测试网E5Ap`7~3]1A
\,i
首先,请你们验证能否支撑100万uv。如果不能支撑,请找一下性能瓶颈。主要性能瓶颈解决后,请估计能支撑多少uv,如果不到100w,请估计要加多少机器。如果能支撑100万,请再加压,看看达到300万uv的时候,系统的性能。这么一细化,需求基本明确了。
6h#b(V_N9^fUN0 性能测试步骤(三)——测试准备
YN+A7f,pR,l-K0 测试准备包括测试客户端机器准备、测试数据准备、测试脚本准备。
+v&QHe8`4P0 客户端机器:要足够,否则,如果瓶颈在客户端,就无法评估服务端。要和服务器保持网络通畅,否则,如果瓶颈在网络,也无法评估服务端。包括:网络带宽要高于服务器吞吐量、网络带宽要稳定。51Testing软件测试网:W0gYlLik7^0~:t
测试数据51Testing软件测试网 w0P~Dv2Gv
如果被测功能涉及数据库和高速缓存,通常需要预设很大的数据量才能凸显性能瓶颈,这通常是挺困难的一个环节。
z7Wv(HnJD3RZ0 如果是已经上线的应用,数据可以从线上拷贝得到;如果还没有上线,那需要构造类似于线上的数据量。51Testing软件测试网 V5Q!Z&J8KE4Z[3g
比如,要测试群聊性能,我们首先需要注册大量用户;然后把测试用户都加入到聊天群中。51Testing软件测试网/MzcU{o`M
测试数据准备的脚本,有时候比测试脚本本身还要多。51Testing软件测试网[!Cr4MoH
对于实在没有办法构造大数据量的情况,如果要测试高速缓存,我们有时候会按数据量的比例减少高速缓存,以使测试结果尽量准确。51Testing软件测试网X'tb C.th]M1g3}
测试脚本51Testing软件测试网0yAi;g1b/k
\h
t
Grinder脚本用jython实现51Testing软件测试网ve]ta1Z5E:P$g
测试脚本的实现往往会花费比较长的时间
0Q sl%gB3]k SH.dr0 因为涉及到应用实现的细节,需要和开发不断交流才能完成。这也是需要了解应用架构的原因之一。51Testing软件测试网6[2~N#J0`/IRH
关于sleep time
Fz+EX})V4]0 基于真实模拟的考虑,sleep time还是尽量按照真实时间,并给一定的偏差。51Testing软件测试网s@3r Qjg/Zw
不过对于测试客户端来说,sleep time往往会引起很多客户端测试线程的调度,浪费客户端系统资源。
;D4ln_;y3t
Dp"i0 Sleep time越小,客户端能模拟的吞吐量就越大,所以,实际测试中,我们往往会把sleep time设置为0 。51Testing软件测试网lp ff~
性能测试步骤(四)——测试执行51Testing软件测试网N5zCNYG
测试的执行中,需要监控测试客户端和服务器性能,监控服务器端应用情况:51Testing软件测试网Z'o4J1LF CA
客户端的系统资源(cpu、io、memory)情况
D xS
P4ske.v.?0 服务端的系统资源(cpu、io、memory)情况
Mkq`/z0 服务器的jvm运行情况51Testing软件测试网g3~Xg'wHr&M$q
服务端的应用情况,看是否有异常
Q"^6x5[f N6R0 响应时间、吞吐量等指标51Testing软件测试网j:Pa%J+Y2r#s
系统资源监控,linux下可以采用的工具有:vmstat、top、meminfo等。
0{$tyz1Z\&_m1s0 JVM的监控,可以用jprofiler工具,linux下面的jmap、jhat等。51Testing软件测试网F8Bmx4x2U
响应时间、吞吐量等,由grinder提供。
7~ YcC |1E#M0 上述这些信息,一般在测试结束后,均需要归档整理,已备后续详细分析
r2a_rMu3h-KIU#G0 我们自己开发一套脚本,用于以固定的频率获取测试客户端和服务器的vmstat和top输出、grinder的log,并从中截取有用信息保存,用于事后分析。
| M pC;@9a0 每次测试运行完以后,肯定会增加很多数据,需要考虑本次执行对数据量的影响,如果数据量的变化对后续测试会有影响,则需要清理数据。51Testing软件测试网-T2}4x+S/|"K rDf4i
性能测试步骤(五)——测试分析
,ft'vu!A4}4O0 测试分析一般跟测试监控息息相关,在测试执行的过程中,用各种监控工具能看到系统运行的状态,并及时发现问题。
h7VI]Q&n0T*E2_0 常见的问题有:内存问题、有限资源竞争问题。
5HD'Iy8y0koF0 内存问题51Testing软件测试网6vYnlq4M]1`iy
从top中看tomcat的内存占用,这个是不准的,需要用专门的内存分析工具来查看。
_w#pW+XE/u0 工具:jmap,jhat,jstat,可以得到内存快照,得到堆内存的详细信息。
g/O9}]
`Md0 垃圾收集配置会影响系统性能,如果内存块生成和销毁量很大,则能看到系统吞吐量随垃圾收集呈现周期性的变化。51Testing软件测试网v8Le1?u W_
x
从理论上来说,JAVA会出现内存泄漏的情况,不过我们在被测试的应用中还没有发现过这种情况。
B+nL;Xg(LiA B
E:x0 但是,在某些系统架构下,内存会成为瓶颈问题。比如我们曾经测试过聊天系统,每个长连接需要占用5M内存,那么,一台10G内存的服务器只能保持2000个长连接。51Testing软件测试网P)q.~.}V&| B(JG~
共享资源竞争问题51Testing软件测试网s
xma+q%r[
有限资源的竞争有很多,比如Service层的一个共享对象,比如数据库连接,比如数据库中的某一个使用频率很高的数据表。
9z5~{Hx6Qu0 一个共享资源在一个时间点上,只能被一个线程获得,其他线程必须等待,这就容易造成很多线程的timed wait状态。通过jprofiler工具,能够得到线程快照,并分析改进方法。
$hJ
V-x}0 性能测试经验交流——偶然性问题51Testing软件测试网|K9{T9z
跟一般的功能测试一样,性能测试也会出现偶然性问题。51Testing软件测试网KFet3z
碰到这种问题,我们需要发挥测试人员的革命精神,追查到底。我们常发现的因素如下:
O$q k [u^+H1^b0 外部因素变化,比如,某几次测试,有时候好,有时候不好,并没有规律可循。最后发现原来是因为网络不稳定造成。请求返回变化。有时候第二次请求的内容取决于第一次的返回信息(也就是所谓的“关联”),这种关联一般通过string的parse实现,而这一般都不是很可靠,返回一旦变化,可能就会出错。
&K\yE6?Cj0 应用服务器如果是集群,一个用户请求某一台服务器能得到正确返回,但是如果换做另一个用户,可能该服务器并没有该用户的信息,所以返回错误。
'y;^ e"jo(J/NX-N0 性能测试经验交流——客户端并发
kr/h+L6n8K2L0 测试客户端要模拟高并发,必然要启动多线程,所以肯定也会存在线程并发问题。比如:51Testing软件测试网1uuq4TB6L,c's
在做参数化的时候,存储参数的数组就是一个共享对象。如果要使每个线程的每次循环都读取不一样的参数,那数组下标的更新需要注意并发问题。
T\/g[gL4hW5g0 比如,如果在脚本中要调用System.out,那么也需要注意这也是一个共享对象,如果调用System.out过多,会导致线程的等待,使客户端性能降低。51Testing软件测试网}a oqW8U7[
性能测试经验交流——测试人员
Y#C
Na5j-|e.l0 性能测试由于涉及面广,对测试人员的要求就很高。我想,性能测试人员应该培养如下几方面的能力:51Testing软件测试网&Y[ T@4U6RAM
如前所述,对应用架构的透彻理解。
+OV*x.u1@0 沟通能力,测试进行过程中,一定要培养勤于跟开发沟通的意识,以提高工作效率。51Testing软件测试网$nQDN^
解决问题的能力,在编脚本或者测试执行过程中,会碰到很多问题。首先是不要害怕,先考虑问题的可能原因,然后一步步定位、验证。当然,这个过程,需要调试等经验的不断积累。51Testing软件测试网&}*ur6_+R-~~
}puNc`0a8^od0