我的地盘我做主! 博客:http://tester2test.cnblogs.com/   msn:win_soft@163.com

Rational Performance Tester与LoadRunner测试结果比对报告

上一篇 / 下一篇  2007-07-12 12:18:22 / 个人分类:性能测试

51Testing软件测试网R_"xT l)J ]w

Rational Performance Tester与LoadRunner测试结果比对报告51Testing软件测试网of1m~ qY c

Judy Shen

*g\t.k&}$Z]Y0

$Kh^w7F~8|.S0为了对比Rational Performance TesterLoadRunner的测试效果,我对XX系统的登录和A流程这两个测试点,分别用Rational Performance TesterLoadRunner进行脚本录制,并进行测试执行。下面将二者的测试结果和使用方面进行对比。

#pc B{f `7e&zF0

1       测试结果对比

6H*r8Hr!l%l#yb0注:因为Rational Performance Tester试用版只有5个用户许可证,所以下面的并发用户数以5个为上限。

{k mic&f_M0

1.1    登录

d/f~ |l9l0测试场景:

$rvw([g m%N0

XY5h&dj;h0模拟不同数量的并发用户登录系统。每个脚本按不同的用户数进行,循环1次。51Testing软件测试网#vX Pn2gpZ |

51Testing软件测试网5a\ P X4q"VG8Z

以下测试结果是在没有工作流数据的前提下进行测试得到的。

z Zy0II mB0

\ _U+QH2C)`0测试结果中记录的平均响应时间是包括下载资源(如图片)的时间。

/YwHTxW R0

并发用户数51Testing软件测试网(KVv8hd

平均响应时间(秒)51Testing软件测试网;{T(t:behz

LoadRunner

{^K F'K^"UH;T8Mw0

Rational Performance Tester

(Rh@:BfFk0
51Testing软件测试网M9S!M,I]IBTj Eq

1

+I7XeM^ g'l0
51Testing软件测试网HOuNu p e

4.851Testing软件测试网5d_Xxl o^d

br#j6KM02.451Testing软件测试网`?U0haM8B%g

%eIY@?}0351Testing软件测试网&z?U5A8Vts*a

*lz_/m7["o2V%R)R&QH@04.851Testing软件测试网 s-ZYVdhL

E+R:P^cnzY L03.151Testing软件测试网fy`(Y!|K&wT

B?t1{ ?.J1ZQP05

$`QF-A"S6z4h9{0
51Testing软件测试网/yfD6cuBb7H'r3~1Z

5.651Testing软件测试网 STc3P{

51Testing软件测试网~6_ dh$k qWU

5.651Testing软件测试网-|Q%DCNW/n'du

1.2    A流程

51Testing软件测试网r0|X mt w8Q,V,Y:Q

测试场景:

+E%wBNOD|$fK0 51Testing软件测试网7Os%O {I

在系统中没有待处理流程的前提下,模拟不同数量的并发用户登录系统。每个脚本按不同的用户数进行,循环1次。

c)_O's&v'tl0 51Testing软件测试网 r:^0VBmX^"Fo$O

每次执行A流程前,都将数据库的工作流数据清空。51Testing软件测试网tEP5N:c&lVJ

并发用户数51Testing软件测试网t)J#[F(vu~

平均响应时间(秒)

$L H Y/B+^wl7Q?0

LoadRunner

1G G3z"h#r!Q+g0

Rational Performance Tester

Gq!~0pd/or0

o7]:\,ql9X|01

:xA0F z\l x&zK0
51Testing软件测试网%jlC)f?0J

0.851Testing软件测试网&c m*W_qH

51Testing软件测试网-IP[P6V&`

1.1

FZ#Z8r.y4UCj W0
51Testing软件测试网{M0^Pp$I

3

Z j4t!AU*]0

h!J9pr8` hV_O01.1

p`Kz d}0
51Testing软件测试网+J0E!Ku S p4D

1.551Testing软件测试网fh R*o _YS5P

51Testing软件测试网l7k7|*f.Ym u*P/S*L

5

QH(FqEe,x%V0

:P`Hh@Q01.7

&dB'hh.W7b0
51Testing软件测试网8Zl%L)E%{)F X

2.6

(NOD~.V5F)pfo%E0
51Testing软件测试网6? O6~EP9[,Rt s

 

g)G"s U;o_L8w^S#Y0

2       使用对比

对比项

.Hyjf6y F"}0

LoadRunner

cj"Kh7^.? JLz0d S+x0

Rational Performance Tester51Testing软件测试网 oD+`#b{?

51Testing软件测试网Zz0Cb^ g

界面友好性51Testing软件测试网 |~Of[e9D"G

51Testing软件测试网 v"f \*I.N(bp*[e5D

纯英文界面51Testing软件测试网5G7[a4HX0Lg

51Testing软件测试网lYf V^4Mb9R0y

中文界面,系统基于Eclipse平台,界面易于理解。

(ug%A"[g k ^f6Q0

RhN"A1I:R0资源占用情况51Testing软件测试网 JLYPwL2e

51Testing软件测试网+HE/kV"a8Q'b a&Dz

进程占用50M以内的虚拟内存

^2K:U3pN,G s0
51Testing软件测试网-V3b]Zul|

进程占用的虚拟内存随着测试运行的延续而增加,占用的虚拟内存维持在100M400M51Testing软件测试网5KPq A?f.Lna ]2}

2Hj'wL.[%q`nc$?'V-M0测试录制过程

4hQ+W|t"d)Zz0

7f MH\6@'{%N.Lo0可在录制过程中添加集合点、事务等操作。

0`g1Bc)k m9dWJS!s,~0

-M1}fg4va@'|M@0登录、退出等只操作一次的部分可放在不同部分(vuser_initvuser_end)。51Testing软件测试网.rr!U({^ M+Y5YGa B

51Testing软件测试网:S_-j;rG#R3ht\

在录制过程中不能进行添加事务等操作。51Testing软件测试网 S*u(} x9G;z @B]oZ

s;EV"n*c2{0系统没有集合点的概念。

DTtc,xW-eKo0

r,U7BN-l-X` V0登录退出等只操作一次的步骤和迭代循环的部分录制在一起。51Testing软件测试网A6i/qLG ^(j8@_2F1z

51Testing软件测试网BfCA2b/G%Qf E

测试执行过程51Testing软件测试网?o8K|#m2en*?3H {

kYt]Q7h:S8bo0执行过程中的性能情况可以通过监控界面看到,且信息直观。51Testing软件测试网'\e OPhr,E

"y+Q[Sw dj L7T y$t0执行过程中能看到具体步骤的性能数据,步骤是按照函数来分的。51Testing软件测试网A{{G U

:R m*btL,zk ai0执行速度稳定,不同次数执行测试所需的时间差距不大。51Testing软件测试网:x`5L#XrW {)] I

Er:Of J\"s mGcO0执行过程中可以通过不同的Tab页面查看性能数据。

)e:m$nt8U#\8?1P Y0

X:Y%O3U2vE0执行过程中可以看到阶段的性能数据。阶段划分颗粒较大,是按照HTTP页来划分的。51Testing软件测试网+H9u(tc0ecw^K

wP;N#]CZ0执行过程不稳定,时快时慢。51Testing软件测试网pou4B B

51Testing软件测试网A't{A8Or6Z-|

测试执行结果51Testing软件测试网0uo7{5AIY

#B6U!\!r/Fu0相对较稳定,正常情况下几次执行的测试数据偏差不大。

8hvaZ2e0
51Testing软件测试网^3o6I5ZyB

执行结果的数据差距比较大。

F aF P"|0

l ]]\ Q^0下载资源所需响应时间的隔离51Testing软件测试网 E,p#oF!G;X

*M+hhU4{e{z%},D0较麻烦51Testing软件测试网 Q5R-r ti!L3x

51Testing软件测试网3X{p6~-k-U!y

可以通过创建事务的方法来区分提交请求与下载资源的所需时间。

8n6Z6ko/p P0

YOUc9eC*@s0事务的定位

_kCR hoX W0
51Testing软件测试网M3W.yW#\ O9L3ni|

容易

.Z0_3XKvh+]0
51Testing软件测试网)KPg'c+P!e

事务准确定位比较不方便,需要对系统有一定的熟悉才能准确定位。如果定位不准确,会导致测试结果有较大偏差。

j6lX7VU {0

7O F v [f)J{4CEQ0对客户端要求

E[Nka.I0
51Testing软件测试网Euu M+siNd

较低51Testing软件测试网.ZWr^1g h&`u'S

dJz Y!j/Cu0较高。现有笔记本配置,随着执行时间的延长,机器会运行越来越慢。必须重启RPT方可继续执行测试。

?]7j"?9[|4\ e0

3c_(aZ4D/TPB0 51Testing软件测试网w e'I S^P

3       小结

51Testing软件测试网,SAi3F|)Q0N9N

对比上述Rational Performance TesterLoadRunner的测试数据,差距不是很大。但是由于Rational Performance Tester的事务设置不如LoadRunner直观和易于操作,事务的定位对测试结果的准确性影响很大。例如:5个用户发起A流程时,如果事务没有设置好,得到的平均响应时间是14.2秒;经过重定位得到的平均响应时间是2.6秒。另外,测试时,资源耗费较大,对测试客户机也是一个挑战。51Testing软件测试网^HVoJ


1M P7g?(~%a)fM0
qn"_.MOBpU0
测试者家园 2006-07-28 09:09 发表评论

#\ M@DeF1G(U7v051Testing软件测试网tR9G @$N%d{;W
Link URL: http://www.cnblogs.com/tester2test/archive/2006/07/28/461819.html

TAG:

 

评分:0

我来说两句

Open Toolbar