Jmeter中的几个重要测试指标释义
上一篇 / 下一篇 2011-06-08 08:51:02 / 个人分类:JMeter
Aggregate Report 是 JMeter 常用的一个 Listener,中文被翻译为“聚合报告”。今天再次有同行问到这个报告中的各项数据表示什么意思,顺便在这里公布一下,以备大家查阅。
x;bd9]-Te0
?'s.y"a W0如果大家都是做Web应用的性能测试,例如只有一个登录的请求,那么在Aggregate Report中,会显示一行数据,共有10个字段,含义分别如下。
'Q4Lo1QS?0
0FT"q2y!VD%Y0Label:每个 JMeter 的 element(例如 HTTP Request)都有一个 Name 属性,这里显示的就是 Name 属性的值51Testing软件测试网{j4P_ iOQ
-E0t A_+]
x
nB0#Samples:表示你这次测试中一共发出了多少个请求,如果模拟10个用户,每个用户迭代10次,那么这里显示10051Testing软件测试网 u5[Z4G T2I(x
51Testing软件测试网_6b\vR:y'QY
Average:平均响应时间——默认情况下是单个 Request 的平均响应时间,当使用了 Transaction Controller 时,也可以以Transaction 为单位显示平均响应时间51Testing软件测试网0[dj"d+QY
51Testing软件测试网5x+i9H%o3?7wE
Median:中位数,也就是 50% 用户的响应时间
z:v$zb/g[fJh051Testing软件测试网E#E,}'a7P2f#\/m
90% Line:90% 用户的响应时间51Testing软件测试网,~!w)L~TaH
51Testing软件测试网(~5Rnb!E
m
iY
Note:关于 50% 和 90% 并发用户数的含义,请参考下文
&{O-DlIY%u)PX0
p"~
s!V!D5R s._|y+U0http://www.cnblogs.com/jackei/archive/2006/11/11/557972.html
&`)~u n~y;c*}0
j@DsI0Min:最小响应时间51Testing软件测试网0I7^+y$}Ms+l(M
51Testing软件测试网3C!K1u_&rx!g
Max:最大响应时间51Testing软件测试网vX4q:T:u
?RNe*w
U8y0Error%:本次测试中出现错误的请求的数量/请求的总数51Testing软件测试网^Qt z;qY
L.n-gt4n0Throughput:吞吐量——默认情况下表示每秒完成的请求数(Request per Second),当使用了 Transaction Controller 时,也可以表示类似 LoadRunner 的 Transaction per Second 数
&}qKK/}3tU
}@0
#}$i8Fq/J
I3A}5o0KB/Sec:每秒从服务器端接收到的数据量,相当于LoadRunner中的Throughput/Sec
51Testing软件测试网:xzD7A^NWnMX
6oZ/Y Lw051Testing软件测试网8X a;L8~'T&}
一、基本概念51Testing软件测试网/rtD0K8~,}C0]s8J
%L~;k*{+W*[01.测试计划是使用 JMeter 进行测试的起点,它是其它 JMeter 测试元件的容器。51Testing软件测试网@TzDJSpR!R p8P
2.线程组:代表一定数量的并发用户,它可以用来模拟并发用户发送请求。实际的请求内容在Sampler中定义,它被线程组包含。可以在“测试计划->添加->线程组”来建立它,然后在线程组面板里有几个输入栏:线程数、Ramp-Up Period(in seconds)、循环次数,其中Ramp-Up Period(in seconds)表示在这时间内创建完所有的线程。如有8个线程,Ramp-Up = 200秒,那么线程的启动时间间隔为200/8=25秒,这样的好处是:一开始不会对服务器有太大的负载。线程组是为模拟并发负载而设计。51Testing软件测试网&@a3wK&yT/C6hRY
3、取样器(Sampler):模拟各种请求。所有实际的测试任务都由取样器承担,存在很多种请求。如:HTTP 、ftp请求等等。
tp
e!s-?7V04、监听器:负责收集测试结果,同时也被告知了结果显示的方式。功能是对取样器的请求结果显示、统计一些数据(吞吐量、KB/S……)等。
1yWd]f3Q06、断言:用于来判断请求响应的结果是否如用户所期望,是否正确。它可以用来隔离问题域,即在确保功能正确的前提下执行压力测试。这个限制对于有效的测试是非常有用的。
l
E#II7sv:c
t07、定时器:负责定义请求(线程)之间的延迟间隔,模拟对服务器的连续请求。
O2`\}H~z5L*N05、逻辑控制器:允许自定义JMeter发送请求的行为逻辑,它与Sampler结合使用可以模拟复杂的请求序列。
~
}mq8z1I$xic08. 配置元件维护Sampler需要的配置信息,并根据实际的需要会修改请求的内容。
ep6]y'By09. 前置处理器和后置处理器负责在生成请求之前和之后完成工作。前置处理器常常用来修改请求的设置,后置处理器则常常用来处理响应的数据。
(u*|asxD&N0
J+E;} O)kU}@051Testing软件测试网$}V3A NN&[.W(?)XE!i
51Testing软件测试网bB)C-lf&Fv
{
:Iz0~!l:D7S0二、Jmeter报告 (转载)51Testing软件测试网\D#e2\;QF{W,A5~
http://www.cnblogs.com/jackei/archive/2006/11/13/558720.html
!UB*x,J9n'wu%L K(|0
U1_E(mC\ [VS(vF01、Aggregate Report 解析51Testing软件测试网x^[I2[U
51Testing软件测试网-_0mxHag|&~(h
]
Aggregate Report 是 JMeter 常用的一个 Listener,中文被翻译为“聚合报告”。今天再次有同行问到这个报告中的各项数据表示什么意思,顺便在这里公布一下,以备大家查阅。51Testing软件测试网7X6poI2eSU'x
如果大家都是做Web应用的性能测试,例如只有一个登录的请求,那么在Aggregate Report中,会显示一行数据,共有10个字段,含义分别如下。51Testing软件测试网"E[Irb3s0pj"Ub
Label:每个 JMeter 的 element(例如 HTTP Request)都有一个 Name 属性,这里显示的就是 Name 属性的值51Testing软件测试网 t8J[0R0i!d'C
#Samples:表示你这次测试中一共发出了多少个请求,如果模拟10个用户,每个用户迭代10次,那么这里显示100
[$m]
]4Kz'p
q&r0Average:平均响应时间——默认情况下是单个 Request 的平均响应时间,当使用了 Transaction Controller 时,也可以以Transaction 为单位显示平均响应时间51Testing软件测试网qU:qr%@
Median:中位数,也就是 50% 用户的响应时间51Testing软件测试网#a(L9Sv1@4DdV
90% Line:90% 用户的响应时间
6q~aZ7_(g7W9C!P0Note:关于 50% 和 90% 并发用户数的含义,请参考下文
bV1`"u&R4eF"c1r0http://www.cnblogs.com/jackei/archive/2006/11/11/557972.html51Testing软件测试网9k?wX[&b-oA1Py K1M
Min:最小响应时间51Testing软件测试网5t5@q'H e2n6f
Max:最大响应时间51Testing软件测试网|:a:QgfX0Jz
Error%:本次测试中出现错误的请求的数量/请求的总数51Testing软件测试网#UHI:O*Ch B?E
Throughput:吞吐量——默认情况下表示每秒完成的请求数(Request per Second),当使用了 Transaction Controller 时,也可以表示类似 LoadRunner 的 Transaction per Second 数
&h7Q%s'? r-y:[QK'i)q0KB/Sec:每秒从服务器端接收到的数据量,相当于LoadRunner中的Throughput/Sec51Testing软件测试网r[
oBk?
51Testing软件测试网!yb6Xe][,G
$fIW
g5J{y4K.W~0
WoP6~hPW)v@0基本知识:51Testing软件测试网_7B|U0zv$t9H
51Testing软件测试网'R)~?g-Nd-M
J
1、吞吐量:是指在没有帧丢失的情况下,设备能够接受的最大速率。
K|6B{
^#`2q9b02、存储的最小单位是字节Byte,对于存储单位,有以下几个单位,GB、MB和KB,那么这三者之间的换算关系是:1GB=1024MB,1MB=1024KB,1KB=1024Bytes。
;V%f[&|O#i0Bit :“位”,称为bit,也就是比特,有的时候也称为位。一个字节为8位二进制表示。51Testing软件测试网(p3R*J$k#v zk
Byte:“字节”,一个字节就是8比特。51Testing软件测试网,}D0m0]8e#]&?-s
3、Mbps (million bits per second 兆位/秒) 代表每秒传输1,000,000比特。该缩写用来描述数据传输速度。例如:4Mbps=每秒钟传输4M比特。51Testing软件测试网{g m+J a])J,ViqL
数据传输速率的单位,字母b(bit)是比特和字母 B (Byte)是字节。
6n^,q$|#N-^d
@04、吞吐量与带宽的区分:吞吐量和带宽是很容易搞混的一个词,两者的单位都是Mbps.先让我们来看两者对应的英语,吞吐量:throughput ; 带宽: Max net bitrate 。当我们讨论通信链路的带宽时,一般是指链路上每秒所能传送的比特数。我们可以说以太网的带宽是10Mbps。但是,我们需要区分链路上的可用带宽(带宽)与实际链路中每秒所能传送的比特数(吞吐量)。我们倾向于用“吞吐量”一次来表示一个系统的测试性能。这样,因为实现受各种低效率因素的影响,所以由一段带宽为10Mbps的链路连接的一对节点可能只达到2Mbps的吞吐量。这样就意味着,一个主机上的应用能够以2Mbps的速度向另外的一个主机发送数据。
1Cc ~3tx2|05、方差和标准差都是用来描述一组数据的波动性的(集中还是分散),标准差的平方就是方差。方差越大,数据的波动越大。51Testing软件测试网6r&B2x8yq/]%T'n'k
51Testing软件测试网1O5\*iR7?
S:f'b_G+ZU
8]BL#_TG0三.利用BadBoy生成测试计划(测试脚本)
Ep0euu/J7R0badBoy可以非常容易的生成web的测试脚本。类似与LoadRunner的使用,输入站点的URL,点击Record开始录制。File –> Export to Jmeter ,导出为Jmeter认识的测试脚本。51Testing软件测试网xe;V%C/p[
.y*]9k-{+\-PL0
,VITZvQ1MJ0四.一个简单的测试示例思路(目前自己思路,不断改进)51Testing软件测试网a^;T8\~@;We)l
51Testing软件测试网EH`3S[
a. 需要的“测试脚本”,对应web的应用使用badboy生成测试脚本。直接导入Jmeter,进行配置。
~r\.KuZ#l4a051Testing软件测试网5~HHo S&D
b.如图51Testing软件测试网B lf!}
]g7fKOC
51Testing软件测试网I~5qo)a Eitq[O
TestPlan :是整个Jmeter测试执行的容器。51Testing软件测试网&z8zf E:{z$_9~
ThreadGroup :模拟请求,定义线程数、Ramp-Up Period、循环次数。51Testing软件测试网;sPM@ y
Step1 :循环控制器 ,控制Sample的执行次数。
`+Bo&k6R;KW0Sample取样器 :决定进行那种类型的测试,如http、ftp等。51Testing软件测试网P;^'Wts{$R&o%_
监听器 :图形结果、聚合报告。51Testing软件测试网jj]YW7Vp o
定时器 :Random类型,定义线程请求的延迟。
^;VK7[*tPvq051Testing软件测试网k)t
o~j
c.聚合报告的解释
Y1A@)D#~"Z0
#]`{4LL7lv0Label :各个模拟测试的名称
;C'R*V/oE B$x0#Samples :各个测试的样本总数51Testing软件测试网U)bLz-B`6G
Average :每个请求的平均响应时间51Testing软件测试网*[1S|)\Iq+Su
Median :中值,即50%请求的平均响应时间
_C-m4Of|$P090%Line :90%请求的响应时间51Testing软件测试网&O,jU1V/pXG
Min :最小响应时间 ,Max :最大的响应时间
U3RFT!JeX0Error% :错误响应的概率。即无法响应的概率。51Testing软件测试网\|:p?+PHL
ThroughPut :吞吐量 -- 默认情况下表示每秒完成的请求数(Request per Second)。51Testing软件测试网z)gltY{r$Q$xM
KB/Sec :每秒从服务器端接收到的数据量。51Testing软件测试网ZB"D!j rx8A4O1p?n
51Testing软件测试网@XGpjfJF
51Testing软件测试网2K:mZC3I Y
五.Jmeter常见问题 (转载) http://www.51testing.com/?uid-128005-action-viewspace-itemid-84094
p g%qo5K3j0说明:这些问答是从网上转载的,自己修改了其中的一些内容,如果大家兴趣,可以将大家在使用Jmeter的时候碰到的问题写下来,我们一起补充到这个问答里面,共同努力完善jmeter的资料。
S.M9rV)M T01. JMeter的工作原理是什么?51Testing软件测试网n};~a*b-d#vad
向服务器提交请求;从服务器取回请求返回的结果。
/N8V}v\
a;`$wO051Testing软件测试网#a
NJKTbgr
2. JMeter的作用?51Testing软件测试网dc,h
_
bqE[o
JMeter可以用于测试静态或者动态资源的性能(文件、Servlets、Perl脚本、java对象、数据库和查询、ftp服务器或者其他的资源)。JMeter用于模拟在服务器、网络或者其他对象上附加高负载以测试他们提供服务的受压能力,或者分析他们提供的服务在不同负载条件下的总性能情况。你可以用JMeter提供的图形化界面分析性能指标或者在高负载情况下测试服务器/脚本/对象的行为。51Testing软件测试网6P1w1}"yWm$E
5K;q}9cS03. 怎样能看到jmeter提供的脚本范例?
0i2mByY_G%FZ0在\JMeter\jakarta-jmeter-2.0.3\xdocs\demos目录下。51Testing软件测试网3B%b:_~+Q:S.Yq"{(H0e
51Testing软件测试网^YR]6A2}'c0A"~!W
4. 怎样设置并发用户数?
A8n%cY {8t\aJ0选中可视化界面中左边树的Test Plan节点,单击右键,选择Add-> Thread Group,其中Number of Threads参数用来设置发送请求的用户数目。51Testing软件测试网3~#}XmGh
'q'@]|2^E2Yh:a5a9Kp05. JMeter的运行指示?
O;t]BX0Jmeter在运行时,右上角有个单选框大小的小框框,运行是该框框为绿色,运行完毕后,该框框为白色。
d#mQ3e"{(dT1D0
0i.k(p@i[
B06. User Parameters的作用是什么?
,XK9p4X$t0提高脚本可用性51Testing软件测试网l
FJ6U GFI(k
51Testing软件测试网Q6G#|fF?Jr0j
7. 在result里会出现彩色字体的http response code,说明什么呢?
RX%e7e
X vX2v0Http response code是http返回值,彩色字体较引人注目,可以使用户迅速关注。象绿色的302就说明在这一步骤中,返回值取自本机的catch,而不是server。
-G*W%p3U4l0
-Sn@%Wg[4C1a08. 怎样计算Ramp-up period时间?51Testing软件测试网WX!d`qw)s
Ramp-up period是指每个请求发生的总时间间隔,单位是秒。如果Number of Threads设置为5,而Ramp-up period是10,那么每个请求之间的间隔就是10/5,也就是2秒。Ramp-up period设置为0,就是同时并发请求。51Testing软件测试网 h5ob;K&a$X!M,id)?P
(IM+F4A*f$[09. Get和Post的区别?51Testing软件测试网-aUN9`6s*mL
他们是http协议的2种不同实现方式。Get是指server从Request URL取得所需参数。从result中的request中可以看到,get可以看到参数,但是post是主动向server发送参数,所以一般看不到这些参数的。51Testing软件测试网g1@2pmk d.J
M0O|'[#KR3l010. 哪些原因可能导致error的产生?51Testing软件测试网m!bc*uI C-l\Xt
a. Http错误,包括不响应,结果找不到,数据错误等等;
j8Y6d$V?P:KJn"i5IM0b. JMeter本身原因产生的错误。
/z})[7nM;|)\&t0
)U,}3lHw;L6D011. 为什么Aggregate Report结果中的Total值不是真正的总和?
!l,~\DF3y-B0JMeter给结果中total的定义是并不完全指总和,为了方便使用,它的值表现了所在列的代表值,比如min值,它的total就是所在列的最小值。下图就是total在各列所表示的意思。51Testing软件测试网8ke*oE`&EK;tX-V
QE
51Testing软件测试网7P&oDR_+g6Mrl
12. JMeter的Thread Number是提供多个不同用户并发的功能么?51Testing软件测试网+]T\Y#KE-H
不是,Thread Number仅仅是指并发数,如果需要实现多个不同用户并发,我们应该采用其它方法,比如通过在jmeter外建立csv文件的方法来实现。51Testing软件测试网UyOO'eZ2A(Y'j
EX
51Testing软件测试网k+`F&m#B;\/\$C:i
13. 同时并发请求时,若需要模拟不同的用户同时向不同的server并发请求,怎样实现呢?
MXL\x#w0方法很灵活,我们可以将不同的server在thread里面预先写好。或者预先将固定的变量值写入csv文件,这样还可以方便修改。然后将文件添加到User Parameters。51Testing软件测试网Q
lXAm{m1a`3A
}.`(Be,n!pT h*~014. User Parameter中的DUMMY是什么意思?
X8I'N$fXAI)zJP"`Q0当其具体内容是${__CSVRead(${__property(user.dir)}${FILENAME},next())}时用来模拟读文件的下一行。51Testing软件测试网;m6K/@:{?fb`)sn7I
51Testing软件测试网
R
\%N[2s
g3?
15. 当测试对象在多server间跳转时,应该怎样处理?51Testing软件测试网;l^-Fk3}@|o
程序运行时,有些http和隐函数会携带另外的server IP,我们可以从他们的返回值中获取。
J1p(}"l\yO5M(l051Testing软件测试网 V `Lki7cA
16. 为何测试对象是http和https混杂出现?51Testing软件测试网#jbeuP3Go wb
Https是加密协议,为了安全,一般不推荐使用http,但是有些地方,使用https过于复杂或者较难实现,会采用http协议。
r-b h.`V%i0
R+wEy P.|T a017. Http和https的默认端口是什么?
{;dfro4uD0Apache server (Http)的默认端口是80;
h\7^`6^lfS,JdY;`0SSL (Https)的默认端口是443。51Testing软件测试网2R(Ul9|4YX
TI!d#E8if
S018. 为何在run时,有些页面失败,但是最后不影响结果?51Testing软件测试网&E:W
G5n
?c
原因较多,值得提及的一种是因为主流页面与它不存在依赖关系,所以即使这样的页面出错,也不会影响运行得到正常结果,但是这样会影响到测试的结果以及分析结果。51Testing软件测试网MBWE(XKxg
xO*|1R4f019. 为什么脚本刚开始运行就有错误,其后来的脚本还可运行?
?K0X%u-u0在Thread Group中有相关设置,如果选择了continue,即使前面的脚本出现错误,整个thread仍会运行直到结束。选择Stop Thread会结束当前thread;选择Stop Test则会结束全部的thread。推荐选项是Stop Thread。
3A@[8}r [ |:h9?051Testing软件测试网}7PJ_{?fK r%v
20. 在Regular expression_r Extractor会看到Template的值是$1$,这个值是什么意思呢?51Testing软件测试网l6VjsOsW
$1$是指取第一个()里面的值。如果Regular expression_r的数值有多个,用这种方法可以避免不必要的麻烦。
+cD#D$k4D5hbbd051Testing软件测试网!e(kY%megV$k&vf,f
21. Regular expression_r中的(.*)是什么意思?
oG!JD[(W'T|7g0S,b0那是一个正则表达式(regular expression_r)。’.’等同于sql语言中的’?’,表示可有可无。’*’表示0个或多个。’()’表示需要取值。(.*)表达任意长度的字符串。
L r+@?#h0
)yz\^,i{022. 在读取Regular expression_r时要注意什么?51Testing软件测试网1o'sx"A"A@3z#E+n&l;F
一定要保证所取数值的绝对唯一性。
"t c5_vd4~e~051Testing软件测试网X[(T3F
so
23. 怎样才能判断什么样的情况需要添加Regular expression_r Extractor?51Testing软件测试网
qIo;}Kt
检查Http Request中的Send Parameters,如果有某个参数是其前一个page中所没有给出的,就要到原文件中查找,并添加Regular expression_r Extractor到其前一page的http request中。51Testing软件测试网-{7PF6k6|]#B$C&w
9G6w(}K-n U4D"`024. 在自动获取的脚本中有时会出现空的http request,是什么意思呢?