网站的压力测试
上一篇 / 下一篇 2008-07-03 10:26:32 / 个人分类:LoadRunner
转载51Testing软件测试网RhS2w9d/@1@w
*Qw1ie \y0网上关于Apache + JK + Tomcat的集群配置例子很多,按着例子配置下来,基本都能运行,不过,在一些重要的地方却没有进一步的说明。这次公司一个产品就是采用Apache+JK+Tomcat集群,在整个配置、测试过程中,遇到了许多的问题,经过不断测试、摸索,最后总算是搞定了,性能也达到了预期的目标。针对网上的例子,感觉有必要再详细的介绍一下我的配置过程,对一些要特别注意的地方进行补充。
,f:|%p~$K7c q7w.wGja0
#H&M9uI
LF2kp0集群有别于分布式的解决方案,它采用的是每台服务器运行相同应用的策略,由负责平衡的服务器进行分流,这对提高整个系统的并发量及吞吐量是更有效的办法。而集群对请求的处理又有两种不同的方式:负载平衡、状态复制(即集群),状态复制需要在各服务器间复制应用状态,而负载平衡则不用,每台服务器都是独立的。实践证明,在各应用服务器之间不需要状态复制的情况下,负载平衡可以达到性能的线性增长及更高的并发需求。51Testing软件测试网p%plw f
s%s7C9Z
51Testing软件测试网4vhy\
?
J [+P
对于集群的其它基础知识,在此就不再做累赘。以下就这次Apache + JK + Tomcat的负载平衡配置进行总结,重点关注整个配置及注意事项。
Z;M:X6Vk)Gc0
6}1z&`oL,AN:Wn,p0准备软件51Testing软件测试网#}Kh8Njc*J7m2@QD
1、 Tomcat或JBoss(本文档中采用的是JBoss4.0.2);
*k.^d'c0V2eh0
c"B ckJt&X9_]02、 apache2.0.54是开源的Web服务器,下载地址为:http://www.apache.org/dist/httpd/binaries/;51Testing软件测试网#E!xS"R R
51Testing软件测试网UcH:O\9qI
3、 mod_jk-1.2.14-apache-2.0.54.so模块,jk是mod_jserv的替代者,它是Tomcat-Apache插件,为Apache和Tomcat的连接器,处理Tomcat和Apache之间的通信,在集群配置中充当负载均衡器的作用,当前的最新版本为1.2.15,不过不同JK版本与不同的Apache版本之间的搭配有一些差异,有的甚至配不起来。JK2是符合apache2.x系列的新品,但由于其配置太过麻烦,使用的人很少,所以目前已停止开发,所以我们采用了jk连接器,下载地址:http://www.apache.org/dist/tomcat/tomcat-connectors/jk/binaries/。
xv{`*l8p0
)r*c`?!@R G!W&J
E0集群与负载平衡
Itjn-zV(rH0使用mod_jk默认的以轮循方式进行平衡负载,假设有四个服务器节点,有10个请求,则四个节点分别接受请求编号如下:
-sk1_'@2l0
(dL
A6d2@'d*g!NLD0 节点1 节点2 节点3 节点4
v3b^[.tA051Testing软件测试网(B"[Ny8j
EB
1 2 3 4
#]!V
Al7J`#z{S0
-Wgw([
aZQI0 5 6 7 8
dA:oXP'tl
\+\0
"|5IF#Y q8B3{?9E0b0 9 10
&G6A2rH-l7N1?$Z7b0
U6\S![9h0而集群方式也是使用这种方法进行平衡。Tomcat中的集群原理是通过组播的方式进行节点的查找并使用TCP连接进行会话的复制。51Testing软件测试网H4AL6C4vm7exo9y
R,L-] wc/S7`bo0 集群不同于负载平衡的是,由于集群服务需要在处理请求之间不断地进行会话复制,复制后的会话将会慢慢变得庞大,因此它的资源占用率是非常高的,如果在并发量大的应用中,复制的会话大小会变得相当大,而使用的总内存更是会迅速升高。51Testing软件测试网1`"jjLl i
t;~B;L*^6rM8D3pa0 但集群的会话复制,增加了系统的高可用性。由于在每台服务器都保存有用户的Session信息,如果服务器群中某台当机,应用可以自动切换到其它服务器上继续运行,而用户的信息不会丢失,这提高了应用的冗错性。51Testing软件测试网7k)_$MTQ p9F.H
51Testing软件测试网&B5RaG${&XIO
具体采用负载平衡还是集群,这要看应用的需求了。51Testing软件测试网@*zE
VF
51Testing软件测试网:p(K7n.j ]a
安装配置Apache
]z;`~n6x-g01、下载Apache的安装程序apache_2.0.54-win32-x86-no_ssl.exe后,安装很简单,一路回车,就此略过。51Testing软件测试网 XVYdje7y.^
-O|V'cs02、安装完毕后,将下载的mod_jk-1.2.14-apache-2.0.54.so复制到Apache安装目录下的modules子目录中。
]o
S)]*Y:B a/]#h)Qfy051Testing软件测试网,mPf/f4FQd-j6b
3、然后进入Apache安装目录下的conf子目录中,打开httpd.conf配置文件,在最后插入以下一行:51Testing软件测试网|{_NW
},a4dxYB)}0Include conf/mod_jk.conf
:N^.AuT ^s9O051Testing软件测试网E5io\D,E
4、 在conf子目录下,建立一个新的配置文件:mod_jk.conf,此文件为Apache加载连接器的配置文件,文件名可修改,但要与httpd.conf中Include的文件名一致,内容如下:51Testing软件测试网N}nP/R
&USzt-s0# Load mod_jk module. Specify the filename
`-|nsYG[~ i0
rFUX[ P Rb0# of the mod_jk lib you’ve downloaded and51Testing软件测试网MWE4oO7K
51Testing软件测试网#OI,Y-gP$V5mAA
L
# installed in the previous section
~(rFI$O#]'\.L051Testing软件测试网;n^6]'sQ%R
#加载mod_jk模块
9be3k ^)mi,~9q0
xEcpL}:oA0LoadModule jk_module modules/mod_jk-1.2.14-apache-2.0.54.so
.Ggg+K
fM0
sO0O
].|lp0# Where to find workers.properties
gr.p/A:GDQ051Testing软件测试网9Z(ok"PN3DS1L
JkWorkersFile conf/workers2.properties
7y;JZ#P+N0
_f*{_c
V%A0# Where to put jk logs
gj+dSYs2dE#xZm051Testing软件测试网$Jc"x_7]IQ~*c-M
JkLogFile logs/mod_jk.log51Testing软件测试网"?C\W8y8v_p6hg
51Testing软件测试网\X2Czy`.C-r
# Set the jk log level [debug/error/info]
#Y6mI;lQ5q-V051Testing软件测试网'[&O)\mQd#P9Rn Pi'a
JkLogLevel info51Testing软件测试网]#Bc-q7@Ypt6b
6dGF2Z$@#Te&J0# Select the log format51Testing软件测试网rv.`)?!K
51Testing软件测试网w5["o wt![%N9x)P-n
JkLogStampFormat "[%a %b %d %H:%M:%S %Y] "51Testing软件测试网ct2hUsT _
%e] mO}5iEqL0# JkOptions indicate to send SSL KEY SIZE,
}Yq6JQm051Testing软件测试网"^a0g!O4z#B]
JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories51Testing软件测试网(O}WQ
FY
5~ee9h1w+V(w#n0# JkRequestLogFormat set the request format51Testing软件测试网3B/mT)mA
Y_$k'~
2[5UR?
g0JkRequestLogFormat "%w %V %T"
#F3Bs?v0
~rvZ;|}/tw0# 请求分发配置,可以配置多项
Q$_:[u7^r.H9q0
mV%Al_&j$H6S6o0JkMount /* loadbalancer
`
{8v7? N$la!M051Testing软件测试网3gt
xP!XB }#g
51Testing软件测试网'qil T;[xG
#关掉主机Lookup,如果为on,很影响性能,可以有10多秒钟的延迟。
RbC8}6q3Jz,W-{0HostnameLookups Off51Testing软件测试网'xa(`z'd*c@+L7gu
51Testing软件测试网S`|N3ly[*]P v
注:蓝色加粗的两行是重点,第一句是Apache加载JK模块用的;第二句为配置哪些URL请求将由负载平衡器来处理。51Testing软件测试网"B)csC8w
uo;Z wL
51Testing软件测试网:w8[4v'K3w$?up
5、 在conf子目录下,建立一个新的配置文件:workers2.properties,此文件为负载平衡的配置文件,文件名不能修改,这是JK默认的名字,内容如下:
y+q"Y7}vC\*m5{-e051Testing软件测试网Z7?I'V;nb
worker.list=loadbalancer51Testing软件测试网id8C Og~hk,g
o4\2~^T:v\0# Define the first node...51Testing软件测试网h[wvuQ6E
51Testing软件测试网tH5Ll3D
worker.server99.port=800951Testing软件测试网 R#t}m[0Ao
Q
Z\
aD,HU!o$oB0worker.server99.host=192.168.11.99
/L;D'p}*cH ^0
[lw{6pLr/A0worker.server99.type=ajp1351Testing软件测试网3u9mU:jn!T MQ)S`
51Testing软件测试网&u0Q!Y#[
{rH'Ms
worker.server99.lbfactor=151Testing软件测试网7xpFm6|0`
FE
51Testing软件测试网w-XIQSC%G!Dpi p
worker.server99.local_worker=1
2jy+RKbXf-]0
R|1jTFX0worker.server99.cachesize=1000
b:\
SBoSN&i051Testing软件测试网8S)^js'o4?
worker.server99.cache_timeout=60051Testing软件测试网dBs}/O2JEg
51Testing软件测试网oYksa9wl
worker.server99.socket_keepalive=1
W ^4s2?Zoh2pG w[0
UZ-P#AlKN _2r0worker.server99.socket_timeout=0
xo].i,WaG9kE0
ys
KN2p g|){/Z0worker.server99.reclycle_timeout=300
;vUtzc1fD#zlF'oT051Testing软件测试网^L` JeL
worker.server99.retries=351Testing软件测试网uBWf1K
Q/yE*u2l
51Testing软件测试网RUy.h&m;L
# Define the second node...
dbs5H;{(W1x0
YF
tq0jH*h*p0worker.server202.port=800951Testing软件测试网JSz)sO)xO[Y#]
4{y"S(@OngI0worker.server202.host=192.168.11.20251Testing软件测试网C r HSN`
51Testing软件测试网1zc+v!{;_,D5}u"h
worker.server202.type=ajp13
G~6@V ds1Zb$ae7b051Testing软件测试网0ACc%a0@*oD ~
worker.server202.lbfactor=151Testing软件测试网-kQ?1Ws:b+j
51Testing软件测试网Gh)@!SI@ c[)Q
worker.server202.local_worker=1
+\_.iu4jr&Q2b051Testing软件测试网f%P Dje.Ke |?+@
worker.server202.cachesize=1000
Xm&qW7P051Testing软件测试网/b4Po }j_$p
worker.server202.cache_timeout=60051Testing软件测试网$h3Tl e0tj3B$m!Cz
4~d0VCa4_]0worker.server202.socket_keepalive=1
\h5R8AuCn7z*L(s;k0
Y,vWFW"R0worker.server202.socket_timeout=0
!ukFQ/{ n]8\T051Testing软件测试网I&CSAWn|2{
worker.server202.reclycle_timeout=30051Testing软件测试网5?4nF2`i,g
51Testing软件测试网.l7q`D\2MoZy1jl
worker.server202.retries=351Testing软件测试网*\i4FCGxB1D/z
51Testing软件测试网0KI(U:t`
# Now we define the load-balancing behaviour51Testing软件测试网D"rD~F+Z%eHs
fevA_wY0worker.loadbalancer.type=lb51Testing软件测试网f5R%H-uaLG
Ke"O"f5K#S0worker.retries=3
#zg6p"bFc051Testing软件测试网#W9Ge
EHpi
worker.loadbalancer.balance_workers=server99 ,server20251Testing软件测试网zWU N VIc
51Testing软件测试网)ZP]]0L5r;v
worker.loadbalancer.sticky_session=true
Y
K&]4b!t{0
'{:zR(lB0worker.loadbalancer.sticky_session_force=true
|W0[sF
]N#xp051Testing软件测试网5F~a;\"llq
注:以上定义了两个worker,一个为server99,另一个为server202,定义了一个负载平衡服务器loadbalancer,其中标蓝色的为重点配置项,相关的详细说明可以看官方的网站文档:http://tomcat.apache.org/connectors-doc/,其它节点的定义可以直接Copy,修改一下节点名及IP就好了。51Testing软件测试网H1pv]U0K
A、worker.list=loadbalancer
6ixj2h2n0
Y&fQ(i:SEg$~0设定工作的负载平衡器,各Tomcat节点不能加入此列表。51Testing软件测试网;N
ef+ql
51Testing软件测试网?8C7s4g$bD,w
B、worker.server99.lbfactor
_4N3U/rR/\7@,y#O0
4B]Io kl0负载平衡的权重比,如果此权重比越大,则分配到此节点的请求越多,如以上两个节点的权重比为1:1,则为平均分配。
c3y3Cry-F|+T{051Testing软件测试网Xl-DLJ.[K+QU;b
C、worker.loadbalancer.balance_workers=server99,server20251Testing软件测试网]{!D*yjy+FTw2i,P
51Testing软件测试网#f-E6L@sQi&U
指定此负载平衡器负责的Tomcat应用节点。
h3hhj0\.X;^0
+]8mR Gr
Dd8@-F ~0D、worker.loadbalancer.sticky_session=true51Testing软件测试网q7D"ZS(EZX7b
`.qF6b+Aj0 此处指定集群是否需要会话复制,如果设为true,则表明为会话粘性,不进行会话复制,当某用户的请求第一次分发到哪台Tomcat后,后继的请求会一直分发到此Tomcat服务器上处理;如果设为false,则表明需求会话复制。
SD.JNV!\d|Z0
y
^7T)f;qp0E、worker.loadbalancer.sticky_session_force=true
!X%B;|.g"d j,OA&[0
o'D#Soz S0 如果上面的sticky_session设为true时,建议此处也设为true,此参数表明如果集群中某台Tomcat服务器在多次请求没有响应后,是否将当前的请求,转发到其它Tomcat服务器上处理;此参数在sticky_session=true时,影响比较大,会导致转发到其它Tomcat服务器上的请求,找不到原来的session,所以如果此时请求中有读取session中某些信息的话,就会导致应用的null异常。
Y2_9Z;RM`MlM
e5\051Testing软件测试网M(}-{dyC
6、Apache服务器的配置文件httpd.conf中,默认有三个参数对性能的影响比较大,但根据不同的性能要求,参数的表现又不一样,太小并发提不上去,太大性能反而不好,建议根据项目的需要,实际做个测试,如并发要求800的话,可以设定为:51Testing软件测试网t ehX n,k5b(]
2?+Ae/d6c7N^0#一个连接的最大请求数量51Testing软件测试网,XU;]%oPN1sB2D?
Jz(I
M*_'g @@0MaxKeepAliveRequests 1000(值为0,则不限制数量)51Testing软件测试网!F~9Si9GHh
51Testing软件测试网4j7_*N:aT;bdM
#每个进程的线程数,最大1920。NT只启动父子两个进程,不能设置启动多个进程51Testing软件测试网'XNdC6p|6\8w
"B2\#g:m^yY}-i|0ThreadsPerChild 1000(最大为1920)
G2h:W/A'D7Z
uy051Testing软件测试网R|QR,F,` M
#每个子进程能够处理的最大请求数
4[w^ s)l\p0
5}1]8D5T+B)F3@*j$|0MaxRequestsPerChild 1000(值为0,则不限制数量)51Testing软件测试网d*Oq@8W"p[F$dS8e
A4H#D$d*f:ixzzT*uV0这三个参数要根据不同的需求,不同的服务器进行调整。51Testing软件测试网\[+@.yS4e?
Z*P2t_%K!_#y0安装配置Tomcat或JBoss51Testing软件测试网jq"I&aL
1、对于Tomcat或JBoss的安装,这里不做说明,目前我们是采用Apache+JBoss,不过,JBoss也是用的Tomcat,所以这里的配置也是适合Tomcat的;
C)H5W3T3V0f[0
7W)BX't jF7VQ02、对于JBoss的配置,很简单,只需要改两个地方就可以了:
RW6o$HMm2]6SS0
T#i1rd s~0第一个地方:进入jboss-4.0.2\server\default\deploy\jbossweb-tomcat55.sar,打开server.xml,大约在第32行左右,有,在其中加入一个参数,变为:51Testing软件测试网K|a)z
Q)H o2?~
51Testing软件测试网USb)s_2X&o
b
Engine name="jboss.web" defaultHost="localhost">
DQlJHgSk051Testing软件测试网D/v~+hR
给它增加一个jvmRoute属性:51Testing软件测试网{r+|-lUl C5n&O
51Testing软件测试网
x\LQ3z0z\
<Engine jvmRoute="server1" name="jboss.web" defaultHost="localhost">
u4y&q