naotang的测试成长空间,记录工作中的问题,学习中的心得。 个人网站:www.naotang.com

『转』Apache2 MPM的选择与配置

上一篇 / 下一篇  2008-11-10 17:55:48 / 个人分类:Web测试

     谈到Apache,大多数系统管理员对其稳定版1.3印象颇深。虽然Apache 2.0的系列开发版早已由Alpha、Beta发展到现在的GA(General Availability)版,但是一些人潜意识里还认为开发版并非可用于生产环境的稳定版本。尤其是1.3版的API与2.0版不兼容,使得大量模块必须要重写才能在2.0版上使用。Apache 1.3和2.0之间的内部变化的确较大,用Apache创始人Brian Behlendorf自己的话来说:“这个版本包括了数百个新的特性,所以这个产品应该具有3.1或8i这样的产品编号,而不是2.0。”Apache 2.0中加入了很多的核心改进和新功能,如Unix线程、多协议支持、新的构建系统、对非Unix平台的更佳支持、IPv6支持、新的Apache API、过滤器、多语言错误响应、原生的Windows NT Unicode支持、更简单化的配置,以及升级的正则表达式库等。它当然还包括对许多模块的重要改进,同时也加入了一些新的模块。
0LX5};Y0h0
  为了使Apache更加平滑地从1.3版升级到2.0版,Apache开发团队做了很多工作。目前很多重要的模块已经可以很好地支持2.0版,如 PHP、FastCGI、Mod_perl、Mod_python等。在httpd.conf的指令配置语法上,目前的2.0版(2.0.45)与1.3 版的兼容性已做得相当好。比如,以前的2.0版如果要使用PHP,一般用过滤器实现;现在的PHP官方文档中已经使用1.3版中的LoadModule语句做为加载PHP的推荐方式。只要略微了解一下Apache 2.0的新特性,从1.3版升级到2.0版将是一件非常容易的事情。使用Apache 2.0是大势所趋,因为Apache的开发团队已经把开发重心转移到2.0版上。1.3版自2002年10月发布了1.3.27后一直没有新版本推出,而 2.0版在与1.3.27同时发布2.0.43后,在今年1月发布了2.0.44,并于今年3月末发布了2.0.45,并包含了很多改进和修正。
G-A&Z_S(I$V0
k J!eR2G(Z?0  MPM的引入带来性能改善
FD7w,?-^6OHAY0
lRS1Mw&e0  Apache 2.0在性能上的改善最吸引人。在支持POSIX线程的Unix系统上,Apache可以通过不同的MPM运行在一种多进程与多线程相混合的模式下,增强部分配置的可扩充性能。相比于Apache 1.3,2.0版本做了大量的优化来提升处理能力和可伸缩性,并且大多数改进在默认状态下即可生效。但是在编译和运行时刻,2.0也有许多可以显著提高性能的选择。本文不想叙述那些以功能换取速度的指令,如HostnameLookups等,而只是说明在2.0中影响性能的最核心特性:MPM(Multi -Processing Modules,多道处理模块)的基本工作原理和配置指令。
c7Vl u1\0h0
,cK0F-I8go,Y0  毫不夸张地说,MPM的引入是Apache 2.0最重要的变化。大家知道,Apache是基于模块化的设计,而Apache 2.0更扩展了模块化设计到Web服务器的最基本功能。服务器装载了一种多道处理模块,负责绑定本机网络端口、接受请求,并调度子进程来处理请求。扩展模块化设计有两个重要好处:51Testing软件测试网#l8o-C(c2cw2tD{
51Testing软件测试网f+~v"jDh
  ◆ Apache可以更简洁、有效地支持多种操作系统51Testing软件测试网W-Y*g{S

:v {-l3m]Yd0  ◆ 服务器可以按站点的特殊需要进行自定制。
o4z5e9fkq1Q,K2~ O f051Testing软件测试网2q&rN;S.v"g
  在用户级,MPM看起来和其它Apache模块非常类似。主要区别是在任意时刻只能有一种MPM被装载到服务器中。51Testing软件测试网1M O"I4Q!gV;Fk
51Testing软件测试网2hArHe(|._
  指定MPM的方法51Testing软件测试网\ g6R:w%lu!I;B
51Testing软件测试网p?"["gt G"?4]9Q T
  下面以Red Hat Linux 9为平台,说明在Apache 2.0中如何指定MPM (Apache采用2.0.45)。先解压缩源代码包httpd-2.0.45.tar.gz,生成httpd-2.0.45目录(Apache 1.3源代码包的命名规则是apache_1.3.NN.tar.gz,而2.0版则是httpd-2.0.NN.tar.gz,其中NN是次版本号)。51Testing软件测试网;|.A.y R+@'XR
51Testing软件测试网)Q(v!iqf@7\
  进入httpd-2.0.45目录,运行以下代码:51Testing软件测试网 HRN4l S(iA

kXIQ3Hd TF0
$ ./configure --help|grep mpm

NM9q$_(AO#C0
UVNO_YT K0  显示如下:
v;K[3KM2C'Mt051Testing软件测试网 lR{;a*L
--with-mpm=MPM51Testing软件测试网6~,N
xrl3d/}5L
Choose the process model for Apache to use.
w+Qoc^a}L9a0MPM={beos|worker|prefork|mpmt_os2| perchild|leader|threadpool}

]Z/j-K0o/ka0
#\+\X9~y0  上述操作用来选择要使用的进程模型,即哪种MPM模块。Beos、mpmt_os2分别是BeOS和OS/2上缺省的MPM,perchild主要设计目的是以不同的用户和组的身份来运行不同的子进程。这在运行多个需要CGI的虚拟主机时特别有用,会比1.3版中的SuExec机制做得更好。 leader和threadpool都是基于worker的变体,还处于实验性阶段,某些情况下并不会按照预期设想的那样工作,所以Apache官方也并不推荐使用。因此,我们主要阐述prefork和worker这两种和性能关系最大的产品级MPM ( 有关其它的MPM详细说明,请参见Apache官方文档:http://httpd.apache.org/docs-2.0/mod/)。
\T4U#^"`0r0
m7r)b6M!z6Jlw0  prefork的工作原理及配置51Testing软件测试网;t hA:J5S
51Testing软件测试网~6E`niRL
  如果不用“--with-mpm”显式指定某种MPM,prefork就是Unix平台上缺省的MPM。它所采用的预派生子进程方式也是Apache 1.3中采用的模式。prefork本身并没有使用到线程,2.0版使用它是为了与1.3版保持兼容性;另一方面,prefork用单独的子进程来处理不同的请求,进程之间是彼此独立的,这也使其成为最稳定的MPM之一。
1zo b Y }6z&T l\n c~051Testing软件测试网4tm*hTtv+I:x ch l
  若使用prefork,在make编译和make install安装后,使用“httpd -l”来确定当前使用的MPM,应该会看到prefork.c(如果看到worker.c说明使用的是worker MPM,依此类推)。再查看缺省生成的httpd.conf配置文件,里面包含如下配置段:51Testing软件测试网"q,@[ l r*n2@:F

#w+P;Vw ]+w0v6f%k0

A4`,a,q4t._u0StartServers 5
|X}Y-\#p zH6r6Ny0MinSpareServers 5
9E&I2r)V!GQoR%E*cy0MaxSpareServers 1051Testing软件测试网/n)h"~C||%m Q
MaxClients 150
)Y]8F,|m9}k0MaxRequestsPerChild 0

KM[f'{%zV051Testing软件测试网A1n)l;m(S2C"Y V
  prefork的工作原理是,控制进程在最初建立“StartServers”个子进程后,为了满足MinSpareServers设置的需要创建一个进程,等待一秒钟,继续创建两个,再等待一秒钟,继续创建四个……如此按指数级增加创建的进程数,最多达到每秒32个,直到满足 MinSpareServers设置的值为止。这就是预派生(prefork)的由来。这种模式可以不必在请求到来时再产生新的进程,从而减小了系统开销以增加性能。51Testing软件测试网J [NI9}'e
51Testing软件测试网h}"kUCCadV
  MaxSpareServers设置了最大的空闲进程数,如果空闲进程数大于这个值,Apache会自动kill掉一些多余进程。这个值不要设得过大,但如果设的值比MinSpareServers小,Apache会自动把其调整为MinSpareServers+ 1。如果站点负载较大,可考虑同时加大MinSpareServers和MaxSpareServers。51Testing软件测试网(ffxv8C

7WE(Kexw.y0   MaxRequestsPerChild设置的是每个子进程可处理的请求数。每个子进程在处理了“MaxRequestsPerChild”个请求后将自动销毁。0意味着无限,即子进程永不销毁。虽然缺省设为0可以使每个子进程处理更多的请求,但如果设成非零值也有两点重要的好处:
n-lpF6F XP:|051Testing软件测试网#d+GDi#Es4m-O#T
  ◆ 可防止意外的内存泄漏;51Testing软件测试网ha2_8_#v"Z(c7i1Se0n7x
51Testing软件测试网3K TXhS+v]
  ◆ 在服务器负载下降的时侯会自动减少子进程数。51Testing软件测试网2Z6^W5d5LI

1I;S,})k:SRMh0  因此,可根据服务器的负载来调整这个值。笔者认为10000左右比较合适。51Testing软件测试网%pc8]vk7]:{&nI0@i
51Testing软件测试网xR1Y|'m U#z
  MaxClients是这些指令中最为重要的一个,设定的是Apache可以同时处理的请求,是对Apache性能影响最大的参数。其缺省值150是远远不够的,如果请求总数已达到这个值(可通过ps -ef|grep http|wc -l来确认),那么后面的请求就要排队,直到某个已处理请求完毕。这就是系统资源还剩下很多而HTTP访问却很慢的主要原因。系统管理员可以根据硬件配置和负载情况来动态调整这个值。虽然理论上这个值越大,可以处理的请求就越多,但Apache默认的限制不能大于256。如果把这个值设为大于256,那么 Apache将无法起动。事实上,256对于负载稍重的站点也是不够的。在Apache 1.3中,这是个硬限制。如果要加大这个值,必须在“configure”前手工修改的源代码树下的src/include/httpd.h中查找 256,就会发现“#define HARD_SERVER_LIMIT 256”这行。把256改为要增大的值(如4000),然后重新编译Apache即可。在Apache 2.0中新加入了ServerLimit指令,使得无须重编译Apache就可以加大MaxClients。下面是笔者的prefork配置段:
_9h-[4xQ.p0
h\B"@(T `#e)QB0

'S3V;uTzp9e0StartServers 10
CW:j(z(I:o{'s#v8l+JA0MinSpareServers 1051Testing软件测试网!n&qD c+|jj2O
MaxSpareServers 1551Testing软件测试网IR!@0M5S3L,A.Z
ServerLimit 2000
!Q p&^1F [/QlJ~0MaxClients 1000
'Q'x:u;D)`v0MaxRequestsPerChild 10000
51Testing软件测试网!cv/iDprh w%BV'E

ra;hq^9a0  上述配置中,ServerLimit的最大值是20000,对于大多数站点已经足够。如果一定要再加大这个数值,对位于源代码树下server/mpm/prefork/prefork.c中以下两行做相应修改即可:
sX2J2}(_8jU0
!Rg2VGq F0
#define DEFAULT_SERVER_LIMIT 25651Testing软件测试网%dH6J*W8X]
N
#define MAX_SERVER_LIMIT 20000
51Testing软件测试网6n%~ir#`.xo7^

$Ad1apT6TD0  worker的工作原理及配置51Testing软件测试网oYuXL%t{]~9h
51Testing软件测试网)`nn)bZ
  相对于prefork,worker是2.0 版中全新的支持多线程和多进程混合模型的MPM。由于使用线程来处理,所以可以处理相对海量的请求,而系统资源的开销要小于基于进程的服务器。但是, worker也使用了多进程,每个进程又生成多个线程,以获得基于进程服务器的稳定性。这种MPM的工作方式将是Apache 2.0的发展趋势。
{?U C:Q CVQ0
bH9j7j4ixRZ0  在configure -with-mpm=worker后,进行make编译、make install安装。在缺省生成的httpd.conf中有以下配置段:51Testing软件测试网*p6Q5s;z$~6yhjK

pfpx5I0
51Testing软件测试网*P_2f
S0{3aQ
StartServers 251Testing软件测试网iuv/?b9@RR
MaxClients 150
m2Rv"M)N:uJ!e:_la+~0MinSpareThreads 2551Testing软件测试网 Es1b|gX~S
MaxSpareThreads 7551Testing软件测试网r-T#XLW;o&p&~4u
ThreadsPerChild 25
o7Q/j,u ?j)S-s0MaxRequestsPerChild 0
51Testing软件测试网qL0fJ8r pY'AU
51Testing软件测试网9\|} oA8L
  worker的工作原理是,由主控制进程生成“StartServers”个子进程,每个子进程中包含固定的ThreadsPerChild线程数,各个线程独立地处理请求。同样,为了不在请求到来时再生成线程,MinSpareThreads和MaxSpareThreads设置了最少和最多的空闲线程数;而MaxClients设置了所有子进程中的线程总数。如果现有子进程中的线程总数不能满足负载,控制进程将派生新的子进程。
;Bj&^@2J#r051Testing软件测试网0}(tSt&W3c
  MinSpareThreads和MaxSpareThreads的最大缺省值分别是75和250。这两个参数对Apache的性能影响并不大,可以按照实际情况相应调节。
E4P a/`_0
wz(@c(L*}0  ThreadsPerChild是worker MPM中与性能相关最密切的指令。ThreadsPerChild的最大缺省值是64,如果负载较大,64也是不够的。这时要显式使用 ThreadLimit指令,它的最大缺省值是20000。上述两个值位于源码树server/mpm/worker/worker.c中的以下两行:51Testing软件测试网m8rS9t%rh:Z_

Q-MwC0K0
#define DEFAULT_THREAD_LIMIT 6451Testing软件测试网3OL|'S9D:H"f0W,o
#define MAX_THREAD_LIMIT 20000
51Testing软件测试网"dS cV%P:l|5O$s

"^,Ly d]3C0  这两行对应着ThreadsPerChild和ThreadLimit的限制数。最好在configure之前就把64改成所希望的值。注意,不要把这两个值设得太高,超过系统的处理能力,从而因Apache不起动使系统很不稳定。51Testing软件测试网U9c O[T {O+K
51Testing软件测试网(zSj+[[l
  Worker模式下所能同时处理的请求总数是由子进程总数乘以ThreadsPerChild值决定的,应该大于等于MaxClients。如果负载很大,现有的子进程数不能满足时,控制进程会派生新的子进程。默认最大的子进程总数是16,加大时也需要显式声明ServerLimit(最大值是 20000)。这两个值位于源码树server/mpm/worker/worker.c中的以下两行:
J!w_k\ |G%Y051Testing软件测试网['S"CSwSw(C
#define DEFAULT_SERVER_LIMIT 1651Testing软件测试网g*k)[k5?A7jb3]7H3^
#define MAX_SERVER_LIMIT 20000
51Testing软件测试网D$n;[sb$ei

\ r Az%cgh0  需要注意的是,如果显式声明了ServerLimit,那么它乘以ThreadsPerChild的值必须大于等于MaxClients,而且 MaxClients必须是ThreadsPerChild的整数倍,否则Apache将会自动调节到一个相应值(可能是个非期望值)。下面是笔者的 worker配置段:
A8p.X%D4R6k t$mv z051Testing软件测试网)Fo$l3MG

\ H5Mw&X G#Toc0StartServers 351Testing软件测试网8Np7u0]L t
MaxClients 200051Testing软件测试网V;TP8PfO ?Z.`
ServerLimit 2551Testing软件测试网s9q3pVB
MinSpareThreads 5051Testing软件测试网8j$puT1onR*uA
MaxSpareThreads 20051Testing软件测试网3^4S)_6Uc2E
ThreadLimit 200
:]#TEC5G2J%o {Yqb nM0ThreadsPerChild 100
9a%\(`mA0MaxRequestsPerChild 0

)x$dJWZX,Kw+z^0
&_6s%Qz|+L0  通过上面的叙述,可以了解到Apache 2.0中prefork和worker这两个重要MPM的工作原理,并可根据实际情况来配置Apache相关的核心参数,以获得最大的性能和稳定性。

TAG: Apache MPM prefork Web测试

 

评分:0

我来说两句

Open Toolbar