最近遇到一个问题,Linux下的PHP命令行程序作为守护进程,需要从队列文件中读一行数据,通过TCP协议发送给外地的接收服务器,再读下一行数据,再发送。当本地与外地的网络状况不好时,有时候发送一条数据所耗费的时间就较长,累积起来容易造成队列堵塞和延迟。
于是,我准备用该PHP命令行程序生成多个子进程,将串行处理变成并行处理。最简单的方法就是在PHP中用exec()或popen()函数将一个shell命令行推到后台去执行,例如:
<?php exec("/bin/sh /opt/zhangyan.sh &"); ?> |
最后的&表示将shell脚本推到后台去执行。
但是这样会有一个问题,如果推到后台的进程太多,可能会导致服务器系统资源耗尽而崩溃,所以必须控制进程数量。
--------------------------------------------------------------------------------
我写了一个PHP程序(/opt/zhangyan.php)、一个shell程序(/opt/zhangyan.sh)作为测试用例。
程序的逻辑:
1、设置/opt/zhangyan.php最多允许生成500个子进程;
2、当/opt/zhangyan.php读取到一条数据后,将允许生成的子进程数减1(空闲进程数$p_number=500-1=499),然后将数据交给/opt/zhangyan.sh去后台处理,不等待/opt/zhangyan.sh处理结束,继续读取下一条数据;
3、当允许生成的子进程数减至0时(空闲进程数$p_number=0),/opt/zhangyan.php会等待1秒钟,然后检查后台还有多少个/opt/zhangyan.sh子进程尚未处理结束;
4、如果1秒钟之后/opt/zhangyan.php发现后台的/opt/zhangyan.sh子进程数还是500(空闲进程数$p_number=0),会继续等待1秒钟,如此反复;
5、如果/opt/zhangyan.php发现后台尚未处理结束的/opt/zhangyan.sh子进程数减少到300个了(空闲进程数$p_number=500-300=200),那么/opt/zhangyan.php会再往后台推送200个/opt/zhangyan.sh子进程;
--------------------------------------------------------------------------------
/opt/zhangyan.php代码如下:
<?php function run($input) { global $p_number; if ($p_number <= 0) { $p_number = worker_processes($p_number); } $p_number = $p_number - 1; $out = popen("/bin/sh /opt/zhangyan.sh \"{$input}\" &", "r"); pclose($out); } function worker_processes($p_number) { $limit = 500;//允许推到后台的最大进程数 while ($p_number <= 0) { $cmd = popen("ps -ef | grep \"/opt/zhangyan.sh\" | grep -v grep | wc -l", "r"); $line = fread($cmd, 512); pclose($cmd); $p_number = $limit - $line; if ($p_number <= 0) { sleep(1);//暂停1秒钟 } } return $p_number; } $input = http://blog.s135.com; //模拟从队列文件中读取到的数据 for ($i = 1; $i <= 1000; $i++) { run($input); echo "Idle process number: " . $p_number . "\n"; } ?> |
(/opt/zhangyan.php程序用来模拟从队列文件中读取1000行数据,交给子进程/opt/zhangyan.sh去处理。)