配置文件设计好了，下面我们来写我们的Python脚本了（这里仅仅给出一些主要代码，大致明白意思就可以了）
- import subprocess
- from mako.template import Template
- import yaml
-
- # 运行一个测试任务
- def runTask(config, task):
- runAbench(config, task)
-
- def runAbench(config, task):
- # 得到完成的abench运行命令
- command = Template(config["abenchCommand"]).render(
- abenchPath=config["abenchPath"],
- parallelNum=task["parallelNum"],
- seconds=task["seconds"],
- targetHost=task["targetHost"],
- targetPort=task["targetPort"],
- queryFilePath=task["queryFilePath"],
- )
- pipe = subprocess.Popen(command,
- stdin=subprocess.PIPE,
- stdout=subprocess.PIPE,
- stderr=subprocess.PIPE,
- shell=True
- )
- # 读取abench的运行结果，因为可能得保存下来吧
- result = pipe.stdout.read()
- # 下面可能是保存结果什么的
-
- if __name__ == "__main__":
- config = yaml.load(file(configFile))
- for task in config["tasks"]:
- runTask(config, task)
|
自动更新测试环境
在我实际测试过程中，因为要更新的环境其实相当复杂，最多的时侯需要去10几台机器上做更新环境、停止/启动进程的操作。但我这里主要介绍思路，多一些机器和进程其实都一样。
接着刚才的配置文件，我们只是在每一个task中设计了加压任务，但在加压前需要更新哪些环境没有涉及，按照阿里巴巴的ISearch架构，我就启动一个一行两列的Searcher环境，2列Searcher上有一个Merger，然后再有一个clustermap来监控。
- abenchPath: /opt/usr/bin/abench # abench在哪儿？
- abenchCommand: "${abenchPath} -p ${parallelNum} -s ${seconds} -k --http -o /dev/null ${targetHost} ${targetPort} ${queryFilePath}"
- # 关于Searcher的一些通用配置
- searcher:
- templateConfigFile: /home/admin/access-log/searcher_server.cfg # 因为启动时的监听端口等信息需要从下面的运行任务中读取，因此这个也设计成一个模版文件
- templateLogConfigFile: /home/admin/access-log/searcher_log.cfg
- # 在Search机器上操作的命令
- commands:
- - "${searchRoot}/bin/is_searcher_server -c ${configFile} -l ${logConfigFile} -k stop > /dev/null 2>&1"
- - "${searchRoot}/bin/is_searcher_server -c ${configFile} -l ${logConfigFile} -k start -d > /dev/null 2>&1"
- # 关于Merger的一些通用配置，和Searcher差不多，就不写了
-
- tasks:
- # 第一个测试用例,我可能需要测试单线程的情况
- -
- id: 1 # ID的作用是你在脚本中可以拿id作为结果存放的目录
- parallelNum: 1 # 并发数
- seconds: 1800 # 压半个小时
- targetHost: 10.20.137.22 # 目标主机
- targetPort: 9999
- queryFilePath: /home/admin/access-log/add-600w.query # 请求放在这儿
-
- # 两台Search机器，定义一个List
- searchers:
- -
- host: 10.20.150.61
- port: 6322 # 监听的端口
- username: test # 因为需要通过ssh协议登录上去操作，因此需要用户名密码。如果你已经把机器ssh都打通了，那就不需要了
- password: 12345
- configFile: "${searchRoot}/scripts/conf/searcher_server.cfg" # 启动时运行的配置文件
- logConfigFile: "${searchRoot}/scripts/conf/searcher_log.cfg" # 启动时运行的日志文件
- -
- host: 10.20.150.60
- port: 6322
- username: test
- password: 12345
- configFile: "${searchRoot}/scripts/conf/searcher_server.cfg"
- logConfigFile: "${searchRoot}/scripts/conf/searcher_log.cfg"
-
- # 我这边只有一台merger，如果merger也是有多台的话，也可以把这个设计成一个List
- merger:
- host: 10.20.137.22
- port: 6088
- username: test
- password: 12345
- configFile: "${searchRoot}/scripts/conf/merger_server.cfg"
|
