流量回放工具goreplay支持压测统计

发表于:2020-6-23 09:40

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:lidedede    来源:搜狗测试

  背景
  目前输入法服务端的例行性能测试主要使用开源的流量回放工具goreplay,这个工具本身是做流量回放使用的,也可以在回放流量的时候缩小或者放大倍数,以达到性能测试的目的,但是毕竟不是专业做性能测试的工具,就像这句名言说的“不是他的活他要干”,所以对于结果统计,goreplay不是很擅长,为了让他支持客户端统计,需要对他做个升级;
  goreplay自带的统计
  说他不支持结果统计,其实有些冤枉他,goreplay自带命令行也是支持结果统计的,参数是:--stats --output-http-stats加了这个命令行之后,控制台输出是这样的:
  其中倒数第二列等同于当前的QPS,但是这就是仅有的统计项了,并没有区分返回码、响应时间、TP90、TP99等指标;
  官网解释:开源的监控解决方案
  metrics
  prometheus的监控数据源,详细解释可参考https://www.investopedia.com/terms/m/metrics.asp
  改造目标
  让goreplay支持实时metrics统计,在goreplay执行流量回放与性能测试时,实时统计出作为压测客户端的goreplay当前的QPS和响应时间等各项指标;
  实施过程
  分析源码,找到源码中发出请求的函数;
  为了获取请求状态码及对应QPS,在获取请求返回值的位置插入counter metric;
  为了获取不同请求响应时间等指标,需要在发出请求前记录starttime,请求返回后记录endtime,记录时间消耗的histogram metric;
  在goreplay启动后注册metrics接口及服务监听端口;
  prometheus服务中注册goreplay客户端的metrics服务;
  grafana系统中建立dashboard,统计需要的数据指标;
  效果
  源码中http_client.go中加入metrics相关代码(源码地址见文末)
  main.go进行metrics注册;
  prometheus配置文件中注册goreplay_client metrics
  启动goreplay的时候需要加命令行-output-http-compatibility-mode true以启动结果统计;
  启动goreplay时,查看监听端口,发现有注册的28081
  接口访问http://10.1xx.xx.xx:28081/metrics
  grafana中新建dashboard查询需要的性能测试指标:
  至此对goreplay的改造工作就做完了,通过metrics实现了从客户端统计压测过程中的各项指标;
  源码地址,由于提交分支需要goreplay作者审核,所以github上新建了一个工程,大家可以下载使用https://github.com/lidedede/gor
  其中gor_ldd是centos7编译的二进制,可以直接使用;附完整命令行:./gor_ldd --input-file "xxx.gor|1500%" --output-http http://10.1xx.xx.xx:1xxx  --stats --output-http-stats  --input-file-loop  -output-http-workers 10000 -output-http-workers-min 5000  -output-http-compatibility-mode true

      本文内容不用于商业目的,如涉及知识产权问题,请权利人联系博为峰小编(021-64471599-8017),我们将立即处理
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号