性能工具之JMeter+InfluxDB+Grafana打造压测可视化实时监控

发表于:2021-12-30 09:48

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:zuozewei    来源:稀土掘金

#
Jmeter
分享:
  一、概述
  本文我们将介绍如何使用JMeter+InfluxDB+Grafana打造压测可视化实时监控。
  二、引言
  我们很多时候在使用JMeter性能测试,我们很难及时察看压测过程中应用的性能状况,总是需要等到测试完成后去看Report,如果是长时间压测,比如压测1~2天,那就更烦人了。
  压测的时候,我们实时通过监听器 GenerateSummaryResults汇总输出,可以看到如下内容:
  GenerateSummaryResults汇总展示了压测中需要关注的大量信息,其中包括:Avg (Average), Min (Minimum) 、Max (Maximum)响应时间,TPS,错误率,活跃线程数等,jmeter.properties默认是30秒的统计频率,如果我们想使用小于30秒更细颗粒度的统计频率的时候,那么在控制台会有大量的输出,这个时候我们就不好观察结果了。
# jmeter.properties 
# Define the following property to automatically start a summariser with that name
# (applies to non-GUI mode only)
# summariser.name=summary
#
# interval between summaries (in seconds) default 3 minutes
# summariser.interval=30
#
# Write messages to log file
# summariser.log=true
#
# Write messages to System.out
# summariser.out=true

  另一方面,如果需要分享给其它人员,这种控制台输出方式并不是一个很友好的方式,我们需要一个简单漂亮的图形,比如HTML Dashboard,但需要等待整个测试完成。
  因此,我们可以在测试计划中去除GenerateSummaryResults,把测试结果发送到数据库中持久化,这样我们就可以通过SQL查询数据库来创建展示图表。
  从JMeter2.13开始,通过提供实现AbstractBackendListenerClient的类,可以使用(JDBC,JMS,Webservice,...)通过Backend Listener发送到数据库的存储实时结果。
  BackendListenerGraphiteBackendListenerClient,允许将统计指标发送到Graphite
  此功能提供:
  ·实时数据
  ·  漂亮图表
  ·  能够对比2个以上的测试计划
  ·  只要JMeter产生相同的Backend,就可以存储监控数据
  ...
  JMeter 3.2 Backend Listener中引入的 InfluxDBBackendListenerClient允使用UDP或HTTP协议将统计指标发送到InfluxDB。
  此功能提供:
  ·  实时数据
  ·  漂亮图表
  ·  能够对比2个以上的测试计划
  ·  能够向图表添加注释
  ·  只要JMeter产生相同的Backend,就可以存储监控数据
  ...
  二、 解决方案
  JMeter引入Backend Listener,用于在压测过程中实时发送统计指标数据给时序数据库Influxdb,通过配置Grafana(开源的WEB可视化看板)数据源连接到Influxdb,我们就可以创建炫酷的可视化看板,并可以实时获取到测试指标数据。
  相关介绍:
  时序数据库:处理带时间标签(按照时间的顺序变化,即时间序列化)的数据,带时间标签的数据也称为时间序列数据。想象它就像一个sql表,其中时间是它的主键 InfluxDB:是一款用Go语言编写的开源分布式时序、事件和指标数据库,无需外部依赖。该数据库现在主要用于存储涉及大量的时间戳数据,如DevOps监控数据,APP metrics, loT传感器数据和实时分析数据。
  官网地址:www.influxdata.com/
  数据DEMO
> select* from weather
name: weather
-------------
time                    altitude        area    humidity        temperature
1456386985094000000     1000            北      18              17
1456386985094000000     5000            上      20              47
1456386985094000000     5000            北      26              68
1456386985094000000     1000            广      17              83
1456387267668000000     1000            上      12              77
1456387267668000000     1000            北      16              20
1456387267668000000     5000            广      -3              66
1456387267668000000     5000            上      19              60

  与传统数据库中的名词做比较
  InfluxDB中独有的一些概念 Point由时间戳(time)、数据(field)、标签(tags)组成。
  三、JMeter&InfluxDB集成
  1、InfluxDB安装
  1.1、安装要求
  网络端口 InfluxDB默认使用以下网络端口:
  ·TCP端口8086用于通过InfluxDB的HTTP API进行客户端-服务器通信
  ·  TCP端口8088用于RPC服务以进行备份和还原
  ·  除了上面的端口,InfluxDB还提供了多个可能需要自定义端口的插件。可以通过配置文件修改所有端口映射,配置文件位于/etc/influxdb/influxdb.conf默认位置。
  网络时间协议(NTP)
  InfluxDB使用主机的UTC本地时间为数据分配时间戳并用于协调目的。使用网络时间协议(NTP)同步主机之间的时间; 如果主机的时钟与NTP不同步,写入InfluxDB的数据的时间戳可能不准确。
  2、下载安装
  wget https://dl.influxdata.com/influxdb/releases/influxdb-1.6.2.x86_64.rpm
  sudo yum localinstall influxdb-1.6.2.x86_64.rpm
  3、InfluxDB配置
  找到InfluxDB配置文件(/etc/influxdb/influxdb.conf)
  vi /etc/influxdb/influxdb.conf
  influxdb.conf中的大多数设置都被注释掉了;所有注释掉的设置将确定为内部默认值。如果配置文件中的任何未注释的设置都会覆盖内部默认值。 请注意,本地配置文件不需要包含每个配置设置。 如果你无法找到配置文件,可以使用InfluxDB显示配置命令。
  Influxd config
  Jmeter使用graphite协议去写入数据到InfluxDB,因此,需要在InfluxDB配置文件启用它,如下图所示:
  [[graphite]]
   enabled = true
   bind-address = ":2003"
   database = "jmeter"
   retention-policy = ""
   protocol = "tcp"
   batch-size = 5000
   batch-pending = 10
   batch-timeout = "1s"
   consistency-level = "one"
   separator = "."
   udp-read-buffer = 0
  修改后,使用以下命令加载InfluxDB启动。
  有两种方法可以使用配置文件启动InfluxDB:
  1.使用以下-config选项将进程指向正确的配置文件
  influxd -config /etc/influxdb/influxdb.conf
  2.将环境变量设置为INFLUXDBCONFIGPATH配置文件的路径并启动
  echo $INFLUXDB_CONFIG_PATH
  /etc/influxdb/influxdb.conf
  influxd
  InfluxDB操作
  [root@zuozewei ~]# influx  #登录数据库
  Connected to http://localhost:8086 version 1.6.2
  InfluxDB shell version: 1.6.2
  > show databases  #查看所有数据库
  name: databases
  name
  ----
  _internal
  > CREATE DATABASE "jmeter" #创建数据库
  > use jmeter               #切换数据库
  Using database jmeter
  > CREATE USER "admin" WITH PASSWORD 'admin' WITH ALL PRIVILEGES # 创建管理员权限的用户
  4、JMeter配置
  1)创建一个测试计划,并添加Backend Listener
  2)设置InfluxDB IP及端口设置InfluxDB IP及端口
  3)运行测试,等待几秒运行测试,等待几秒
  4)查看JMeter是否生成错误日志查看JMeter是否生成错误日志
  端口说明:
  ·8086端口,Grafana用来从数据库取数据的端口
  ·  2003端口,JMeter往数据库发数据的端口
  查看JMeter数据库下所有的表
  > show measurements
  name: measurements
  name----
  delta
  jmeter.all.a.avg
  jmeter.all.a.count
  jmeter.all.a.max
  jmeter.all.a.min
  jmeter.all.a.pct90
  jmeter.all.a.pct95
  jmeter.all.a.pct99
  jmeter.all.h.count
  jmeter.all.ko.count
  jmeter.all.ok.avg
  jmeter.all.ok.count
  jmeter.all.ok.max
  jmeter.all.ok.min
  jmeter.all.ok.pct90
  jmeter.all.ok.pct95
  jmeter.all.ok.pct99
  jmeter.test.endedT
  jmeter.test.maxAT
  jmeter.test.meanAT
  jmeter.test.minAT
  jmeter.test.startedT
  total
  OK,我们已经可以将统计指标数据成功发送到InfluxDB。

  本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号