Apache JMeter是一款纯java编写负载功能测试和性能测试开源工具软件。相比Loadrunner而言，JMeter小巧轻便且免费，逐渐成为了主流的性能测试工具，是每个测试人员都必须要掌握的工具之一。JMeter也提供了Master/Slave模式，可以组成一个压力测试集群，进行分布式的测试或者进行更大压力的测试。
但基于大量虚拟机的Jmeter集群有个缺点，就是不方便管理，比如需要重启Jmeter服务，还需要一个个的连接到虚拟机上进行操作，而且安装部署不方便（无法一键部署），也不方便将集群封装成整体应用对外提供服务。而Kubernetes 的资源和任务调度能力能给性能测试提供相当大力的支持。本文就讲讲如何在 Kubernetes 中使用 Jmeter 进行简单的性能测试。
开始之前
需要一个被测试的环境和K8S，相信之前跟着我的文章一步步做下来已经有一个微服务的环境了。
需要有一个jmeter 测试脚本，这个脚本我建议用限定TPS方式的准备。Thread Group里增加一个Precise Throughput Timer用以控制脚本的压力输出。这样在K8S里，我们通过控制压力输出来控制输出POD的CPU使用。
集群测试
Jmeter 可以使用master+slave的形式，使用多个节点进行压力测试。slave 启动的是jmeter server，listen在指定的端口上等master 指派任务。master在指派任务给slave时，Jmeter 需要使用-R host:port的参数通知slave。如果我们要把这种集群运行在K8S里，需要解决的一个重要问题就是，来指定任务要调用的负载机。这一通信是无法通过 Kubernetes 方式的 Service 来完成的。必须建立 Pod 之间的通信。如果采用Deployment的话， Pod 的地址和名字都是随机的，同时，我们还是希望负载节点的数量能够实现较为自由的伸缩，因此解决方法就只有 StatefulSet + Service了。
在这个示例里，为了简单起见，暂时也不使用动态伸缩的功能来做压力测试。为了更省事，我这里直接在NODE节点上跑Jmeter master。到正式应用的时候，也可用Kubernutes Job的形式来跑Master。在参考资料里，也给出一些参考。有兴趣的朋友可以根据参考资料中的文档，将master节点用job来执行。
构建StatefulSet的 YAML 要点
具体的YAML文件可以后台给公众号留言获取，也可以通过参考资料5来自行创建，稍作改动即可。
镜像选择
在hub.docker.com上可以找到上千个相与jmeter相关的镜像，我选择了流行度和更新速度都比较好的egaillardon/jmeter来进行演示。当然jmeter本身也比较简单，如果有足够的兴趣，完全也可以自已从jdk8作为基础自行打出所需要的jmeter docker镜象作为基础。
TCP源端口设置（和测试需要的TCP连接数相对应）
注解中的security.alpha.kubernetes.io/sysctls：实际运行中，jmeter 负载机是需要对内核参数进行一点调整的，Pod 中可以用这一方式进行调整，https://kubernetes.io/docs/concepts/cluster-administration/sysctl-cluster/ 中有更详细的关于这方面的内容讲解。
亲和力设置
spec.affinity：这里设置 Jmeter Pod 尽量分布在不同节点上。当然，这条不是必须的，个人建议在测试配置中指定每个jmeter slave的压力输出值，从而控制jmeter的CPU使用。如果你的压力输出和被测的服务在同一个K8S集群上时，这一点就显的尤其重要，可以有效的防止相互影响而无法判断到底是哪里出了问题。
RMI_HOST环境变量：使用每个 Pod 的 IP 为这一变量赋值。
ssl设置：Jmeter 缺省使用ssl，我这个演示的测试禁止了SSL
Service：利用这个 Headless 服务，为每个 Pod 提供主机名支持。
在K8S里部署JMeter Server
使用kubectl create启动任务之后，查看该任务 Pod 的日志，会出现大致这样的内容：
可以看到，这些POD已经准备好执行了
启动这个 Statefulset 之后，kubectl get pods 会看到规律创建的 Pod 名称：
jnode-0 1/1 Running 0 1h
jnode-1 1/1 Running 0 1h
对应的主机名称就应该是 jnode-0.jfarm，jnode-1.jfarm。
启动测试
在node或者在pod里执行：
./apache-jmeter-5.1.1/bin/jmeter.sh -n -t aaa.jmx -Rjnode-0.jfarm:1098,jnode-1.jfarm:1098,jnode-2.jfarm:1098 -Jserver.rmi.ssl.disable=true -o output/test1 -lzull -e
注：如果在POD里执行，要注意资源的使用情况；所以建议在node上执行。由于k8s集群的master 的DNS并不指向K8S里的DNS服务，所以如果在master上执行的话，需要手工将Master操作系统里的DNS指向改成K8S集群里的DNS。同时还需要额外安装Jmeter和JDK。
在完成测试后，我们可以看一下output/test1目录下的报告
这样，一个简单的可运行在K8S集群上的Jmeter测试就完成了。通过K8S的scale操作，可以很方便的扩充 Jmeter 节点的数量。可以看到， K8S和Jmeter组合，可以大大降低使用jmeter集群测试时的管理工作量，提升测试的效率。
本文只是介绍了一个在K8S里用JMeter进行测试的入门，更多的功能等着大家一起来发现。例如：和CI/CD工具配合进行测试；将结果自动收集，并通过WEB进行展示等。
上文内容不用于商业目的，如涉及知识产权问题，请权利人联系博为峰小编(021-64471599-8017)，我们将立即处理
