测试10秒钟,分析8小时,性能评估只看跑分可不够

发表于:2019-7-29 10:58

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:于无声处    来源:51Testing软件测试网原创

  写在前面:大约4年前在中科院软件所,为评估国产兆芯CPU性能,我接触到一些benchmark,涉及CPU指标的就有ubench、sysbench、c-ray、SPEC和unixbench等。
  工具在手,不要动脑,跑起来就行。后来情况变了,每个月都有数个系统性能调优的kpi压在身上,你不光要知道这些性能怎么测,还得分析瓶颈在哪,最后还要不断实验去提升性能。
  能力有限,很多就不会去关注,像sysbench也是个老掉牙的benchmark了,诞生到现在有15年历史,一个工具走到现在,还有它使用的场景,那肯定有它的价值。
  正巧最近又需要验证虚拟化下CPU的性能,仍然利用sysbench去测试,这次既然测了,就不单单只看跑分,看看数据背后的意义。
  一、sysbench测试CPU的过程
  使用benchmark前,不妨先看下readme,sysbench在CPU上是这样自我定义的:
 `cpu`: a simple CPU benchmark
  划重点:simple。工具设计之初,就不是为CPU考虑的,它最常使用场景基本在mysql等数据库评测上。所以自评为simple benchmark,必然有原因,这个后面详说。
  回归正题,sysbench在大多数Linux下建议yum或apt-get安装,万一需要手动编译,需要注意2点:
  如果你的sysbench是运行在64位CPU上,请先确保编译的是64位二进制文件;
  万一你的环境是32位CPU,要知道在32位CPU上进行64位操作数的运算,需要使用多条32位的汇编指令来模拟其行为,随之带来的性能开销势必影响到结果。
  (1)一般测试方法
  事先声明,我用的是sysbench1.0.17版本,自从1.0.8版本后,一改以往使用计算达到10000内素数所用时间为测试结果,?增加了events per second为输出报告。
  测试方法大同小异,sysbench + 参数 + 测试项 + 命令,如下图:
  以CPU为例(测试在4线程下CPU的运算速度):
  在本例测试中,只是采用最小化参数:--threads,其他常用参数还包括:
  根据实际需要,可选择多种参数组合,本文只采用线程作为参数,测试结果如下所示:
  测试输出清晰,数据一目了然,benchmark轻度用户重点关注2个数据就好,一是Prime numbers limit,二是events per second。
  以上面为例,最终结果就是计算10000个素数,4线程平均每秒完成event个数为549.36,数值越大代表性能越好。
  如果只简单衡量云主机CPU性能,以上2个结果足够了,明白了在什么样的基数下测试,并且知道每秒完成的events,可以获得1个基准数据。
  (2)sysbench的实现方式
  工具run了起来,数据也拿到了,但是离马放南山还早。这时候你还不知道数据准确与否,如果是准确的,是不是你想要的最优结果。
  在评估数据之前,先了解下sysbench是怎么去测试CPU的,做到知己知彼后,再去看测试结果,说不定会有更多体会,特别是把测试中观察到的性能问题跟系统原理关联起来。
  sysbench作为一个多用途开源benchmark,按照框架设计惯例,其CPU、thread、io、memory和数据库也遵循着松耦合的设计,CPU的源码有独立的模块。
  简约不简单的CPU module
  采用农村包围城市,先从CPU测试源码入手,源码见/src/tests/cpu/sb_cpu.c
  图1:sb_cpu.c 头文件声明
  你不熟悉sysbench的代码结构也没关系,仅从sb_cpu.c中简单几行头文件声明,就可以得到很多信息,抛开前面2个config.h、sb_win.h不谈(测试环境在Linux上),真正用到的就2个类库路径里面的头文件:<math.h>、<inntypes.h>和1个内部实现函数声明的"sysbench.h"。
  重点关注"sysbench.h",但具体实现还要看sysbench.c,暂且不表,继续看/src/tests/cpu/sb_cpu.c
  图2:初始化的CPU测试参数
  图2中,定义了一个cpu默认参数,如果不特别指定,cpu-max-prime默认以10000作为上限。这里工具采用static函数声明的方式,直接引用/src/sb_options.h中的sb_arg_t结构体,简单声明测试设置的name、desc、value和type,在以后的sysbench.c会多次调用,如图3所示:
  图3:sb_arg_t结构体
  沿着/src/tests/cpu/sb_cpu.c代码继续看,是对CPU测试的函数声明和静态变量定义,在cpu_test中通过变量可看到CPU性能测试流程,如下图4中:
  图4:cpu_test静态变量的定义
  图4中,基于sb_test_t的结构体变量cpu_test,ops下所有变量在sb_test_t中引用了sb_operations_t。cpu_test完全依据sb_test_t结构体中包含的数据项,从名称设置开始,到初始化操作,再到定义核心event函数执行、报告输出,最后到结束后的动作。短短10几行,就把CPU测试场景描述清楚了,剩下要做的只是代码依次执行罢了。
  图5:cpu-max-prime取值判断
  图5中,cpu-max-prime在/src/tests/cpu/sb_cpu.c代码中有单独实现,其他类似time、event、threads的实现全都放在sysbench.c中。
  sb_get_value_int()函数在sb_options.c中已完成定义,很多参数都要sb_get_value_int去获取。
  图6:CPU测试的主要执行环节
  cpu_execute_event是sysbench在CPU性能评估最主要环节,之前代码多次提到prime字眼,知道是素数,通过百度也知道它的计算原理,但在cpu_execute_event函数中详细定义了具体计算方式。在这种模式下,每个请求都由素数计算组成,由cpu-max-primes选项指定的值为上限,所有的计算使用64位整数执行。
  图7:CPU报告实现
  图7中,cpu_report_cumulative是最后的实现环节,采集、统计及打印是一连串的处理过程,如果要实时打印report,要停止运行计时器。具体代码实现在sysbench.c中sb_report_cumulative(),这是个复杂的处理流程。

   ......
查看更多精彩内容,请点击下载:

版权声明:本文出自《51测试天地》第五十四期。51Testing软件测试网及相关内容提供者拥有51testing.com内容的全部版权,未经明确的书面许可,任何人或单位不得对本网站内容复制、转载或进行镜像,否则将追究法律责任。
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号