memcached压力测试工具memslap使用说明

Memslap是memcached服务器的压力测试工具，它能产生可配置压力，如：线程、并发、连接、运行时间、覆盖、命中率、key的长度、value的长度、get/set比率等。另外，它还支持数据确认、失效时间确认、UDP、二进制协议，facebook检测等操作。51Testing软件测试网:We q
u1j z8\)H

默认安装libmemcached之后，将自带memslap的工具。

51Testing软件测试网5omG&@ o(v

/usr/local/bin/memslap --servers=127.0.0.1:21211  -T 8 -c 128  --cfg_cmd=/usr/local/bin/config --execute_number=10000051Testing软件测试网D D'T#o1A2{8L

servers : 127.0.0.1:21211
sAe)tm
Xmv0threads count: 8
-}s%z/bDRs8s0concurrency: 128
D$N
BbG3C~0execute number: 100000

 51Testing软件测试网%g3w&z$v1hm

memcached压力测试工具memslap使用说明:51Testing软件测试网p`T#K*@
dh

英文原版：http://www.krow.net/libmemcached/memslap.html

目录

* 简介51Testing软件测试网X mW"N YL~/I
o 软件描述
^ wS }c'N"u2rN0o 使用方法
\}6~*K+]ZB0o 特色51Testing软件测试网x0fz#S3ipg
* 细节51Testing软件测试网?!nHf P
o 网络管理
Kk`X(SA:_0o 多线程和并发
)Du"z9|f^I3t/i0o key 和value51Testing软件测试网.n^)d9L1h&q'i/K,p
o 简单实用的任务调度51Testing软件测试网De l
cvjP#S
o 多个server，UDP，TCP，多重get和二进制协议
A3E5N#HeF+~$elF0* 用法51Testing软件测试网W"o6F:P3\4V
o Key、value的长度和命令51Testing软件测试网%u b x*f&UjQ5O.U
o 多线程和并发51Testing软件测试网
[ r8F7o(Cy4We df
o 窗口大小
7qf~X:L!g0o 确认
#?b8NE.e3Cxl7W`W}0o 多服务器端和多客户端51Testing软件测试网1J3?gE(c
o 运行模式：时间模式、数量模式
6cw;rT4wr0o 定期清理静态数据51Testing软件测试网d\#[/_jom'Z*o
o 多重get51Testing软件测试网I-xt+K.q}7G
o UDP 和 TCP51Testing软件测试网wm{Q3PgQ
o Facebook 检测51Testing软件测试网zrQ't-dsq
o 复制任务
?%`4uYE!N0o 支持多tcp连接51Testing软件测试网\g4?"B]v|3{%~
o 支持二进制协议
p!haR4C$K9v$n8@0* 配置文件
*E
R;`qzxJ)E_V0* 命令选项

一、简介

1.  软件描述

Memslap是memcached服务器的压力测试工具，它能产生可配置压力，如：线程、并发、连接、运行时间、覆盖、命中率、key的长度、value的长度、get/set比率等。另外，它还支持数据确认、失效时间确认、UDP、二进制协议，facebook检测等操作。51Testing软件测试网DU| wh5J}

Memslap管理网络连接的机制与memcached管理事件的机制相同。每个memslap线程绑定到一个cpu内核上，所有线程彼此不进行51Testing软件测试网k6Js O5iJLl

通信。每个线程有多个socket连接，每个socket连接保存一份其自己的key的长度、value的长度和命令（set/get）。

2.  使用方法

memslap [options]

3.  软件特色

Memslap有如下特点：51Testing软件测试网 l0L*P5HT

使用互斥libevent管理网络。51Testing软件测试网 L9ag0hc!Sd,a~

可以使用TCP和UDP进行无阻塞传输。

提高并行量：高效的多线程环境。

提高时间效率：快速的运算速度。

Key的长度和value的长度可以配置。

支持get、多重get和set命令，并且命令可以配置。

支持可控制的命中率和覆盖率。

支持数据确认和失效时间确认。

支持定期清理固定数据51Testing软件测试网(um.qFgU,M

支持多tcp连接51Testing软件测试网2kIBZe

支持二进制协议51Testing软件测试网-c iB^'V[$G

支持facebook测试（通过TCP进行set，通过UDP进行多重get）和复制测试51Testing软件测试网'u!`A|@:}$w

二、细节51Testing软件测试网 W UsU(Er

1.  网络管理

对于memslap来说，TCP和UDP都采用无阻塞IO，其网络模型和memcached很相似，所有网络事件的管理如同memcached中的51Testing软件测试网)\pk2b [;tV

libevent的管理。libevent使memslap管理网络很有效。51Testing软件测试网(uNO!HW(|!uI

2.  多线程和并发

Memslap多线程的实现机制和memcached相似。Memslap创建一个或多个能自我控制的线程，如果系统支持设置cpu环境，那么将51Testing软件测试网d/b'J v&flU

每个线程绑定到一个cpu内核上。

另外，每个线程都有一个libevent去管理网络事件、一个或多个自我控制的并发、一个或多个socket连接。即使在一个线程中51Testing软件测试网0U cH.n`aD0S;F|

，所有并发彼此都不会进行通信。

Memslap会创建多个socket连接，每个并发有多个socket连接。么个并发从socket连接池中随机或顺序选择一个socket连接运行

。所以，memslap保证每个并发在任何时间都会有一个soket连接。用户可以根据所要的测试用例设定并发的数量和每个并发中

的socket连接的数量。

3.  Key和value

为提升时间效率和空间利用率，memslap创建一个10M个文字的随机文字表。所有的key和value都是从这个表中随机产生的。

4.  简单实用的任务调度

Memslap使用libevent去调度所有并发中的线程，每个并发调度任务基于任务窗口的大小。

5.  多个server，UDP，TCP，多重get和二进制协议51Testing软件测试网Orj{l)GLDG

由于每个线程是自我控制的，memslap可以将不同的线程分配到不同的memcached服务器上。这是memslap支持多个服务器的方法

之一。而唯一的约束条件是服务器的数量不能超过线程的数量。另一个方法是复制任务。51Testing软件测试网
TSV ?!z)e"qRX,]

默认情况下，memslap进行单个get。如果用户设定多重get选项，memslap会收集足够多的get命令，并打包发送。51Testing软件测试网dju{]0r

Memslap支持ascII协议和二进制协议。不过，ascii协议时默认的协议。默认情况下memslap是用tcp协议，虽然也支持udp协议

，但是udp协议不可靠，会有丢包和乱序的情况发生。为了解决udp协议的这个缺点，memslap创建一个内存池。51Testing软件测试网Ym0{i&hd ^p

三、用法

用户至少要指定一个服务器端。

1.  Key、value的长度和命令51Testing软件测试网
Pl
j&s,X

Memslap对命令（set/get）的设置放在配置文件中，key的最短长度是16byte，最大长度是260byte。Value最小值是1byte，最

大值是1Mbyte。51Testing软件测试网!BVLE ^WU8i8b

2.  多线程和并发

默认的线程数是1，并发数是16.用户可以使用“--thread”和“--concurrency”来设定线程数和并发数。

3.  窗口大小

一般来说，用户不需要设定窗口大小，窗口的默认大小是10k。用户可以使用“--win_size”或“-w”指定窗口大小。

4.  确认51Testing软件测试网6C,Rj!E T{

用户可以使用“—verify=”或者“-v”选项来设置数据的确认。在理论上，memslap支持100%确认。用户可以使用“—

exp_verify=”或者“-e”选项来设定失效时间的确认。使用“--verbose”会产生更详细的错误信息。

5.  多服务器、多客户端51Testing软件测试网3c-_&\d1h|8F1vt

Memslap支持多服务器端和多客户端，但是要注意服务器端的数量不能比线程数多。用户可以使用选项“—server=”或者“-s51Testing软件测试网Qi2Xq5d/|

”来指定多服务器端。51Testing软件测试网 Qk M!s9r)Z

6.  运行模式：时间模式、数量模式51Testing软件测试网2oJ kqk/D,\.^

默认模式是时间模式，默认时间是10分钟，如果到时，memslap推出。请不要同时使用两种模式。

7.  定期清理静态数据

使用选项“—stat_freq=”或者“-S”来设置时间间隔。51Testing软件测试网;T-@b/W;~$i`

8.  多重get

用户可以使用“--division”选项设置多重get的数量。Memslap的默认值是1，即单一get。51Testing软件测试网/}3uD[e#?l4zbGC

9.  UDP和TCP

Memslap支持udp和tcp协议。对tcp来说，memslap在socket连接中断时不会重新连接。如果所有连接都丢失了，memslap会推出

。如果用户使用了“--reconnect”选项，那么当socket连接丢失时，它会重新连接

用户可以使用“--udp”选项来启用udp，但是udp是有局限性的：

Udp不能set超过1400byte的数据

Udp不支持二进制协议

不支持重新连接51Testing软件测试网0I*rB1n5sE1G

10.  Facebook检测51Testing软件测试网)LP_6E+^
o

用tcp set数据，用udp多重get数据。使用一下选项：“—facebook –division=50”，如果你想创建多个tcp连接，使用选项

“—conn_sock=”。51Testing软件测试网&BqIiF

11.  复制任务51Testing软件测试网2TiwO @
ZXb"}(k%La

若使用该特性，用户必须保证有两个（以上）memcached服务器。用户可以使用“—rep_write=”选项启动该特性

12.  支持多tcp连接

使用选项“—conn_sock=”或者“-n”。这个特性在socket断开后不支持重新连接。

13.  支持二进制协议51Testing软件测试网(ra+Q Fnc

使用选项“--binary”或者“-B”启动memslap。这个选项支持除了UDP以外的所有特性。

四、配置文档

下面是配置文档的例子：51Testing软件测试网j+xn[`T

#comments should start with '#'51Testing软件测试网;n2pkVs
iy9p+a(V

#key

#start_len end_len proportion51Testing软件测试网b?#gLm;k$V{

#51Testing软件测试网&A{N.{b;v |x

#key length range from start_len to end_len51Testing软件测试网N8Z$N$@%Kbs
bO0A

#start_len must be equal to or greater than 1651Testing软件测试网x#u?!h%sxVq

#end_len must be equal to or less than 250

#start_len must be equal to or greater than end_len

#memslap will generate keys according to the key range

#proportion: indicates keys generated from one range accounts for the total

generated keys

#51Testing软件测试网so%yY8a\

#example1: key range 16~100 accounts for 80%51Testing软件测试网 wrmNo){e,iI

#  key range 101~200 accounts for 10%51Testing软件测试网.x0w.o+|p

#  key range 201~250 accounts for 10%51Testing软件测试网z8h:q0O1T,_1]0Sk,BK

#  total should be 1 (0.8+0.1+0.1 = 1)

#51Testing软件测试网7H5^F{'M$K(F_

#  16 100 0.8

#  101 200 0.1

#  201 249 0.1

#

#example2: all keys length are 128 bytes

#

#  128 128 151Testing软件测试网hf+F3T
@ z-ufW ~F-ug

key51Testing软件测试网oh2F8Z9u x ^`

128 128 1

#value51Testing软件测试网'pj+qL5X8S1l G(GH

#start_len end_len proportion

#

#value length range from start_len to end_len51Testing软件测试网DVPMT4\

#start_len must be equal to or greater than 151Testing软件测试网Z3X!E$DO

#end_len must be equal to or less than 1M

#start_len must be equal to or greater than end_len

#memslap will generate values according to the value range

#proportion: indicates values generated from one range accounts for the51Testing软件测试网z5rXyb8V,U
ydm

total generated values

#

#example1: value range 1~1000 accounts for 80%51Testing软件测试网FCE C+Yh9lk ]

#  value range 1001~10000 accounts for 10%

#  value range 10001~100000 accounts for 10%

#  total should be 1 (0.8+0.1+0.1 = 1)51Testing软件测试网;c&_h)H)r3d P#qYa7R8M

#

#  1 1000 0.8

#  1001 10000 0.1

#  10001 100000 0.151Testing软件测试网qZW0x9~$e7od

#51Testing软件测试网@c'Ron7u2V:o

#example2: all value length are 128 bytes51Testing软件测试网Q.EzO}Rl7P[

#51Testing软件测试网"jVLRp6F A

#  128 128 1

value51Testing软件测试网(v-Gc*V/B4D/Fo%m

2048 2048 1

#cmd

#cmd_type cmd_proportion51Testing软件测试网`8H4Xl.vb!p

#

#currently memslap only supports get and set command.51Testing软件测试网@
q%Hf?-P+DR

#

#cmd_type51Testing软件测试网*L(Fd7Z#R&rq

#set  051Testing软件测试网:`aS;[#sf

#get  151Testing软件测试网1d;?M1h3JKg&M3e!t

#51Testing软件测试网:Ws1ESWk
Y
vGgp

#example: set command accounts for 50%

#  get command accounts for 50%

#  total should be 1 (0.5+0.5 = 1)51Testing软件测试网d#av$aP

#

#  cmd

#  0  0.5

#  1  0.551Testing软件测试网"T'k#t)p2]N{ x-|-Sd

cmd

0  0.1

1  0.951Testing软件测试网!Gqb m&i*F*L:E3s0I

$T6_)v l:@V
t0五、命令选项51Testing软件测试网tx'V ^,?R W
-s, --servers=：列出一个或多个所要连接的memcached服务器端。服务器的数量一定要小于线程的数量e.g.: --51Testing软件测试网2h/C`;v H~+_

servers=localhost:1234,localhost:1121151Testing软件测试网~]FK;H[ r+k
-T, --threads=：线程数量，最好等于cpu数量。默认值为851Testing软件测试网;K2C&]9CU;C+GG
-c, --concurrency=：负载需要虚拟的并发数量，默认值是128
3|6Hh&u4v
d@5{0-n, --conn_sock=：一个并发的tcp连接数量，默认值是1
B p:\,Z.[C X6g7[0-x, --execute_number=：set/get数量，默认值100w
9fi _5m]Ht*ur0-t, --time=：运行时间，其格式为: s-seconds, m-minutes, h-hours, d-days e.g.: --time=2h.
J;@'UCdnA4n&[1Q0-F, --cfg_cmd=：加载配置文件51Testing软件测试网im)g&Qw
-w, --win_size=：任务窗口大小，e.g.: --win_size=10k. 默认值为10k51Testing软件测试网RXnFm'pE)t
-X, --fixed_size=：value的大小51Testing软件测试网f*lB;\?EO
-v, --verify=：所要确认的数据比例， e.g.: --verify=0.01
M
sJR.B_"SW0-d, --division=：多重get的数量，默认值为1即单个get51Testing软件测试网[o0j2} [._6p)\
-S, --stat_freq=：定期清理静态数据的间隔时间， e.g.: --resp_freq=10s.51Testing软件测试网(E$V0Wc2n
k)K3`hcA
-e, --exp_verify=：失效时间的比例, e.g.: --exp_verify=0.01。默认情况是不设置该选项51Testing软件测试网R.[}0T+c9S(R0F
-o, --overwrite=：对象需要覆盖的比例， e.g.: --overwrite=0.01.默认情况是不进行覆盖。
&TYk I2iwg0PKj?0-R, --reconnect：支持重新连接
N9_K;i-os&?\1OC0-U, --udp：使用UDP协议，默认是TCP协议
#IgJm(E:xU%D7O0-a, --facebook：启动faceb检测
[+w0BVS1i*aka0-B, --binary：使用二进制协议，默认值是ascii协议
:DP.rS8L1M
X0-P, --tps=：吞吐量， e.g.: --tps=10k.51Testing软件测试网%w ^
ot3n
-p, --rep_write=：前n个服务端可以写数据， e.g.: --rep_write=2.51Testing软件测试网r:w `$u4yY9U `"T4Wo
-b, --verbose：错误信息51Testing软件测试网VT8H^U F&u8D
-h, --help：帮助文档51Testing软件测试网4lX-T F7q`#Oc
HH
-V, --version：版本信息

&{$i$]/sw$LXvSB0