简单说说THP——记一次数据库服务器阻塞的问题解决

背景：51Testing软件测试网1Bc#o%o6r H.mo
公司某个大型业务系统反馈最近数据库服务器总是宕机（此处描述不准确，后面解释），最后，客户、运维人员都觉得实在是忍无可忍了，项目经理打电话找到我问是否能帮忙诊断一下，刚好第二天要去现场沟通另外一个系统的测试需求，于是答应第二天顺便看一下。51Testing软件测试网Y'G&K@ZA3So
------------------------------------51Testing软件测试网H;f;W,F*w2I{"a
51Testing软件测试网,H0gt%de5dY
排查解决过程：51Testing软件测试网M/JTb6G{8L9h.L,n*^U
第二天来到现场，正在沟通需求的时候，运维人员突然说，操作又开始卡了，
nT'D
wN)_5Nt-M0于是连上服务器，先用top大概看了一下资源的使用情况，此时CPU已经基本上满载了，而且可以发现用户态的CPU占比并不高，大部分时间竟然都是内核态的CPU占用，
)uQ"I c-oF'fY)}051Testing软件测试网$r0u)`T/fF-L-Nj
当时我开始怀疑可能是数据库服务对底层的某个调用出了问题，有死循环？51Testing软件测试网a(G!R|!x4[@+o.s
于是立刻用perf top大概看了一下，51Testing软件测试网/m9d[7`I

,Z0_E2fXK[u0发现比重较大的是自旋锁还有一个compaction_alloc，内存碎片整理？51Testing软件测试网0K!q+ogr
从该信息判断，可能是内存的什么操作导致了很多线程在临界区各种等待。51Testing软件测试网r"}Y Za#j_)@,t
为了进一步弄明白具体是什么操作导致，于是对内核参数的调用栈进行取样51Testing软件测试网 M\x/r,KC5bL|
perf record -a -g -F 1000 sleep 60
6i?)Q.Rus0“-g'的意思是按照调用关系存储数据；“-F 1000 sleep 60”表示按照每秒取1000个样本的频率取一分钟。51Testing软件测试网[7O`KI'{
取完样后，使用perf report -g打开取样的数据，可以看到如下的调用栈：
R.~ H.f BF9cmH4} K051Testing软件测试网?8QHNg,Q
很明显这个自旋锁是由内存页的碎片整理导致，而进行碎片整理是由hugepage导致的，51Testing软件测试网o,}_s9kA{ }
看到这里的时候，我突然想起来linux的一个THP特性，貌似是kelnel 2.6.38版本后开始加进来的，
6EojqL0这个特性实际上就是会把这种巨页的使用对用户透明，用户不需要再进行巨页的配置，51Testing软件测试网-DL'x'rv9D0ke w
内存会自动将连续的512个普通页作为一个巨页处理，
'W;^8OQZd#RP0正如我们在前面的调用栈看到的，这种特性就需要对内存碎片进行整理，51Testing软件测试网!_MdJ-N@*|-uSn
所以我们看到的现象是内存碎片页移动导致的自旋锁，而根本原因是THP特性所导致的。
5}U6];S}:J0知道了问题原因，解决也就容易了，只要把THP关闭就可以了。
c*|+Q!X:o3By0关闭的方法如下：51Testing软件测试网%Z1?.K`~D O
vi /etc/rc.local51Testing软件测试网7g$U1l T)}Vh7w+qd
在文件末尾添加如下指令：
)F7j*PsD J~'aYu!~0if test -f /sys/kernel/mm/redhat_transparent_hugepage/enabled; then
h3?Tg w}/x
u0   echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled51Testing软件测试网KP-Z k coq
fi51Testing软件测试网r(i8q^%RF8@g
if test -f /sys/kernel/mm/redhat_transparent_hugepage/defrag; then51Testing软件测试网tDl,F"C6edC
   echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag51Testing软件测试网m
q~
h/W9^
fi
kNSB0['j051Testing软件测试网4jM _ r`8aq5l
保存后，重启即可。51Testing软件测试网VuZNV(L EGp5K\s
PS：此处不同版本的linux路径会有些区别，自己看好了51Testing软件测试网:`@yu-O&x
51Testing软件测试网-\ XY8]3xP)rJj:HH
vi /sys/kernel/mm/redhat_transparent_hugepage/enabled51Testing软件测试网di[D*Z.J@u/ee
如果显示如下：
7N6d$_R;uq&^1l0
['oQu){"JT,M0即为关闭THP生效。
/g$k2uE;f@RIU:v051Testing软件测试网7NSm.meT-Q
其实这样做完还不算完全解决问题，就如我们前面说的，51Testing软件测试网#xq3Z(Fqjwn3\g%P
THP的引入是为了减少维护人员配置巨页的工作，我们把THP特性关掉了，
_'{AF d A0最好的实践是我们应该再根据我们数据库服务需要的共享内存大小进行hugepage的配置。51Testing软件测试网.@"g.xD!ylJ
毕竟在现在动辄几十G，甚至上百G的内存，如果在按照4K普通页大小去维护TLB，也是一个很大的开销。
FtBQ2wG0这里hugepage的配置，因为数据库不同，甚至数据库版本不同，配置过程也不大相同，最重要的一点，我发现这篇日志写的有点太长了。
1U-^o)J9\u3Bm!wn6b#z T0因此，这里就不展开赘述了，有时间可以开帖讲一讲。51Testing软件测试网K D
D3c7JF/~g9a
-----------------------------------------------51Testing软件测试网LR:Rs%T9|2b
51Testing软件测试网-r'}| _;L/u
解决效果：
+bejWZ0在进行如上两步处理后，连续观察了几天，果然再没有所谓的“宕机”事件了。
5d)S#D&d|0这里“宕机”用了引号，对应最前面反馈问题时项目经理所说的服务器宕机描述，其实这个描述本身就是错误的，明天我准备再针对这个详细解释一下：如何正确的提问。