性能低下?跟着我学调优

发表于:2017-11-15 13:49

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:嵇鹏浩    来源:搜狗测试

  前段时间需要跑一批数据到mongo中,采用jmeter读取数据文件向服务端发送请求的方式,将数据库跑入数据库。
  数据量:200w
  mongo与服务端均部署在同一台机器上。
  现象
  服务器上执行jmeter脚本,但是数据惨不忍睹
  测试截图
  看了服务器的cpu 和内存的使用率,发现cpu(24核)只有67%,内存只有20%(512G)。并发量只有200,明显对于服务端的压力不大,排除硬件。
  后来将并发量降低至50,数据依然惨不忍睹。
  猜测
  怀疑是数据库的索引没有加,但是服务端是会自动建立索引的,进入mongo查看索引,发现索引建立了。
  决定开始mongo 慢查询,看看是否是数据入库时过慢造成的, 因为测试前数据库是空的,随着数据的进入,伴随着insert及query操作。
  慢查询分析流程
  通过慢查询日志,定位每条语句的执行时间,比如超过了200ms的,那么就需要针对这个进行优化。
  优化步骤:
  用慢查询日志(system.profile)找到超过200ms的语句
  然后再通过.explain()解析影响行数,分析为什么超过200ms
  决定是不是需要添加索引
  开启慢查询
  Profiling级别说明
  ● 0:关闭,不收集任何数据。
  ● 1:采集慢查询数据,默认是100毫秒。
  ● 2:采集所有数据
  开启profiling
  需要注意的是,以上操作如果是在collection下操作,只对该collection有效。如果需要对整个db有效,需要在db下执行。每次执行后返回的结果是修改前的状态。
  慢查询分析

  此处发现millis 数据很大,一个insert操作需要1.6s。需要进行优化。
  总结
  上面的只是一个例子,实际中,我当时是在query遇到问题,一个query执行了2800ms。后来发现是有两个字段没有建索引导致的。但是依然没有解决insert性能低下的问题。
  后续有待继续研究。
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号