Jmeter_ForEach控制器实现网页爬虫

发表于:2018-5-02 10:53

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:飞天小子    来源:博客园

  一直以来,爬虫似乎都是写代码去实现的,今天像大家介绍一下Jmeter如何实现一个网页爬虫!
  Jmeter的爬虫原理其实很简单,就是对网页提交一个请求,然后把返回的所有href提取出来,利用ForEach控制器去实现url遍历。这样解释是不是很清晰?下面就来简单介绍一下如何操作。
  首先我们需要对网页提交一个请求,就拿腾讯新闻网举例子吧!我们像腾讯新闻网发起一个请求,观察一下返回值可以发现中间有很多href标签+文字标题的url
  我们现在需要把这些url提取出来,利用强大的正则表达式!记得匹配数字填-1,意思就是把所有合适的url都取出来
  a target="_blank" class="linkto" href="http:// *(.*l)"
  加一个debug查看一下是否真的取出来了
  又或者我们在结果里面直接利用正则匹配一下,可以看到很多网页链接都被取出来了
  接下来我们需要动用到ForEach控制器了,利用这个控制器对所有取出来的url进行遍历触发。记得在控制器里面填入变量名称,也就是刚刚正则表达式里面的变量名
  接下来在ForEach控制器下面再添加一个http请求,利用它去执行请求触发
  下面我们可以观察结果了,见证奇迹的时候到了。观察结果我们发现所有匹配的url都被触发了!
  是不是很简单?去实际操作一下吧!

上文内容不用于商业目的,如涉及知识产权问题,请权利人联系博为峰小编(021-64471599-8017),我们将立即处理。
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号