[python]Scrapy中的request类的使用方法

上一篇 / 下一篇  2020-09-30 13:33:14 / 个人分类:Python

Scrapy框架中的request方法,主要用于向服务器发送http请求。
request方法的使用格式如下:

request([url,callback,method='GET',headers,body,cookies,meta,encoding='utf-8',priority=0,dont_filter=False,errback,flags])
参数说明:
-url:请求的url
-callback:回调函数,用于接收请求后的返回信息,若没指定,则默认为parse()函数
-method:http请求的方式,默认为GET请求,一般不需要指定。若需要POST请求,用FormRequest即可
-headers:请求头信息,一般在settings中设置即可,也可在middlewares中设置
-body:str类型,为请求体,一般不需要设置(get和post其实都可以通过body来传递参数,不过一般不用)
-cookies:dict或list类型,请求的cookie
dict方式(name和value的键值对)
cookies={'name1':'values1','name2':'values2'}
cookies=['name':'Zarten','value':'my name is Zarten']

-encoding:请求的编码方式,默认为utf-8
-priority:int类型,指定请求的优先级,数字越大优先级越高,可以为负数,默认为0
-dont_filter:默认为False,若设置为True,这次请求将不会过滤(不会加入到去重队列中),可以多次执行相同的请求
-errback:抛出错误的回调函数,错误包括404,超时,DNS错误等,第一个采纳数为Twisted Failure实例
-flags:list类型,一般不会用到,发送请求的标志,一般用于日志记录
-meta.:可用户自定义从Request到Response传递参数,这个参数一般也可在middlewares中处理

(余下的参数省略记录,可仔细查看链接https://www.cnblogs.com/heymonkey/p/11818495.html)




TAG:

 

评分:0

我来说两句

Open Toolbar