前言时刻：
首先说说为什么写这篇文章，最初学习请求 HTTP 的方式，只了解 POST 和 GET 和两种方式，具体是什么内容也没细看，如同蜻蜓点水一样，根本就没有搞懂?。开始的时候不觉的有啥，但是等到了实际项目的时候，就发现很耽误时间，如无头的苍蝇一样乱找。
昨天的时候，我抓包一个平台的登录数据，写了一个爬虫模拟登录，但是死活的就是拿不到登录数据。明明表单数据都正确的，我拿 Postman 进行模拟登录也是无果。我想看看网上有解答这种问题的不，关键是我都不知道该怎么搜索。无奈之下我打开Chartless 对比了浏览器官方的请求数据和我用 Postman 发送的数据，对比了下，让我发现了不同，数据是一样的，不同的是数据编码方式不同。
官方采用的是 raw 中的 Json，而我采用的 form-data 表单，方法错了就算改到胡子白了也成功不了呀??。于是乎网上搜索关于 POST 发送数据 的方式，居然有四种方式。无知的我居然就只知道其中的 form-data，而且还以为urlencode 的方式和 form -data 方式一样。不会就要学习，所以看下面～
1、HTTP数据传输
先来看看 HTTP 是如何传输表单数据的。HTTP 是以ASCII 码传输的，建立在TCP/IP 协议之上的应用层规范。HTTP 请求包括：请求行、请求头、消息主体数据。
形如：
<method> <url> <version> <headers> <entity-body> # 例如： # 请求行 POST /wp-admin/admin-ajax.php HTTP/1.1 # 下面都是请求头 Host: zwjjiaozhu.top Content-Length: 69 Accept: */* User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36 Content-Type: application/x-www-form-urlencoded; charset=UTF-8 # 下面是消息主体内容 action=user_login&username=%E5%8F%91&password=+%E5%8F%91&rememberme=1 |
其中这个Content-Type是告诉接受数据的服务端，用什么方式进行解析消息主体。同时发送数据的客户端（浏览器）也是对数据采用同样的编码方式。post 方法中有四种编码方式，详细看2。
可能你对浏览器如何发送表单也不是很清楚，那么来温故一下。
form表单属性：
action：属性定义发送数据要去的地方，如：www.baidu.com
method：属性定义如何发送数据，常见的方法有：POST,GET,HEAD,PATCH……
name：属性定义表单的名字
enctype：定义表单的数据如何编码。如：POST 中对发送数据的四种编码方式。
target：提交表单后，在那个页面显示响应内容
_self：默认值，在相同的页面（框架）中显示响应数据，并覆盖原内容
_blank：在一个新打开的、未命名的窗口打开响应数据
_parent：在当前内容的父窗口（框架）中打开响应数据。如果 form 表单本身就在顶级框架中，那么等同于self
例如原生的提交 form 表单html代码：
<form method="post" enctype="multipart/form-data" name="myForm" action=“http://www.baidu.com”> <div> <label for="file">Choose a file</label> <input type="file" id="file" name="myFile"> </div> <div> <button type=“submit”>Send form</button> </div> </form> |
一旦触发 submit 按钮后，浏览器会对表单内容 myFile:文件内容 以 multipart/form-data 的编码方式，采用POST 的方法向http://www.baidu.com 发送数据。
以上是原生的表单发送方式。但是现在大都采用更加好用的异步 Ajax 进行数据发送，内容大致相同，就不细说了，有机会在总结。
2、POST 的四种方式
POST 方法中对发送数据编码的方式，也就是 Content-Type 有四种方式，其中默认是 application/x-www-form-urlencoded，最方便的是 application/json 。
四种方式包括：
· application/x-www-form-urlencoded （URL encoded）
· multipart/form-data （键值对型数据）
· application/json (Json 类型数据)
· text/xml （xml）
2.1、application/x-www-form-urlencoded
POST 中很常见的一种编码数据的方式，如果不设置 Content-type 的值，默认就是 urlencoded 。常见的 Ajax 也默认是这种方法。
POST http://www.example.com HTTP/1.1 Content-Type:application/x-www-form-urlencoded;charset=utf-8 title=test&sub%5B%5D=1&sub%5B%5D=2&sub%5B%5D=3 |
实际例子：
# python脚本 import requests url = "http://httpbin.org/post" data = {"name":"西园公子","age":"666"} headers = {"Content-type":"application/x-www-form-urlencoded"} content = requests.post(url=url,data=data,).text print(content) # 网络请求： POST http://httpbin.org/post HTTP/1.1 Hosthttpbin.org User-Agentpython-requests/2.24.0 Accept-Encodinggzip, deflate Accept*/* Content-Length49 Content-Typeapplication/x-www-form-urlencoded Connectionkeep-alive # 下面是表单内容 name=%E8%A5%BF%E5%9B%AD%E5%85%AC%E5%AD%90&age=666 # 可以看出汉字是使用utf8编码的 # 打印 { "args": {}, "data": "", "files": {}, "form": { # form表单内容 "age": "666", "name": "\u897f\u56ed\u516c\u5b50" }, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Content-Length": "49", "Content-Type": "application/x-www-form-urlencoded", # Content-Type "Host": "httpbin.org", "User-Agent": "python-requests/2.24.0", # 这里面如果爬虫不设置user-agent的话，本ban的几率很大 "X-Amzn-Trace-Id": "Root=1-60010906-7a51fef342a967cd24c32235" }, "json": null, "origin": "171.90.37.102", "url": "http://httpbin.org/post" } |
这里说明一下，requests 是根据传入的键来判断采用那种方法，比如上面的是data= 就说明采用 urlencode 的方法编码数据，其他的方法到最后面一并介绍。
另外这个 http://httpbin.org/post 链接的作用，就是将你向它发送的数据以及header，原样返回，很是方便。
2.2、multipart/form-data
这种编码方式，通常是用在客户端向服务端传送大文件数据，如：图片或者文件。
首先来解释下什么它的编码方式，首先会生成一个很长的 boundary 字符串分界线，表明下面的都是表单内容，然后紧接着跟的是表单中的第一个键值对中的名称，而后一个换行，跟着值。然后再生成一个boundary 字符串分界线，用于分割不同的键值。之后就重复以上操作，详细的流程请看下方的例子。
# python脚本 import requests from requests_toolbelt import MultipartEncoder m = MultipartEncoder( fields={'field0': 'value1', 'field1': 'value2', 'field2': ('filename', open('data.txt', 'rb'), 'text/plain')} ) content = requests.post('http://httpbin.org/post', data=m, headers={'Content-Type': m.content_type}).text print(content) print(m.content_type) # 1、网络请求： POST http://httpbin.org/post HTTP/1.1 Host: httpbin.org User-Agent: python-requests/2.24.0 Accept-Encoding: gzip, deflate Accept: */* Content-Type: multipart/form-data; boundary=e48c73a7a42e403d868095dc3d060962 Content-Length: 222 Connection: keep-alive # 下面是编码的表单内容 --e48c73a7a42e403d868095dc3d060962 Content-Disposition: form-data; name="field0" value1 --e48c73a7a42e403d868095dc3d060962 Content-Disposition: form-data; name="field1" value2 --e48c73a7a42e403d868095dc3d060962-- Content-Disposition: form-data; name="field2"; filename="filename" Content-Type: text/plain ????￥????è￥???-????-???? --25c88ddc918d40e7a3cd5be0d62476b7-- # 2、打印 { "args": {}, "data": "", "files": { # 发送类型是文件的 "field2": "\u4f60\u597d\uff0c\u897f\u56ed\u516c\u5b50\uff5e" }, "form": { # 发送类型是非文件的，有些类似 urlencode 的消息主体 "field0": "value1", "field1": "value2" }, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Content-Length": "222", "Content-Type": "multipart/form-data; boundary=3123ca302f2c4f0dba1050faa8817ab8", "Host": "httpbin.org", "User-Agent": "python-requests/2.24.0", "X-Amzn-Trace-Id": "Root=1-60017280-15e1a08d69c4611737583c87" }, "json": null, "origin": "191.80.857.122", "url": "http://httpbin.org/post" } multipart/form-data; boundary=3123ca302f2c4f0dba1050faa8817ab8 |
2.3、application/json
这个是今天的主角，用的超级多，也非常的方便。设置 header 中Content-type，就告诉服务端数据以 Json 字符串的形式存在，相应的就用 Json 的方法解码数据即可。
Python 脚本例子：
import requests import json url="http://httpbin.org/post" p_data = {"name": "公子哥", "hobby": "coding"} content = requests.post(url, json=json.dumps(p_data), headers={'Content-Type': "application/json"}).text print(content) # 1、原生网络请求 POST /post HTTP/1.1 Host: httpbin.org User-Agent: python-requests/2.24.0 Accept-Encoding: gzip, deflate Accept: */* Content-Type: application/json Content-Length: 62 Connection: keep-alive # 下面是编码成json数据 的表单内容 "{\"name\": \"\\u516c\\u5b50\\u54e5\", \"hobby\": \"coding\"}" # 2、打印数据 { "args": {}, "data": "\"{\\\"name\\\": \\\"\\\\u516c\\\\u5b50\\\\u54e5\\\", \\\"hobby\\\": \\\"coding\\\"}\"", "files": {}, "form": {}, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Content-Length": "62", "Content-Type": "application/json", # 这里指定消息主体编码方式 "Host": "httpbin.org", "User-Agent": "python-requests/2.24.0", "X-Amzn-Trace-Id": "Root=1-6001804b-1c8da9b72910a9e1021e02b3" }, "json": "{\"name\": \"\\u516c\\u5b50\\u54e5\", \"hobby\": \"coding\"}", # 消息主体内容 "origin": "171.10.87.122", "url": "http://httpbin.org/post" } |
2.4、text/xml
这个我还真没咋遇到，不是很熟悉，等后面我仔细研究后在补～
import requests # from requests_toolbelt import MultipartEncoder p_data = """ <?xml version="1.0"?> <methodCall> <methodName>examples.getStateName</methodName> <params> <param> <value><i4>41</i4></value> </param> </params> </methodCall> """ content = requests.post(url='http://httpbin.org/post',data=p_data,headers={'Content-Type':'text/xml'}).text print(content) # 2、打印数据 { "args": {}, "data": "\n<?xml version=\"1.0\"?>\n<methodCall>\n <methodName>examples.getStateName</methodName>\n <params>\n <param>\n <value><i4>41</i4></value>\n </param>\n </params>\n</methodCall>\n", "files": {}, "form": {}, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Content-Length": "200", "Content-Type": "text/xml", "Host": "httpbin.org", "User-Agent": "python-requests/2.24.0", "X-Amzn-Trace-Id": "Root=1-60024d51-775180ce108409b413dc68c6" }, "json": null, "origin": "106.33.40.219", "url": "http://httpbin.org/post" } |
3、Reuqests 表示这四种方式
这里集中将这四种方式说明，否则容易搞混淆。
p_data = { "name": "西园公子", } |
1) application/x-www-form-urlencoded:
这里面是给data=传入参数，参数格式是 Python dict字典。
| requests.post(url="http://httpbin.org/post",data=p_data, headers={"Content-type": "application/x-wwww-form-urlencoded"}).json() |
2) multipart/form-data：
和上面的一样也是给data=传参，不同的是数据的编码方式不同。
from requests_toolbelt import MultipartEncoder m = MultipartEncoder( fields={'field0': 'value1', 'field1': 'value2', 'field2': ('filename', open('data.txt', 'rb'), 'text/plain')} ) requests.post(url="http://httpbin.org/post",data=m, headers={"Content-type": "multipart/form-data"}).json() |
3) application/json：
这里面是给json=传入参数，参数的格式 Json 字符串，所以需要使用 json.dumps()， 将 Python dict 转 Json 字符串（其实就是 Python 的 str 类型，但是接收方会对字符串进行 Json 解码）。
import json p_data = json.dumps(p_data) requests.post(url="http://httpbin.org/post",json=p_data, headers={"Content-type": "application/json"}).json() |
4) text/xml：
和前面几个的一样也是给data=传参，参数类型是字符串，但是必须按照 xml 的语法写。
p_data = '<?xml version="1.0" encoding="utf-8"?><soap:Envelope xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:soap="http://schemas.xmlsoap.org/soap/envelope/"><soap:Body><Request xmlns="http://tempuri.org/"><jme><JobClassFullName>WeChatJSTicket.JobWS.Job.JobRefreshTicket,WeChatJSTicket.JobWS</JobClassFullName><Action>RUN</Action><Param>1</Param><HostIP>127.0.0.1</HostIP><JobInfo>1</JobInfo><NeedParallel>false</NeedParallel></jme></Request></soap:Body></soap:Envelope>' requests.post(url="http://httpbin.org/post",data=p_data, headers={"Content-type": "text/xml"}).json() |
可别忘记在 headers 中的 Conent-type，写入相应的编码方式，否则服务端可不知道怎么解码数据了。
总结
在我测试post的几种编码方式的时候，我明明看到官方的 Content-type 是 application/json 的。我用 Postman 也是试成功了，但是我用 Requests 设置 json=json.dumps(p_data) 死活就是不通，最后改成 data=p_data，居然就成功了，我也是服了，也不知是服务端有问题还是我写的有问题。
本文内容不用于商业目的，如涉及知识产权问题，请权利人联系51Testing小编(021-64471599-8017)，我们将立即处理
