python 爬虫 添加cookies和自定义请求头

cookies={}#初始化cookies字典变量
for line in cookie_raw.split(';'):   #按照字符：进行划分读取
    #其设置为1就会把字符串拆分成2份
    name,value=line.strip().split('=',1)
    cookies[name]=value  #为字典cookies添加内容

2.请求头也是字典

headers = {user-agent:'',a:'',...}

s = requests.session()
s.headers.update(headers)

3.添加cookies的方式

requests.utils.add_dict_to_cookiejar(s.cookies, cookies)

html = s.get(url)

或者

html = s.get(url, cookies=cookies)

详情

http://blog.csdn.net/shanzhizi/article/details/50903748