这次，我们来爬取百度文库的VIP才能下载的PPT文档。我们学爬虫的时候，最让我们头疼的可能就是动态请求了，因为不破解里面的接口，我们就没有办法拿到我们想要的数据。
破解接口确实是有很大的难度，对于初学者甚至是滋生爬虫工程师都是很有难度的，毕竟我们爬虫是与人在对抗而不是真的和机器相爱相杀。
所以，今天我们用selenium直接获取到动态渲染后的参数来下载我们想要的数据。
一、爬取前的准备
python库
requests
lxml
selenium
selenium驱动器
selenium原理介绍
它可以把渲染之后的前端页面返回给我们，这样我们就能够拿到我们想要的数据了。
二、实现思路
首先，我们要引入chrome自动化驱动器，然后加载这个网页。
from selenium import webdriver chrome = webdriver.Chrome("F:/selln/chromedriver.exe") # 这个就是你放下载好的selenium的路径，精确到exe文件。 chrome.get("https://wenku.baidu.com/view/3980c7ccce22bcd126fff705cc17552707225efc.html?fr=search") |
百度文库页面分析
从这个页面中，我们发现，其他都很正常，但是呢，这个页面有一个反扒措施，就是有一个“还剩xx页未读，继续阅读”这个字段，其实，这个就是我们这次遇到的最大的反爬。
在解决这个反爬问题之前，我们先分析一下最先出来的那几张PPT，选择我们爬取它的方法。
三、分析前端页面
1.一开始就展现出来的页面分析
我们发现，在前三个显示出来的ppt是以图片的形式，而且，图片的url已经暴露在了页面中，并且，存储在前端中的格式是完全相同的，非常的理想。
2.隐藏页面的分析
现在，我们点击继续阅读，看看之后的图片是不是也是这么储存的。
我们发现，接下来隐藏的页面中，图片的url存储方式并没有发生什么大变化，无非解释外面又套了一层div，并且div的class属性，仅仅只在reader-pageNo-<页数>，发生了变化。
到此，我们前端就分析完了。总结如下：
一开始展示的页面中，图片的url在class是ppt-image-wrap的div下的img标签
隐藏的图片url仅仅只在刚刚分析出来的div上套了一层盒子，并且class中仅仅只有reader-pageNo-<页数>这个参数需要改变
3.思路
那我们先用selenium，渲染出隐藏后的前端页面，然后将渲染后的页面传入lxml中的etree中去解析，再通过xpath把url再匹配出来，通过request.get()来下载图片，最后通过上下文处理器传入文件中保存。
这样，我们的PPT爬取就实现了。
4.开始实现
在分析完了前端页面后，我们可以开始实现爬取了。
代码
import requests from lxml import etree from selenium import webdriver chrome = webdriver.Chrome("F:/selln/chromedriver.exe") chrome.get("https://wenku.baidu.com/view/3980c7ccce22bcd126fff705cc17552707225efc.html?fr=search") headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36', } input("阻塞，手动点击加载更多的页面") selection = etree.HTML(chrome.page_source) import time # 模拟滑动 for i in range(1,31): js = "var q=document.documentElement.scrollTop={}".format(i * 535) # javascript语句 chrome.execute_script(js) time.sleep(1) empty_list = [] all_ppt_div = selection.xpath("//div[@class='ppt-image-wrap']/img/@src") for j in all_ppt_div: empty_list.append(j) time.sleep(3) selection = etree.HTML(chrome.page_source) for i in range(4,34): all_ppt_div = selection.xpath("//div[@class='ppt-page-item reader-pageNo-%s ppt-bd hidden-doc-banner']/div/img/@src"%str(i)) try: empty_list.append(all_ppt_div[0]) except: break cout = 1 empty_list = list(set(empty_list)) for i in empty_list: r = requests.get(str(i)) with open("%s.jpg"%str(cout),'wb') as f: f.write(r.content) cout +=1 |
5.代码解释
1）input阻断
根据刚刚讲的原理，我们放个input阻断程序运行，然后我们手动点击继续阅读，然后回到程序中按回车继续进行程序。
2）sleep函数
这个函数是用来模拟的第一步。因为在读取的过程中，页面的加载也是需要时间的，所以我们需要有等待的时间。
3）模拟滑动
# 模拟滑动 for i in range(1,31): js = "var q=document.documentElement.scrollTop={}".format(i * 535) # javascript语句 chrome.execute_script(js) time.sleep(1) |
这个代码，大家只需要用的时候复制就好了，其中，535这个就是一个参数，在实验中，发现535这个参数配合上range()使用，能够实现每次都加载一个到两个页面。
大家可能对range里面的参数感到好奇，这个我也解释一下。这个参数，就是剩下的页数，比如在点击继续阅读后，还剩31个PPT，那么range的最后就填31。这个是根据你想要的PPT的页数来的。
sleep是要等待滑动后，页面加载出来。这样我们才能匹配到图片的url。
4）图片url匹配
empty_list = [] all_ppt_div = selection.xpath("//div[@class='ppt-image-wrap']/img/@src") for j in all_ppt_div: empty_list.append(j) time.sleep(3) selection = etree.HTML(chrome.page_source) for i in range(4,34): all_ppt_div = selection.xpath("//div[@class='ppt-page-item reader-pageNo-%s ppt-bd hidden-doc-banner']/div/img/@src"%str(i)) try: empty_list.append(all_ppt_div[0]) except: break |
首先，一开始展现出来的图片我们就直接用xpath匹配了，我们来看看隐藏的url匹配
在第二个for循环中，range里面的参数，就是接下来显示的，和最后一个图片的url所对应的数字。
在all_ppt_div后面，我们看reader-pageNo-%s，其中，%s就是用来传数字的，因为刚刚我们分析出来，div中class的变化和PPT的页数是一致的，所以通过这个方法传进去。
然后再将url存进列表中。
5）文件存储
cout = 1 empty_list = list(set(empty_list)) for i in empty_list: r = requests.get(str(i)) with open("%s.jpg"%str(cout),'wb') as f: f.write(r.content) cout +=1 |
这个就是文件操作，存入当前目录。其中，content就是文件的二进制形式。
四、总结
到此，百度文库PPT的爬取就结束啦。大家可以用这个代码和思想爬取绝大多数的百度文库ppt，因为前端的框架是基本不会变的，所以每个PPT中图片url在前端的存储格式也是一样的，我们要改的也只是程序中的部分参数就可以了。
本文内容不用于商业目的，如涉及知识产权问题，请权利人联系51Testing小编(021-64471599-8017)，我们将立即处理
