爬虫基础知识大全（一）

上一篇 / 下一篇 2021-10-11 13:35:13 / 个人分类：技术基础类

查看( 1014 ) / 评论( 0 ) / 评分( 0 / 0 )

一什么是爬虫

　爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。

二爬虫的分类

1.通用爬虫: 简单来讲就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。

2.聚焦爬虫：聚焦爬虫是根据指定的需求抓取网络上指定的数据。例如：获取豆瓣上电影的名称和影评，而不是获取整张页面中所有的数据值。

三反爬虫

- 门户网站通过相应的策略和技术手段，防止爬虫程序进行网站数据的爬取。

四反反爬虫

- 爬虫程序通过相应的策略和技术手段，破解门户网站的反爬虫手段，从而爬取到相应的数据。

五 HTTP协议

1 概念

HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。

2 特点

HTTP基于TCP/IP协议：http协议是基于TCP/IP协议之上的应用层协议。

HTTP是无连接：无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间。

HTTP是基于请求－响应模式：HTTP协议规定,请求从客户端发出,最后服务器端响应该请求并返回。

HTTP是无状态保存：HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它的应答就较快。

3 HTTP之URL

HTTP使用统一资源标识符（Uniform Resource Identifiers, URI）来传输数据和建立连接。URL是一种特殊类型的URI，包含了用于查找某个资源的足够的信息。

例子解析：http://www.aspxfans.com:8080/news/index.asp?boardID=5&ID=24618&page=1#name

协议部分：该URL的协议部分为“http：”；

域名部分：该URL的域名部分为“www.aspxfans.com”；

端口部分：跟在域名后面的是端口，域名和端口之间使用“:”作为分隔符；

虚拟目录部分：从域名后的第一个“/”开始到最后一个“/”为止，是虚拟目录部分。虚拟目录也不是一个URL必须的部分。本例中的虚拟目录是“/news/”

文件名部分：从域名后的最后一个“/”开始到“？”为止，是文件名部分，如果没有“?”,则是从域名后的最后一个“/”开始到“#”为止，是文件部分，如果没有“？”和“#”，那么从域名后的最后一个“/”开始到结束，都是文件名部分。本例中的文件名是“index.asp”。文件名部分也不是一个URL必须的部分，如果省略该部分，则使用默认的文件名。

锚部分：从“#”开始到最后，都是锚部分。本例中的锚部分是“name”。锚部分也不是一个URL必须的部分。

参数部分：从“？”开始到“#”为止之间的部分为参数部分，又称搜索部分、查询部分。本例中的参数部分为“boardID=5&ID=24618&page=1”。参数可以允许有多个参数，参数与参数之间用“&”作为分隔符。

4 HTTP之Request