空间管理您的位置: 51Testing软件测试网 » 安然美的个人空间 » 日志

手把手教你用python抓网页数据

上一篇 / 下一篇 2015-01-21 14:56:10

　　前言：

　　数据科学越来越火了，网页是数据很大的一个来源。最近很多人问怎么抓网页数据，据我所知，常见的编程语言(C++,java,python)都可以实现抓网页数据，甚至很多统计\计算的语言(R,Matlab)都有可以实现和网站交互的包。本人试过用java,python,R抓网页，感觉语法各有差异，逻辑上是一样的。我准备用python来大概讲讲抓网页是什么概念，具体的内容要自己看手册或者google别人的博客，这里算是抛砖引玉了。水平有限，出现错误或者有更好的办法，欢迎讨论。

　　步骤一：熟悉Python的基本语法。

　　已经熟悉Python的直接跳到步骤二。

　　Python是门比较容易入门的编程语言，如何上手视编程基础而定。

　　(1) 如果有一定编程的基础，建议看google's python class，链接https://developers.google.com/edu/python/?hl=zh-CN&csw=1

　　这个是一个为期两天的短期培训课程（当然，是两个全天），大概是七个视频，每个视频之后给编程作业，每个作业一个小时之内可以完成。这是我学习 python的第二门课（第一门是codecademy的python，很早之前看的，很多内容都记不得了），当时每天看视频+编程作业一个多小时，六天弄完，效果还不错，用python写基本的程序没有问题。

　　(2) 如果是没有任何编程基础，建议看coursera上Rice University开的An Introduction to Interactive Programming in Python。这门课我没有跟过，但是看coursetalk的评论反映非常好，地里也有同学评论(点这里)，课程链接：https://www.coursera.org/course/interactivepython。Udacity上的CS101也是不错的选择，地里有相关的讨论帖(点这里)，而且这门课就叫做build a search engine，会专门讲一些和网络相关的module。其他学习资源还有code school和codecademy，这些资源也是挺不错的，但是编程量太少，初学者还是系统的跟课、多练练手来打好基础吧。. from: 1point3acres.com/bbs

　　当然，每个人的偏好不同，我推荐的不一定适合你。可以先看看这个帖子【长期加分贴】介绍你上过的公开课里面其他人是怎么说的，或者上coursetalk.org看看课程评论，再决定吧。

　　步骤二：学会如何与网站建立链接，得到网页数据。. From 1point 3acres bbs

　　写脚本与网站进行交互，要熟悉python和网页相关的几个module(urllib,urllib2,httplib)中的一个，知道一个即可，其他的都类似的。这三个是python提供的和网页交互的基本module，还有其他的一些，比如：mechanize和scrappy，我没有用过，可能有更好的性能，欢迎了解的来补充。基本的网页抓取，前面的三个module足矣。

　　下面的代码演示如何用urllib2与google scholar进行交互，获得网页信息。

　　# 导入模块 urllib2

　　import urllib2

　　# 随便查询一篇文章，比如On random graph。对每一个查询google

　　# scholar都有一个url，这个url形成的规则是要自己分析的。

　　query = 'On+random+graph'

　　url = 'http://scholar.google.com/scholar?hl=en&q=' + query + '&btnG=&as_sdt=1%2C5&as_sdtp='-google 1point3acres

　　# 设置头文件。抓取有些的网页不需要专门设置头文件，但是这里如果不设置的话，

　　# google会认为是机器人不允许访问。另外访问有些网站还有设置Cookie，这个会相对复杂一些，

　　# 这里暂时不提。关于怎么知道头文件该怎么写，一些插件可以看到你用的浏览器和网站交互的

　　# 头文件（这种工具很多浏览器是自带的），我用的是firefox的firebug插件。

　　header = {'Host': 'scholar.google.com',