专注于自动化测试,性能测试.......

使用python测试网页中超链接的连通性(原创)

上一篇 / 下一篇 2009-09-21 22:24:27 / 个人分类：Python

在web测试，对网页中的超链接进行测试是最基本的工作，最简便的方法当然是使用像xenu之类的工具。但它具体是怎么实现的呢？我想也无外乎是通过http协议，根据超链接地址，向服务端发送请求，然后根据返回的信息进行判断连接的状态。下面是根据这种思路，用python编写的检测网页链接连通性的程序。

M p6@VY8W]0首先，建立一个示例网页，其中link1,lin3是不连通的，link2,link4是有效链接

<head>Test</hest>
<body>
<a href="http://ggdfgdfg.com/erwerwe.html">link1</a>
A I*wK;rq`Y t0 <a href="/sample/lik.html">link2</a>51Testing软件测试网Rk#v!S9z
<a href="/sample/lik2.html">link3</a>
$?2\,xgJM0 <a href="http://google.com">link4</a>
</body>

使用python进行链接检测，要使用到4个重要模块，过程就是通过urllib抓取目标网页的html代码，然后通过sgmllib模块解析html，获取超链接的列表。然后使用urlparse解析超链接的url，供httplib使用。然后由httplib模块进行最后的请求及验证回复的过程。

sgmllib :用于HTML解析，解析出网页中包含的超链接

'qjv!}CL9_hV0httplib:用于Http协议的操作

A&C:d?'a}W0urllib:用于获取网页的html代码

urlparse：解析url地址，把url地址解析成几个部分。

r]0AE+i p2T0具体实现代码如下：

Nz!fT5h[^+n0#-×-coding:gb2312-*-51Testing软件测试网7x YoR7K)_ R&l
import httplib,urllib,urlparse
"nq_~+\_0from sgmllib import SGMLParser
r1@A&ykX0Q0#解析指定的网页的html，得到该页面的超链接列表51Testing软件测试网(efn8{`D
class URLLister(SGMLParser):
%dd!`1Cmx"|0    def reset(self):
];m;{8l5^-zD|1x2k_0        SGMLParser.reset(self)
*u)h/I's/? avvy0        self.urls = []

nOA)L}q\AW0    def start_a(self, attrs):
        href = [v for k, v in attrs if k=='href']
#g&O*q,v7P&^ v2H0        if href:51Testing软件测试网~Qm+D&D
            self.urls.extend(href)
1_?&^(\ y.bA#rgK0#遍历超链接列表，并逐个的发送请求，判断接收后的代码，200为正常，其他为不正常
def fetch(host):
        usock = urllib.urlopen(host)
        parser = URLLister()
        parser.feed(usock.read())
        uhost = urlparse.urlparse(host)51Testing软件测试网$JRx$n1ec
        for url in parser.urls:
            up = urlparse.urlparse(url)
            #因为超链接有两种方式：一种是直接的http://...... 一种是相对路径，/.../sample.html
Z&dr+t!I0          #所以要分别处理51Testing软件测试网Z(v:r(CX2`l
            if up.netloc =="":
                http = httplib.HTTP(uhost.netloc)
hx)Oc6vM.f7w.R%Qn0                http.putrequest("GET", "/"+up.path+"?"+up.params+up.query+up.fragment)51Testing软件测试网PG&ZQE
                http.putheader("Accept", "*/*")
                http.endheaders()
&Y Rf2rMFU0            else:
                http = httplib.HTTP(up.netloc)
,stW9KQPRN0                http.putrequest("GET", up.path+"?"+up.params+up.query+up.fragment)
                http.putheader("Accept", "*/*")
                http.endheaders()
}5A(?Sh-Cs0            errcode, errmsg, headers = http.getreply()51Testing软件测试网w,B"aL9g
            if errcode == 200:
                print url," : ok"
            else:
C N'D?'?&F:e0                print url," : ",errcode51Testing软件测试网oqJ;[,S2KJ

1z t$F}!Wr:S+[~0#测试
fetch("http://localhost/Sample/sample.html")51Testing软件测试网#reW(\S0z

&K v&f+}5V$hh7c0代码运行的结果：51Testing软件测试网u'Ud?'U)~

AS'D}rkU/D&eO0http://ggdfgdfg.com/erwerwe.html : 40451Testing软件测试网[.NP%b c
/sample/lik.html : ok
/sample/lik2.html : 404
http://google.com : ok

51Testing软件测试网3JMT^v+C%v

'oU1X$] b*Z,N0版权声明：本文出自wxf_xsfy的51Testing软件测试博客：http://www.51testing.com/?61753

原创作品，转载时请务必以超链接形式标明文章原始出处、作者信息和本声明，否则将追究法律责任。
`N%z)Zf~Dgq1q0

相关阅读:

python学习笔记20090826 (honghong806, 2009-8-26)
学习Python的轨迹(转帖) (wxf_xsfy, 2009-8-27)
Python正则表达式操作指南(转帖) (wxf_xsfy, 2009-8-27)
使用Python实现利用google翻译英文文章中的单词 (wxf_xsfy, 2009-8-27)
Python操作SQL Server数据库(原创) (wxf_xsfy, 2009-8-29)
Python生成COM组件(原创) (wxf_xsfy, 2009-9-13)
Python 测试框架：选择和运行测试 (51testing, 2009-9-14)
使用python提取英文文章中的单词及出现的次数(原创) (wxf_xsfy, 2009-9-15)
使用Python读取xml格式的测试数据(原创) (wxf_xsfy, 2009-9-18)
使用Python测试网页中超链接的连通性 (fishy, 2009-10-12)

收藏举报

TAG: Python

引用删除大地的女儿 / 2016-03-16 18:07:37: 报这个错：
Traceback (most recent call last):
  File "/Users/xiaoju/PycharmProjects/untitled/Hyperlink.py", line 3, in <module>
import httplib
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/httplib.py", line 1151, in <module>
import ssl
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/ssl.py", line 58, in <module>
import textwrap
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/textwrap.py", line 40, in <module>
class TextWrapper:
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/textwrap.py", line 82, in TextWrapper
whitespace_trans = string.maketrans(_whitespace, ' ' * len(_whitespace))
AttributeError: 'module' object has no attribute 'maketrans'