有正在从事web测试和APP测试工作或想从事此行业的测友们,欢迎与我联系,相互交流! 长期招聘不同级别测试工程师(WEB\APP\性能)有意者请与本人联系!

使用python测试网页中超链接的连通性

上一篇 / 下一篇  2011-11-06 11:15:49 / 个人分类:python

文章来源
  • 文章来源:【转载】
web测试,对网页中的超链接进行测试是最基本的工作,最简便的方法当然是使用像xenu之类的工具。但它具体是怎么实现的呢?我想也无外乎是通过http协议,根据超链接地址,向服务端发送请求,然后根据返回的信息进行判断连接的状态。下面是根据这种思路,用python编写的检测网页链接连通性的程序。

首先,建立一个示例网页,其中link1,lin3是不连通的,link2,link4是有效链接

~kGTW0

<head>Test</head>
<body>
<a href="http://ggdfgdfg.com/erwerwe.html">link1</a>
<a href="/sample/lik.html">link2</a>
<a href="/sample/lik2.html">link3</a>
<a href="http://google.com">link4</a>
</body>

X)_$t3]P+KO#\B*\0

使 用python进行链接检测,要使用到4个重要模块,过程就是通过urllib抓取目标网页的html代码,然后通过sgmllib模块解析html,获 取超链接的列表。然后使用urlparse解析超链接的url,供httplib使用。然后由httplib模块进行最后的请求及验证回复的过程。

#c,BkW Um)X y0

sgmllib :用于HTML解析,解析出网页中包含的超链接

\$M^8[:D+Q3Gs0

httplib:用于Http协议的操作

:A3[4i0\b8k0

urllib:用于获取网页的html代码51Testing软件测试网~n6d7s R?f

urlparse:解析url地址,把url地址解析成几个部分。

4JY r%ap w0

具体实现代码如下:51Testing软件测试网'HcW%c ONc h Xx7i

#-×-coding:gb2312-*-
import httplib,urllib,urlparse
from sgmllib import SGMLParser
#解析指定的网页的html,得到该页面的超链接列表
class URLLister(SGMLParser):
    def reset(self):
        SGMLParser.reset(self)
        self.urls = []

2f'jb9?[:T[0

    def start_a(self, attrs):
href = [v for k, v in attrs if k=='href']
if href:
            self.urls.extend(href)
#遍历超链接列表,并逐个的发送请求,判断接收后的代码,200为正常,其他为不正常
def fetch(host):
usock = urllib.urlopen(host)
parser = URLLister()
parser.feed(usock.read())
        uhost = urlparse.urlparse(host)
        for url in parser.urls:
            up = urlparse.urlparse(url)
#因为超链接有两种方式:一种是直接的http://...... 一种是相对路径,/.../sample.html
          #所以要分别处理
if up.netloc =="":
http = httplib.HTTP(uhost.netloc)
                http.putrequest("GET", "/"+up.path+"?"+up.params+up.query+up.fragment)
http.putheader("Accept", "*/*")
http.endheaders()
else:
                http = httplib.HTTP(up.netloc)
http.putrequest("GET", up.path+"?"+up.params+up.query+up.fragment)
                http.putheader("Accept", "*/*")
http.endheaders()
            errcode, errmsg, headers = http.getreply()
if errcode == 200:
print url," : ok"
else:
                print url," : ",errcode

C8Ts;@H$Q YV0

#测试
fetch("http://localhost/Sample/sample.html")51Testing软件测试网+A T(D4tK,d3k

代码运行的结果:

9]/k$l0Y V A:G0http://ggdfgdfg.com/erwerwe.html  :  404
/sample/lik.html  : ok
/sample/lik2.html  :  404
http://google.com  : ok

TAG: Python python

blue40131的个人空间 引用 删除 blue40131   /   2012-06-25 14:18:18
5
 

评分:0

我来说两句

显示全部

:loveliness: :handshake :victory: :funk: :time: :kiss: :call: :hug: :lol :'( :Q :L ;P :$ :P :o :@ :D :( :)

Open Toolbar