爬虫小程序

import re
import urllib
#取整个网页的源码
def getHtml(url):
    page=urllib.urlopen(url)
    html=page.read()
    return html
  
def getImg(html):
    reg = r'src="(.+?\.jpg)" pic_ext'#正则表达式
    imgre=re.compile(reg)
    imglist=re.findall(imgre,html)#找出整个网页中的图片地址
    x=0
    for imgurl in imglist:
        urllib.urlretrieve(imgurl, '%s.jpg'%x)#下载图片
        x+=1

html=getHtml("http://tieba.baidu.com/p/2460150866")
print (getImg(html))


#不是所有的网页都适用