莫愁前路无知己,天下谁人不识君。。。。
爬虫知识带你1
上一篇 /
下一篇 2018-03-14 16:05:34
/ 个人分类:python知识精髓
python2.7:
# coding:utf-8
from bs4 import BeautifulSoup
url = 'http://www.itest.info/courses' # 定义被抓取页面的url
# 获取被抓取页面的html代码,并使用html.parser来实例化BeautifulSoup,属于固定套路
soup = BeautifulSoup(urllib2.urlopen(url), 'html.parser')
# 遍历页面上所有的h4
for course in soup.find_all('h4'):
# 打印出h4的text属性
print(course.text)
python3.0以上:
# coding:utf-8
from bs4 import BeautifulSoup
url = 'http://www.itest.info/courses' # 定义被抓取页面的url
# 获取被抓取页面的html代码,并使用html.parser来实例化BeautifulSoup,属于固定套路
soup = BeautifulSoup(requests.get(url).text, 'html.parser')
# 遍历页面上所有的h4
for course in soup.find_all('h4'):
# 打印出h4的text属性
print(course.text)
收藏
举报
TAG:
beautiful
requests
urllib2