Selenium+Phantomjs爬取网易云音乐评论信息

发表于:2018-1-04 11:09

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:战五渣_lei    来源:简书

  1.前言
  网易云音乐的网页端与服务端通讯做了加密,本人才疏学浅破解不了,于是考虑用selenium +phantomjs的方式爬取,selenium 用pip install selenium 安装phantomjs 官网下载安装包即可,Python版本为3.6,用了mysql数据库,环境为win7 不过理论上linux mac也可以跑
  2.爬取思路
  点开一首歌的页面,这首歌的评论也会出现在页面下方,当然通常情况下一页是加载不完的,所以得通过模拟点击下一页的方式一页一页的捞评论,因为只是爬取数据顺便学习下,只爬取了用户id,用户昵称,建立了一个 userid nickname music 构成的mysql表,同时将爬取并且通过selenium 解析出来的页面信息缓存到本地,以后也许会有用的上的地方
  3.几个关键点
  在爬取过程中有几个点需要注意
  1.selenium +phantomjs 解析页面时,如果页面上用到了iframe,需要switch_to.frame()的方式切换到对应的iframe,否则可能会导致查找不到需要的 element
  2.页面上有异步的ajax请求时,最好在做操作后等待一会再查找element,否则有可能找不到数据
  3.有的操作是让页面重新走了下ajax请求如点击下一页,这个时候页面不需要重新加载url地址,有些则需要,比如这首歌的评论我爬完了,爬取下一首
  4.结合代码讲解下
  代码一个是操作数据的sqlinstance.py 一个是主程序 spider_main.py
  sqlinstance 用了sqlalchemy框架,目前只有一张表用于记录用户和歌曲的评论关系,
  代码如下
from sqlalchemy import create_engine, text, Column, Integer, String, Sequence, \
Date, UniqueConstraint, BigInteger
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker
Base = declarative_base()
class MusicCmt(Base):
__tablename__ = "t_musiccmts"
id=Column(Integer,primary_key=True,autoincrement=True)
userid = Column(BigInteger)
nickname=Column(String(20),nullable=False)
musicid = Column(BigInteger, nullable=False)
__table_args__ = (UniqueConstraint('nickname', 'musicid'),
)
# 建立连接
engine = create_engine('mysql+pymysql://pig:123456@localhost:3306/cloudmusic?charset=utf8'
,encoding='utf-8',echo=False,pool_size=50, pool_recycle=3600)
DBSession = sessionmaker(bind=engine)
# 通过代码创建数据库
try:
MusicCmt.__table__.create(engine)
except Exception as e :
print(e)
pass
class SqlInstance:
def addmark(self,**kwargs):
session = DBSession()
try:
# 插入一条数据
session.add(
MusicCmt(userid=kwargs['userid'], musicid=kwargs['musicid'],nickname=kwargs["nickname"]))
session.commit()
except Exception as e:
print(e)
pass
session.close()
sqlInstance=SqlInstance()
  代码看完 基本的sqlalchemy 建立mysql数据表并插入数据的操作就可以做了,其他复杂操作可以查官网,这里我也不多说了
  接下来是主程序了,因为元素定位是用来很多xpath的语法,不熟悉的同学最好先看下语法,然后自己打开一个网易云音乐的页面,用Chrome的检查元素,再通过xpath查询的方式定位element ,可以验证下代码和xpath语法
  主程序代码如下
import os
import re
import time
from selenium import webdriver
from selenium.webdriver import DesiredCapabilities
import configparser
import sqlinstance
# 将目标musicid存到了一个文件里面,这个如果要做大的话可以动态获得
config = configparser.ConfigParser()
config.read('myselectMusic.ini')
musiclist= config['nemusic']['id'].split(",")
# //PHANTOMJS自定义userAgent,避免被反爬
dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = (
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"
)
driver = webdriver.PhantomJS(desired_capabilities=dcap)
# 设置一个很长的网页加载数据,省的有些情况还得滚动页面
driver.set_window_size(1920,5000)
for musicid in musiclist:
# 加载歌曲第一页
driver.get("http://music.163.com/#/song?id=%s" % (musicid))
# 等待网页ajax 请求完成
time.sleep(1)
ele = driver.find_element_by_class_name("g-iframe")
# print(ele)
# 页面里面有iframe嵌套,如果要定位的元素iframe里面
# 必须切换,否则会查找不到
driver.switch_to.frame(ele)
pagenum=1
# 查看下已经爬取了多少页,
# 避免重复操作
savedfiles = os.listdir("saves")
thissaved = [a for a in
savedfiles if
a.startswith(musicid) and a.count("final")>0]
if(len(thissaved)>0):
continue
maxpage=0
try:
thissaved = [int(a.replace(musicid + "_", "").replace(r".txt", "")) for a in savedfiles if
a.startswith(musicid)]
except:
maxpage == "final"
pass
if maxpage and maxpage == "final":
continue
if len(thissaved)>0:
maxpage = sorted(thissaved, reverse=True)[0]
else:
maxpage=0
maxpage=int(maxpage)
if maxpage>0:
current_is_end=False
while True:
# 这个xpath是查找页面底部的 1.2,3 。。。这些的翻页element
# 点击就是跳的目标页了
# 网易云音乐的布局是 最后一个是跳转下一页,倒数第二个是跳转最后一页
# ,倒数第二个是翻一个大页面,如1-10 点了下就变成3-13 这种
pagejumps = driver.find_elements_by_xpath(
"//div[contains(@class,'u-page')]/a")
target=[ a for a in pagejumps if a.text==str(int(maxpage)+1)]
if target:
pagenum = maxpage+1
target[0].click()
time.sleep(1)
break
else:
pagejumps[-3].click()
time.sleep(1)
while True:
# 这个xpath就是找到当前页面的所有评论的用户昵称
cmts=driver.find_elements_by_xpath("//div[@class='cnt f-brk']/a[@class='s-fc7']")
# print(len(kk))
if len(cmts)>0:
for aelemnt in cmts:
urluid=aelemnt.get_attribute("href")
print("nikename:%s url%s" %(aelemnt.text,aelemnt.get_attribute("href")))
try:
# 从点击昵称的跳转链接正则解析出用户uid
saveuid=re.findall(r"id=(\d+)",urluid)[0]
except:
saveuid=None
pass
# 数据存入数据库
sqlinstance.sqlInstance.addmark(userid=saveuid, musicid=musicid,nickname=aelemnt.text)
# 找到页面上的下一页按钮
nextpagebtn=driver.find_element_by_xpath("//div[contains(@class,'u-page')]/a[text()='下一页']")
str = driver.find_element_by_xpath("//html").get_attribute("innerHTML")
# 判断当前页是否为最后一页
if "js-disable" in nextpagebtn.get_attribute("class"):
print("最后一页")
# 缓存下爬取的数据
with open("saves/%s_%s.txt" % (musicid, "final"), "w",encoding='utf-8') as f:
f.write(str)
break
else:
nextpagebtn.click()
with open("saves/%s_%s.txt" % (musicid, pagenum), "w",encoding='utf-8') as f:
f.write(str)
pagenum += 1
time.sleep(2)
# 退出浏览器别忘了
driver.quit()
  然后直接Python 跑下就好了,效果如图所示
  
效果如图

上文内容不用于商业目的,如涉及知识产权问题,请权利人联系博为峰小编(021-64471599-8017),我们将立即处理。
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号