1.前言
网易云音乐的网页端与服务端通讯做了加密,本人才疏学浅破解不了,于是考虑用selenium +phantomjs的方式爬取,selenium 用pip install selenium 安装phantomjs 官网下载安装包即可,Python版本为3.6,用了mysql数据库,环境为win7 不过理论上linux mac也可以跑
2.爬取思路
点开一首歌的页面,这首歌的评论也会出现在页面下方,当然通常情况下一页是加载不完的,所以得通过模拟点击下一页的方式一页一页的捞评论,因为只是爬取数据顺便学习下,只爬取了用户id,用户昵称,建立了一个 userid nickname music 构成的mysql表,同时将爬取并且通过selenium 解析出来的页面信息缓存到本地,以后也许会有用的上的地方
3.几个关键点
在爬取过程中有几个点需要注意
1.selenium +phantomjs 解析页面时,如果页面上用到了iframe,需要switch_to.frame()的方式切换到对应的iframe,否则可能会导致查找不到需要的 element
2.页面上有异步的ajax请求时,最好在做操作后等待一会再查找element,否则有可能找不到数据
3.有的操作是让页面重新走了下ajax请求如点击下一页,这个时候页面不需要重新加载url地址,有些则需要,比如这首歌的评论我爬完了,爬取下一首
4.结合代码讲解下
代码一个是操作数据的sqlinstance.py 一个是主程序 spider_main.py
sqlinstance 用了sqlalchemy框架,目前只有一张表用于记录用户和歌曲的评论关系,
代码如下
from sqlalchemy import create_engine, text, Column, Integer, String, Sequence, \ Date, UniqueConstraint, BigInteger from sqlalchemy.ext.declarative import declarative_base from sqlalchemy.orm import sessionmaker Base = declarative_base() class MusicCmt(Base): __tablename__ = "t_musiccmts" id=Column(Integer,primary_key=True,autoincrement=True) userid = Column(BigInteger) nickname=Column(String(20),nullable=False) musicid = Column(BigInteger, nullable=False) __table_args__ = (UniqueConstraint('nickname', 'musicid'), ) # 建立连接 engine = create_engine('mysql+pymysql://pig:123456@localhost:3306/cloudmusic?charset=utf8' ,encoding='utf-8',echo=False,pool_size=50, pool_recycle=3600) DBSession = sessionmaker(bind=engine) # 通过代码创建数据库 try: MusicCmt.__table__.create(engine) except Exception as e : print(e) pass class SqlInstance: def addmark(self,**kwargs): session = DBSession() try: # 插入一条数据 session.add( MusicCmt(userid=kwargs['userid'], musicid=kwargs['musicid'],nickname=kwargs["nickname"])) session.commit() except Exception as e: print(e) pass session.close() sqlInstance=SqlInstance() |
代码看完 基本的sqlalchemy 建立mysql数据表并插入数据的操作就可以做了,其他复杂操作可以查官网,这里我也不多说了
接下来是主程序了,因为元素定位是用来很多xpath的语法,不熟悉的同学最好先看下语法,然后自己打开一个网易云音乐的页面,用Chrome的检查元素,再通过xpath查询的方式定位element ,可以验证下代码和xpath语法
主程序代码如下
import os import re import time from selenium import webdriver from selenium.webdriver import DesiredCapabilities import configparser import sqlinstance # 将目标musicid存到了一个文件里面,这个如果要做大的话可以动态获得 config = configparser.ConfigParser() config.read('myselectMusic.ini') musiclist= config['nemusic']['id'].split(",") # //PHANTOMJS自定义userAgent,避免被反爬 dcap = dict(DesiredCapabilities.PHANTOMJS) dcap["phantomjs.page.settings.userAgent"] = ( "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36" ) driver = webdriver.PhantomJS(desired_capabilities=dcap) # 设置一个很长的网页加载数据,省的有些情况还得滚动页面 driver.set_window_size(1920,5000) for musicid in musiclist: # 加载歌曲第一页 driver.get("http://music.163.com/#/song?id=%s" % (musicid)) # 等待网页ajax 请求完成 time.sleep(1) ele = driver.find_element_by_class_name("g-iframe") # print(ele) # 页面里面有iframe嵌套,如果要定位的元素iframe里面 # 必须切换,否则会查找不到 driver.switch_to.frame(ele) pagenum=1 # 查看下已经爬取了多少页, # 避免重复操作 savedfiles = os.listdir("saves") thissaved = [a for a in savedfiles if a.startswith(musicid) and a.count("final")>0] if(len(thissaved)>0): continue maxpage=0 try: thissaved = [int(a.replace(musicid + "_", "").replace(r".txt", "")) for a in savedfiles if a.startswith(musicid)] except: maxpage == "final" pass if maxpage and maxpage == "final": continue if len(thissaved)>0: maxpage = sorted(thissaved, reverse=True)[0] else: maxpage=0 maxpage=int(maxpage) if maxpage>0: current_is_end=False while True: # 这个xpath是查找页面底部的 1.2,3 。。。这些的翻页element # 点击就是跳的目标页了 # 网易云音乐的布局是 最后一个是跳转下一页,倒数第二个是跳转最后一页 # ,倒数第二个是翻一个大页面,如1-10 点了下就变成3-13 这种 pagejumps = driver.find_elements_by_xpath( "//div[contains(@class,'u-page')]/a") target=[ a for a in pagejumps if a.text==str(int(maxpage)+1)] if target: pagenum = maxpage+1 target[0].click() time.sleep(1) break else: pagejumps[-3].click() time.sleep(1) while True: # 这个xpath就是找到当前页面的所有评论的用户昵称 cmts=driver.find_elements_by_xpath("//div[@class='cnt f-brk']/a[@class='s-fc7']") # print(len(kk)) if len(cmts)>0: for aelemnt in cmts: urluid=aelemnt.get_attribute("href") print("nikename:%s url%s" %(aelemnt.text,aelemnt.get_attribute("href"))) try: # 从点击昵称的跳转链接正则解析出用户uid saveuid=re.findall(r"id=(\d+)",urluid)[0] except: saveuid=None pass # 数据存入数据库 sqlinstance.sqlInstance.addmark(userid=saveuid, musicid=musicid,nickname=aelemnt.text) # 找到页面上的下一页按钮 nextpagebtn=driver.find_element_by_xpath("//div[contains(@class,'u-page')]/a[text()='下一页']") str = driver.find_element_by_xpath("//html").get_attribute("innerHTML") # 判断当前页是否为最后一页 if "js-disable" in nextpagebtn.get_attribute("class"): print("最后一页") # 缓存下爬取的数据 with open("saves/%s_%s.txt" % (musicid, "final"), "w",encoding='utf-8') as f: f.write(str) break else: nextpagebtn.click() with open("saves/%s_%s.txt" % (musicid, pagenum), "w",encoding='utf-8') as f: f.write(str) pagenum += 1 time.sleep(2) # 退出浏览器别忘了 driver.quit() |
然后直接Python 跑下就好了,效果如图所示
效果如图
上文内容不用于商业目的,如涉及知识产权问题,请权利人联系博为峰小编(021-64471599-8017),我们将立即处理。