Python可视化:爬取编程语言热度数据

发表于:2020-11-04 09:36

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:佚名    来源:早起Python

#
Python
分享:
  本文介绍如何利用requests+正则表达式爬取TIOBE编程语言热度数据,并使用??openpyxl写入数据与pyecharts时间轮播图进行可视化。
  一、数据获取
  我们需要爬取的目标url为https://www.tiobe.com/tiobe-index/打开之后如下:
  分析网页源代码可以找到想要的数据,利用正则表达式提取出想要的数据,并保存到Excel中,便于后续数据处理和可视化。
  完整爬虫代码如下,其中大多数语句都给出了详细注释,感兴趣的读者可以进一步研究。
  # -*- coding: UTF-8 -*- 
  """ 
  @File    :spider.py 
  @Author  :叶庭云 
  @CSDN    :https://yetingyun.blog.csdn.net/ 
  """ 
  import requests 
  import re 
  import openpyxl 
  import logging 
   
  logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s') 
  headers = { 
      "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1" 
  } 
   
  wb = openpyxl.Workbook()    # 创建工作簿对象 
  sheet = wb.active           # 获取活动的工作表 
  # 编程语言   时间    热度 
  sheet.append(['Programing', 'Date', 'data_per']) 
   
  url = 'https://www.tiobe.com/tiobe-index/' 
  rep = requests.get(url, headers=headers).text 
   
  # 正则匹配提取数据 
  data = re.findall('{name : (.*?),data : (.*?)}', rep) 
  programing = [eval(k[0]) for k in data]     # 编程语言 
  dates = [i[1] for i in data] 
   
  # 正则表达式处理 提取出想要的数据 
  for x in range(len(dates)): 
      name = programing[x] 
      datas = re.findall(r'\[Date.UTC(.*?)\]', dates[x], re.DOTALL) 
      for m in datas: 
          date1 = re.findall(r'\d+', m)       # 正则提取出数字 
          date2 = '-'.join(date1[:3])         # 拼接得到时间 
          data_per = '.'.join(date1[-2:])     # 得到热度数据 
          sheet.append([name, date2, data_per]) 
          logging.info([name, date2, data_per]) 
   
  wb.save('language_data.xlsx') 
  最终运行效果如下:
  可以看到成功提取出想要的数据,并保存到Excel,在jupyter notebook 环境中查看数据:
  二、 数据可视化
  本节使用pyecharts绘制时间轮播图数据可视化,展示现在热度排 Top10 的编程语言 2009-2019 年每年的平均热度变化。
  # -*- coding: UTF-8 -*- 
  """ 
  @File    :轮播图.py 
  @Author  :叶庭云 
  @CSDN    :https://yetingyun.blog.csdn.net/ 
  """ 
   
  import pandas as pd 
  import xlrd 
  import pyecharts.options as opts 
  from pyecharts.charts import Timeline, Bar 
  from pyecharts.globals import CurrentConfig 
   
   
  CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/' 
   
  # 提取编程语言名字 
  name = list(pd.read_excel('language_data.xlsx')['Programing'].drop_duplicates()) 
   
  data = xlrd.open_workbook('language_data.xlsx') 
  table = data.sheets()[0] 
   
  dic1 = {k: [] for k in name} 
  # 各编程语言对应每年里不同时间的热度 
  for i in range(1, table.nrows): 
   x = table.row_values(i) 
   dic1[x[0]].append((x[1], x[2])) 
   
  # 与编程语言顺序对应  每年编程语言对应的不同时间的热度 
  data_per = {k: [[] for x in range(10)] for k in range(2001, 2021)} 
  print(data_per) 
   
  count = 0 
  for k, v in dic1.items(): 
   for j in v:   # v (时间,热度)  热度数据添加进各年对应的列表里 
    data_per[int(j[0][:4])][count].append(eval(j[1]))  # 一年里各编程语言不同时间时的热度  对应起来 
   count += 1 
   
  # print(data_per) 
  data_per1 = {k: [] for k in list(data_per.keys())} 
   
  for k, v in list(data_per.items()): 
   for x in v: 
    if len(x) == 0:                  # 这一年里该语言没有热度数据 
     data_per1[k].append(0) 
    else: 
     avg = sum(x) / len(x) 
     data_per1[k].append(avg)     # 这一年里的平均热度 
   
  # 得到TOBIE现在排Top20的编程语言从2001年开始每年的平均热度 
  print(data_per1) 
   
   
  def get_year_overlap_chart(year) -> Bar: 
   sum_info = [(m, n) for m, n in zip(name, data_per1[year])] 
   # 编程语言按每年平均热度排序 
   sum_info.sort(key=lambda z: z[1], reverse=True) 
   name_ = [m[0] for m in sum_info] 
   datas = [m[1] for m in sum_info] 
   # 每根柱子的颜色列表 
   colors = ['#00BFFF', '#0000CD', '#000000', '#008000', '#FF1493', '#FFD700', '#FF4500', '#00FA9A', '#191970', 
       '#9932CC'] 
   x = [] 
   for i in range(10): 
    x.append( 
     opts.BarItem( 
      name=name_[i], 
      value=datas[i], 
      itemstyle_opts=opts.ItemStyleOpts(color=colors[i])   # 设置每根柱子的颜色 
     ) 
    ) 
   # 绘制柱形图 
   bar = Bar() 
   bar.add_xaxis(name_) 
   bar.add_yaxis(series_name='热度', yaxis_data=x, is_selected=True, 
                    label_opts=opts.LabelOpts(is_show=False)) 
   bar.set_global_opts(title_opts=opts.TitleOpts( 
        title="2009-2019编程语言热度"), 
        tooltip_opts=opts.TooltipOpts( 
        is_show=True, trigger="axis", axis_pointer_type="shadow"), 
                    xaxis_opts=opts.AxisOpts(name='编程语言'), yaxis_opts=opts.AxisOpts(name='热度'), 
   ) 
   return bar 
   
  # 生成时间轴的图 
  timeline = Timeline(init_opts=opts.InitOpts(width="1200px", height="600px")) 
  for y in range(2009, 2020): 
   timeline.add(get_year_overlap_chart(y), time_point=str(y)) 
   
  timeline.add_schema(is_auto_play=True, play_interval=1000) 
  timeline.render("language_2009_2019.html") 
  运行效果如下,可以看到虽然Python越来越火热,但Java稳坐编程语言热度排行榜第一!(此处一位PHP程序员拍桌)
  三、补充
  本节对有时候pyecharts绘制的图形渲染在网页上无法加载js文件的问题进行说明。
  根据网站资源引用说明:pyecharts 使用的所有静态资源文件存放于pyecharts-assets项目中
  默认挂载在 https://assets.pyecharts.org/assets/,因为默认优先从远程引用资源,这就导致有的时候无法加载 js 文件,图表显示不出来。
  解决办法:下载所需 js 文件到本地,修改资源引用地址,Github地址:https://github.com/pyecharts/pyecharts-assets看网站的介绍,pyecharts 提供了更改全局 HOST 的快捷方式。
  from pyecharts.globals import CurrentConfig 
   
  CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/' # 本地保存 js 资源的路径 

      本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理
价值398元的测试课程免费赠送,填问卷领取吧!

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计

法律顾问:上海漕溪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2023
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号