Python+selenium+firefox模拟登录微博并爬取数据

发表于:2021-9-14 09:26

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:榆西IT    来源:掘金

  1:环境python3.5,最新 firefox,selenium-3.14.0.
  本来准备用无界面的,但是感觉效果不好看出来所以先用有界面的浏览器来做。分几次来慢慢写。这节先配置好环境。
  2:安装:
  Python Selenium库的版本要对应浏览器的版本,不然可能会出现打不开浏览器,或者打开浏览器,打不开页面的情况。这个非常重要。
  开始时:
  我直接 pip install -i pypi.douba.com/simple selenium 。下载的版本不对。(太低了。)
  最新版的应该是如下图的:
  切记一定要安装最新的这个版本 :
  Pip install selenium==3.14.0。
  接下来 就是下载驱动了:
  最新的是这个。他要求的selenium版本要在3.11 之上。所以这里得尊重一下。开始我没注意到python 安装的selenium的版本。导致。访问页面一直打不开。
  下载后,解压保存到一个目录中。我放在了python的安装目录下的Script目录下。因为这个目录我配到了环境变量中。
  最后去火狐官网下载一个最新的浏览器。(安装过程中有选项,最好把自动升级最好关了)。
  这些装完了,就可以使用了。
  这里页面加载需要一些时间,为了保证能正常的加载上。我们然他睡十秒再执行。
  最后完成:(先不要在意这些细节)

  本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号