Python爬虫使用Selenium控制浏览器进行搜索操作

发表于:2021-11-18 09:42  作者:LexSaints   来源:掘金

字体: | 上一篇 | 下一篇 |我要投稿 | 推荐标签: selenium 自动化测试框架

  首先需要安装selenium
  第一种:可以自己下载selenium tar.gz包,下载到python目录下:解压到当前文件夹。
  在cmd命令行:进入到解压包中,进行安装。安装完成之后,如果是eclipse中,请 clean project之后,pydev才能识别新安装的包。
  第二种: 可以直接使用在命令窗口: pip install selenium进行安装。
  使用selenium模拟浏览器登录时,需要下载对应浏览器的内核:
  将chromedriver,放在chorme.exe启动的相同位置。
  python代码:
  # -*- coding:utf-8 -*-
  from selenium import webdriver
  import os
  #引入chromedriver.exe
  chromedriver="C:/Program Files (x86)/Google/Chrome/Application/chromedriver.exe"
  os.environ["webdriver.chrome.driver"] = chromedriver
  browser = webdriver.Chrome(chromedriver)
  #设置浏览器需要打开的url
  url = "www.baidu.com/"
  browser.get(url)
  #在百度搜索框中输入关键字"python"
  browser.find_element_by_id("kw").send_keys("python")
  #单击搜索按钮
  browser.find_element_by_id("su").click()
  #关闭浏览器
  #browser.quit()
  以上是使用selenium进行模拟浏览器登录,需要打开浏览器,其实可以增加无头参数,不启动浏览器进行爬取操作。

  本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理

评 论

论坛新帖



建议使用IE 6.0以上浏览器,800×600以上分辨率,法律顾问:上海信义律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2022, 沪ICP备05003035号
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪公网安备 31010102002173号

51Testing官方微信

51Testing官方微博

扫一扫 测试知识全知道