Selenium为什么慢?那是你加载策略设置不对

发表于:2022-7-27 09:29

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:佚名    来源:知乎

  一、前言
  有不少粉丝,甚至一些行业中有一定经验的朋友都说selenium性能差、很慢,打开一个网页要等半天才开始执行。初学的粉丝提出这个问题我能够理解,行业工作经验数年还这样说我就有点诧异了。看来很多小伙伴还是没有阅读官方文档的习惯,这里就简单的讲解一下为什么你会觉得selenium慢以及如何解决这个问题:
  当我们通过webdriver(比如启动谷歌浏览器:webdriver.Chrome())启动浏览器时,会启动一个没有任何缓存、cookie的浏览器。这个时候通过driver.get("https://xxx")去访问页面自然是慢的,因为它需要加载该页面的资源,如果它的图片、样式、js文件过大时,这个时候就会变得更慢。
  跟我们平时直接将浏览器清除缓存再访问是一个道理,这并不是Selnium本身性能存在缺陷。
  但这时小伙伴们肯定会有疑惑,就算清了浏览器缓存重新访问,也没有通过Selnium来跑的那么慢呀!想要点击的按钮都出现半天了,它都还不进行点击,这不叫慢吗?
  这其实跟Selenium的页面加载策略有关。
  二、Selenium的页面加载策略详解
  Selnium的页面加载策略(pageLoadStrategy)有三种:
  normal:等待整个页面加载完毕再开始执行操作。
  eager:等待整个dom树加载完成,即DOMContentLoaded这个事件完成,也就是只要 HTML 完全加载和解析完毕就开始执行操作。放弃等待图片、样式、子帧的加载。
  none:等待html下载完成,哪怕还没开始解析就开始执行操作。
  默认情况下,当 Selenium WebDriver 加载页面时,它遵循的是normal加载策略,所以就会导致页面加载过慢,特别是在图片、样式等文件过大时,慢的就尤其明显了。
  所以我们可以根据实际情况调整Selenium的页面加载策略来缩短等待时间,提高执行速度。
  默认情况(未手动指定加载策略)来访问爱奇艺首页,然后点击电影,共耗时:7s左右。
  使用eager加载策略来访问爱奇艺首页,然后点击电影,共耗时:3.6s左右。
  配置代码如下:
  chrome_options = Options()
  chrome_options.page_load_strategy = 'eager'
  driver = webdriver.Chrome(options=chrome_options)
  可以明显的看到访问速度变快了。
  以为就这样了吗?还可以更快!
  加载策略设置为none,并引入retry做重试(目的是为了防止报错,当然设置隐式等待也可,但没retry稳妥)可以只用2s左右就能执行完成,完整代码如下:
  import datetime
  from retrying import retry  # 需第三方库,需pip进行安装
  from selenium import webdriver
  from selenium.webdriver.chrome.options import Options
  from selenium.webdriver.common.by import By
  @retry(wait_fixed=10, stop_max_attempt_number=1)
  def click(path):
      driver.find_element(By.XPATH, path).click()
  chrome_options = Options()
  chrome_options.page_load_strategy = 'none'
  driver = webdriver.Chrome(options=chrome_options)
  start_time = datetime.datetime.now()
  driver.get('https://www.iqiyi.com/')
  click('//*[@id="block-C"]/div/div/div/div[1]/div[1]/div/div[1]/div/div/a/span[2]')
  end_time = datetime.datetime.now()
  print(end_time - start_time)
  三、总结
  所以selenium并不慢,只是你加载策略没有选择对而误认为它慢。
  当我们遇到比较费解或疑惑的问题时,应该第一时间去看看官方文档,说不定它已经有了解决方案了。
  本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理
价值398元的测试课程免费赠送,填问卷领取吧!

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计

法律顾问:上海漕溪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2022
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号