Selenium绕过检测 & 隐藏特征

发表于:2023-6-05 09:31

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:是小菜欸    来源:CSDN

  在使用 Selenium 访问某些网站时候,会不成功。像很多url中带gov 字眼的,往往都无法正常打开。
  因为网站检测到了 我们使用自动化工具,所以就给ban掉了,所以这篇文章就来说说怎么过掉它。
  值得一提的是,这篇文章不针对任何一个网站,只用下面的这个网站来做参照~
  ·https://bot.sannysoft.com/
  访问这个网站时候,可以看到它会检测很多项浏览器的信息。明显可以看到 正常浏览器 和 Selenium打开浏览器是有区别的~
  输入 window.navigator.webdriver 时候,正常浏览器是 false,Selenium打开的是true。
  下面去看看怎么绕过检测 & 隐藏特征。
  三种方式
  这里主要介绍三大类隐藏 Selenium 特征的方式,分别是以下:
  1. 注入JS代码
  在 注入JS代码 的大类中,分了三个方式来讲,大体上差别不是很大
  1.1 执行cdp
  hide_features.py
  # -*- coding: utf-8 -*-
  # Name:         hide_features.py
  # Author:       小菜
  # Date:         2022/8/29 2:43
  # Description:
  from selenium import webdriver
  driver = webdriver.Chrome()
  # 代码的关键所在
  driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
      "source": """
      Object.defineProperty(navigator, 'webdriver', {
        get: () => false
      })
    """
  })
  driver.get('https://bot.sannysoft.com/')
  代码释义:
  ·driver.execute_cdp_cmd :执行 Chrome Devtools Protocol 命令
  · Page.addScriptToEvaluateOnNewDocument:在浏览器启动之前执行给定的JS脚本
  · Object.defineProperty:JS语法,直接在一个对象上定义一个新属性,或者修改一个对象的现有属性,并返回此对象(代码中是将 navigator.webdriver 设置为 undefined
  CDP文档:https://chromedevtools.github.io/devtools-protocol/tot/Page/
  代码运行效果如下:
  明明 window.navigator.webdriver 输出已经是 false 了,为啥还是不通过?
  看下图,差别在这里:
  注:有部分网站不会检测的这么深,在这一步其实就可以绕过检测了。
  继续讲如何更深入的绕过检测~
  1.2 执行cdp_2
  这里分两步走,需要先获取 隐藏特征的JS文件,然后再将JS代码注入到Selenium中。
  1.2.1 获取隐藏特征文件
  隐藏特征文件的官方文档:https://github.com/berstend/puppeteer-extra
  如果没有科学的话,生成一份还是比较耗时间的,所以我也准备了一份,点击即可下载
  https://download.csdn.net/download/weixin_45081575/86502704
  隐藏特征文件的简介和获取如下图所示:
  可以将最新的隐身规避从 puppeteer-extra-stealth 提取到一个js文件中。生成的JS文件可以用于纯CDP实现,也可以用于测试devtools中的规避。
  只要安装了NodeJS,就可以一行代码即可拿下~
  将在当前文件夹中创建一个 stealth.min.js 文件。
  在cmd窗口输入 npx extract-stealth-evasions,稍后便可以看到生成的 stealth.min.js 文件了。
  # -*- coding: utf-8 -*-
  # Name:         hide_features.py
  # Author:       小菜
  # Date:         2022/8/29 122:43
  # Description:
  from selenium import webdriver
  driver = webdriver.Chrome()
  with open('stealth.min.js', mode='r') as f:
      js = f.read()
  # 关键代码
  driver.execute_cdp_cmd(
      cmd_args={'source': js},
      cmd="Page.addScriptToEvaluateOnNewDocument",
  )
  driver.get('https://bot.sannysoft.com/')
  代码运行如下图所示:
  现在,正常的浏览器和Selenium浏览器都一样了,都可以通过检测~
  虽然一个是 false 一个是undefined(但并不影响~
  后续再访问任何网页都能成功隐藏Selenium 的特征了,但是只能在当前页面去操作~
  值得注意的是:如果新开一个网页再去访问,那就没法隐藏特征了,看下图
  所以这个方法也是不够完美的~
  1.3 添加 ChromeOptions & 修改默认参数
  这个不算是注入JS的内容,是修改默认参数的,只是并到了一块儿;
  到第三种方法了,这个只需要添加一个参数即可~
  这个方法的出处在这里:https://stackoverflow.com/questions/53039551/selenium-webdriver-modifying-navigator-webdriver-flag-to-prevent-selenium-detec
  代码
  # -*- coding: utf-8 -*-
  # Name:         hide_features.py
  # Author:       小菜
  # Date:         2022/8/29 22:43
  # Description:
  from selenium import webdriver
  options = webdriver.ChromeOptions()
  options.add_argument("disable-blink-features=AutomationControlled")
  driver = webdriver.Chrome(options=options)
  driver.get('https://bot.sannysoft.com/')
  代码释义:
  disable-blink-features=AutomationControlled:禁用 blink 特征
  百度百科:Blink – https://baike.baidu.com/item/blink引擎/871884
  代码运行效果如下:
  通过检测,且新开的窗口也同样可以通过检测
  新开一个窗口
  可见,这个操作是相对完美了。
  因为没有做过详尽的测试,所以我无法保证这个方法是否能100%适用~
  如果网站检测的信息有很多,甚至检测 经纬度、ip代理等。那可能就会失效!
  2:中间人抓包修改文件
  一个思路,不属于是好方法的思路
  这个方法就介绍一下思路吧,
  在可以找到网站检测代码的前提下,去替换检测代码的文件。
  可以使用抓包工具,如 Charles、fiddler、mitmproxy等去监听检测文件,然后替换它
  也可以使用 Chrome浏览器 -> 开发者工具 -> Sources -> Overrides 去做替换
  替换的方法有很多,
  但我觉得这不是一个好方法,只是也是一种方法。
  3. 接管已打开浏览器
  这个网站没法检测出来,完美如斯。正常的浏览器是咋样的,这个就是咋样的
  接管已经打开的浏览器(强烈推荐
  如何接管已经打开的浏览器,参考这两篇文章,这里不再赘述
  代码
  # -*- coding: utf-8 -*-
  # Name:         hide_features.py
  # Author:       小菜
  # Date:         2022/8/29 22:43
  # Description:
  import os
  from selenium import webdriver
  from selenium.webdriver.chrome.options import Options
  if __name__ == '__main__':
      os.system(r'start chrome --remote-debugging-port=9527 --user-data-dir="F:\selenium"')
      options = Options()
      options.add_experimental_option("debuggerAddress", "127.0.0.1:9527")
      driver = webdriver.Chrome(options=options)
      driver.get('https://bot.sannysoft.com/')
  代码运行如下:
  无论打开多少个窗口,都是可以通过检测的。
  总结
  上面介绍了三大类隐藏 Selenium 特征的方式,但是最好用是 第三种,即接管已经打开的浏览器端口,不用担心被网站所检测到,因为它就是你正常使用的浏览器。
  使用起来也很简单,调用cmd命令去打开浏览器然后再使用 Selenium 去接管即可。
  本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号