空间管理您的位置: 51Testing软件测试网 » babbal的个人空间 » 日志

Selenium初探之自动备份设备配置文件及上传

上一篇 / 下一篇 2019-04-02 11:03:05

　　一、背景介绍

　　在传统的网络安全架构中，难免会有一些重要的安全设备或是软件配置需要定期备份，统一归档。一是为了满足合规，二是在设备变更出现问题的时候，能够快速回滚。手工定期备份难免会有遗漏，且浪费大量人力。

　　为了满足这一需求，我利用Selenium （浏览器自动化测试框架）实现这个自动备份功能，当然其他的python爬虫模块（比如request）也能实现这个功能（大体步骤都差不多），这个后续会继续分享给大家，这次就不在这里讨论。实现自动备份后，再利用python FTP模块实现统一归档到FTP服务器。备份周期直接利用cron命令即可。既然有脚本自然少不了是否备份成功告警，利用logging模块记录日志，然后再通过rsyslog或第三方转发器传至日志分析平台即可实现告警，我们公司由于使用的splunk，利用splunk forward传输日志即可。有些人可能对Selenium不是太了解，下面我稍微简单介绍一下Selenium。

　　二、Selenium+Chrome配置及功能说明

　　Selenium是一个浏览器自动化测试框架。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。Selenium在爬虫中的运用主要就是查找html相应元素并进行元素交互操作，常见的8种元素定位的方法如下：

find_element_by_name

find_element_by_id

find_element_by_xpath

find_element_by_link_text

find_element_by_partial_link_text

find_element_by_tag_name

find_element_by_class_name

find_element_by_css_selector

　　其中最常用的就是find_element_by_name/id/xpath/link_text，其中xpath推荐使用浏览器插件定位元素。火狐浏览器一般使用 firebug 和 firepath 定位元素；谷歌浏览器一般使用xpath helper插件定位元素。

　　Windows/linux除了安装Selenium模块外，一般需要下载浏览器对应的webdriver驱动到相应文件夹声明并调用浏览器，一个简单的示例如下：

from selenium import webdriver

browser = webdriver.Chrome() 或 browser =webdriver.Firefox() #调用谷歌或者火狐浏览器

browser.get(“ http://www.baidu.com “) #浏览器打开百度

print(browser.page_source) #打印百度首页的源码

browser.close() #关闭浏览器

　　在linux系统中，还需要声明一些“无头”配置，具体见实现见脚本。

　　三、python+selenium+无头Chrome具体实现脚本

　　Python环境：3.7.0 selenium：3.141.0 chrome：72.0.3626.119

　　Webdriver下载地址 https://chromedriver.storage.googleapis.com/index.html

　　自动备份对象：某品牌WAF设备，其他设备更改IP地址、定位相关html元素即可。

#coding=utf-8

import os

import time

import logging

import ftplib

from ftplib import FTP

from selenium import webdriver

from selenium.webdriver.common.by import By

from selenium.webdriver.common.keys importKeys

from selenium.webdriver.support.ui import Select

from selenium.webdriver importDesiredCapabilities

from selenium.webdriver.chrome.optionsimport Options

Device = 'WAF' #定义设备类型

IP = 'x.x.x.x' #目标IP

dir_time = time.strftime('%Y-%m-%d',time.localtime())

#输出当前"年-月-日"时间

dir_backup =f'/opt/sec_backup/{IP}_{Device}/{dir_time}'

#chrome下载的地址备份文件的路径

log_name =f'/opt/sec_backup/log/{IP}/{dir_time}.log'

#存放日志文件的路径

if os.path.exists(dir_backup):

pass

else:

os.mkdir(f'/opt/sec_backup/{IP}_{Device}/{dir_time}')

#创建dir_backup路径

host = 'X.X.X.X'

port = 21

user = 'XXXX'

pwd = 'XXXXX'

#以上定义FTP服务器相关信息

logging.basicConfig(filename=log_name,level=logging.INFO,format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')

logger = logging.getLogger(__name__)

#定义日志输出格式

try:

opts = Options()

opts.headless=True

opts.add_argument('--no-sandbox')

opts.add_argument('--disable-gpu')

capabilities = DesiredCapabilities.CHROME.copy()

capabilities['acceptSslCerts'] = True

capabilities['acceptInsecureCerts'] = True

prefs = {'download.prompt_for_download': False,

'download.directory_upgrade': True,

'safebrowsing.enabled': False,

'safebrowsing.disable_download_protection': True}

opts.add_experimental_option('prefs', prefs)

driver = webdriver.Chrome(options=opts,desired_capabilities=capabilities)

#以上是“无头”的一些配置，具体就不一一展开

driver.implicitly_wait(10)

#设置超时时间10秒钟

driver.command_executor._commands["send_command"] =("POST",'/session/$sessionId/chromium/send_command')

driver.desired_capabilities['browserName'] = 'ur mum'

params = {'cmd': 'Page.setDownloadBehavior', 'params': {'behavior':'allow', 'downloadPath': '%s' %dir_backup }}

driver.execute("send_command", params)

#Chrome下载备份文件到dir_backup目录

driver.get(f"https://{IP}/login/requireLogin")

driver.find_element_by_id("username").send_keys("xxx")

driver.find_element_by_id("password").send_keys("xxx")

driver.find_element_by_id("loginButton").click()

driver.find_element_by_id("one3").click()

driver.find_element_by_id("two32").click()

driver.switch_to.frame("mainFrame")

driver.find_element_by_link_text("配置同步").click()

driver.find_element_by_xpath("(//input[@id='tmp'])[2]").click()

time.sleep(30)

driver.switch_to.alert.accept()

driver.find_element_by_xpath("//*[@id='backpointtable']/tbody/tr[2]/td[5]/img[3]").click()

while True:

if os.listdir(dir_backup) andos.listdir(dir_backup)[0].endswith('.wafc'):

#备份周期是天，一天只生成一个固定目录，里面只有一个备份文件，故判断是否有文件即可

logger.info('备份成功')

break

else:

continue

driver.find_element_by_link_text("配置同步").click()

driver.find_element_by_xpath("//*[@id='backpointtable']/tbody/tr[2]/td[5]/img[4]").click()

confirm2 = driver.switch_to.alert

confirm2.accept()

driver.quit()

#logger.info('删除旧备份成功')

except Exception as e:

logger.info(f"自动备份出现异常，异常内容：{e}")

def ftpconnect():

ftp_server = host

username = user

password = pwd

ftp = FTP()

ftp.set_debuglevel(0)

ftp.connect(ftp_server, 21)

ftp.login(username, password)

return ftp

def uploadfile():

try:

ftp = ftpconnect()

remotepath = ftp.mkd(f'/{IP}-{Device}/{dir_time}')

except:

pass

ftp.cwd(remotepath)

bufsize = 1024

localfile = dir_backup + '/' + os.listdir(dir_backup)[0]

remotefile = os.listdir(dir_backup)[0]

print(localfile)

fp = open(localfile, 'rb')

ftp.storbinary('STOR ' + remotefile, fp, bufsize)

#上传本地localfile，至remotepath，并命名remotefile

ftp.set_debuglevel(0)

#关闭ftp的调试模式，如果设置为2，则输出详细信息

fp.close()

if __name__ == '__main__':

try:

uploadfile()

except Exception as e:

logger.info(f"文件上传出现异常，异常内容：{e}")

else:

logger.info('文件上传成功')

　　四、效果图

Selenium初探之自动备份设备配置文件及上传

相关阅读:

用户菜单

标题搜索

日历

我的存档

数据统计

RSS订阅