Go语言分布式系统配置管理实践

发表于:2022-4-18 09:49

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:二手雄狮    来源:稀土掘金

  架构
  Source:配置源是一种标准接口,可以通过实现一个source来接入不同配置源,它定义配置来自哪个资源,配置可以来自配置中心configcenter,来自本地文件,来自环境变量或是启动命令行。source负责将配置项缓存到本地内存。用户可以选择加载任意的source实现。
  Config center source:配置中心源不同于其他source,它包含一个client抽象,可以对接不同的生态系统,目前对接了携程开源的配置中心Apollo。
  Config manager:负责整合管理所有source的配置,每个source可以定义优先级,**当通过manager获取配置时,如果2个不同的source有相同的配置,那么就会取最大优先级的配置。
  Event Dispatcher:用户可以通过Archaius API进行配置变化监听,当source内部的配置项新增,更新,删除配置时,都会通知到监听器。
  Source优先级:优先级由大到小依次为Config center,CLI,ENV,file,当有相同配置项的时候仅优先级大的配置生效。在一个分布式系统中,远程的配置中心理应拥有最大优先级,而在本地运行一个独立的进程时,通常的思维是,命令行参数优先级高于环境变量,高于本地文件内容。拥有了这样一套机制后,用户就无需再写代码处理配置项生效逻辑。
  Config Factory:封装了event 和 config manager的API。
  Archaius API:封装底层实现,提供友好的API供开发者使用。
  获取配置
  获取配置有2种不同的手段:
  1. 调用archaius API的Get 方法
  2. 注册监听器
  事件的触发是由soruce的开发者来决定的,每个source的行为会有不同:
  命令行与环境变量是不会产生任何事件的,当archaius运行后配置项就已经定下来了,只能使用Get方法获取。而文件source会在启动后拉取一遍本地文件内容并转换为配置项(可自定义转换算法,决定配置项形态),之后持续监听本地文件变化,当有变化发生时会刷新本地配置并通知到监听器。所以2种方法都支持。config center source行为与文件又不同,在启动后,它就会周期拉取配置中心的配置,并且对比每一次配置项的不同,并触发不同类型事件。
  配置项形态
  假设程序有一个配置文件叫a.yaml,内容如下:
  registry:
    enabled: true
    interval: 30s

  要考虑该如何去对待这raw data,目前有2种方式。
  第一种,将配置项拆分为java properties风格的配置:
  registry.refresh: true
  registry.interval: 30s
  go archaius开放了file handler接口,允许你决定如何将文件内容处理为配置项。
  那么在远程的配置中心中,key value的管理方式就要遵循 file handler的行为,当你想变更registry.refresh时,就要在配置中心种更改这个配置项及值。
  类似于开关类的配置项,这种java properties的管理方式还是不错的,当一个配置项改变时触发一次事件。
  但是有一类配置项并不适合如此管理,这就是第二种方式,比如go chassis中的路由管理配置文件:
  通常都需要大范围的更改配置项,那么如果还使用切分的方式在配置中心中管理将会引起go archaius运行时大量的事件触发,并且,用户在使用体验上大打折扣,到处去找分散的配置项,逐一更改。正确的行为是,将文件名作为配置中心中的key,文件内容作为value。用户需要更改时,去找对应的文件名即可,修改后一次性下发,只会触发一次事件,完成路由的变更。
  开发者应根据实际场景判断如何处理配置项形态。也可以自己实现handler来决定配置项形态。
  配置运行时热加载
  在运行时可以随时通过统一的配置中心或者本地文件(不推荐分布式环境登到机器里改文件,但在本地debug时还是推荐使用文件来测试程序的热加载逻辑)更改配置了,那么接下来要解决的问题就是配置在运行时生效。
  这里的技巧是使用go语言中的读写锁。我以go chassis中路由配置来说明。
  go chassis运行时总是会有不断地大并发数据访问router config这块缓存,使用一个读写锁lock中的读锁,每次访问缓存都用读锁,使用后,解开读锁。
  向archaius注册监听器,需要自己编写监听器的逻辑,每当事件出发后就会通过archaius中的数据构建一个结构体数据,然后将数据存到本地缓存,首先使用lock的写锁锁住router config,更新后,解开写锁。
  在这样的机制下,就可以做到运行时热加载配置项而无需重启服务。

  本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号