哈罗单车:调度算法评测与仿真系统(下)

发表于:2022-9-28 09:22

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:陈震    来源:掘金

  工程支撑
  工程支撑主要借助工程的能力,融合特征和模型去实现仿真世界的演化。这里会用到很多的技术能力,如地图引擎、服务调度、报表分析、过程回放和数仓数据计算。我们将其归纳成三个维度,包括数据计算、调度中台和前端效果。
  仿真数据具有三大特点,一是数据量大,哈啰单车和助力车覆盖近千个城市,近百万站点,近千万辆车,有上亿的订单和IOT数据上报。二是数据结构复杂,数据来源多样性,导致结构化数据、非结构化数据、半结构化数据都混合在一起。三是计算粒度细、周期长,如果在仿真的时候去临时计算,成本会非常高,因此我们借助了数仓的离线计算能力,提高效率。
  如图是实验创建执行流程,以此介绍调度中台的工作过程。首先是用户在前端创建实验,调度中台通过实验创建环节,会把用户创建实验的配置信息、城市、模型信息存储到在线存储里去。如果用户在前端进行实验执行的操作,调度中台通过实验调度的环节,根据之前配置的信息,整合相关的特征数据的集合,包括实验周期的约束条件,传递给仿真算法,这是异步的过程。数据传递过去后,仿真算法会根据粒度和周期去调用在线和离线数据作为模型入参,执行算法决策。在周期执行过程中,算法会把过程记录通过消息的方式实时反馈给调度中台,调度中台会把这些数据进行过程指标的计算,并把过程结果和指标结果落库到在线存储里去。前端就可以实时查看实验的过程,对实验的过程进行操作干预。仿真算法执行完成后,调度中台会对整个实验数据做存储和规格化的处理,能够给前端提供过程回放和实验数据的展现,这是整个的实验流程。
  仿真系统是我们算法测试平台的一个子服务,平台还涵盖数据质量监控、服务可用性监测、模型性能评测、模型效果评测、语音识别评测、文本识别评测和图像识别评测。算法测试平台采用微服务的设计思路,最外层有web服务层,对接所有的上游前端业务,底层可分为四大中心,包括调度中心(负责所有管理行为,如数据调度,任务管理,策略管理,告警管理,计算调度等)、数据计算中心(负责所有计算行为,如实时&离线数据计算,数据转换,数据订正等)、数据分析统计中心(负责指标统计类行为,因为指标计算规则变化频繁且灵活多样,因此在该中心下连接多个脚本环境容器,如python,groovy等,通过平台在线编辑能力,允许用户灵活调整,随时变更指标分析与统计脚本)和数据中心(负责所有内外部数据访问收口及三方服务访问收口,并通过提高该服务的应用等级,保障整个系统的稳定性),它们各司其职,保证协作的稳定性和迭代开发的效率。
  前端效果总览包括实验的管理、仿真过程回放和各项指标评测结果。一是仿真实验室,作为仿真系统的入口,提供了实验创建、筛选和实验过程管控。二是实验配置,可以去设置实验相关的参数,如仿真区域、时间区间、时间粒度等。三是仿真回放,我们嵌入了地图的渲染引擎,提供观测不同模型的车辆流转效果和数据变化过程的能力。四是实验报告,提供各项评估指标数据、报表化展示、交叉对比验证的能力。
  收益和展望
  仿真系统的收益归纳起来有六点,一是城市覆盖,原先城市覆盖的数量有限且成本高,仿真系统可以支持全国400多个城市的任意选择。二是评估效率,原先评估效率是周级别,仿真系统评估效率是小时级别。三是线上质量,原先线上回收正向率低,仿真系统线上回收正向率预计提高两倍。四是评估指标,原先评估指标比较简单,回收也相对麻烦,仿真系统可以定制多维度的指标。五是干扰因素,原先有很多不可控因素,仿真系统干扰项都是可感知可控制的。六是过程分析,原先过程变化是看不到的,仿真系统过程可回放、可分析。
  当前我们是在平台化阶段,依托仿真平台化建设,实现车辆调度类算法评测赋能,带来六大收益。后面我们希望能够实现场景化,借助场景化建模,实现业务场景无感接入,灵活扩展。第三个阶段是智能化仿真世界,我们希望能够实现智能感知特征数据、自主学习规则模型、智能分析评测效果。最后是业务赋能,我们希望能够赋能更多的业务场景,去实现线下的推演和可行性的验证,助力业务的高速增长。
  本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理
价值398元的测试课程免费赠送,填问卷领取吧!

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计

法律顾问:上海漕溪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2022
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号