DriveAdapter:打破端到端自动驾驶中感知与规划的耦合壁垒

发表于:2023-9-21 09:32

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:佚名    来源:自动驾驶专栏

  摘要
  本文介绍了DriveAdapter:打破端到端自动驾驶中感知与规划的耦合壁垒。端到端自动驾驶旨在构建一个完全可微分的系统,该系统以原始传感器数据作为输入,直接输出自车的规划轨迹或者控制信号。最先进的方法通常遵循“Teacher-Student”范式。Teacher模型使用特殊信息(周围智能体和地图元素的真值状态)来学习驾驶策略。Student模型只能访问原始传感器数据,并且对teacher模型采集的数据进行行为克隆。通过消除规划学习过程中感知部分的噪声,最先进的工作相比于那些耦合的工作,可以使用更少的数据获得更好的性能。
  然而,在当前的Teacher-Student范式下,student模型仍然需要从头开始学习规划头,由于原始传感器输入的冗余和噪声特性以及行为克隆的因果混淆问题,这会具有挑战性。在本工作中,我们旨在探索直接采用强teacher模型进行规划同时让student模型更多关注感知部分的可能性。我们发现,即使配备了SOTA感知模型,直接让student模型学习teacher模型所需的输入也会导致驾驶性能较差,这源于预测的输入与真值之间存在巨大的分布差距。
  为此,本文提出了DriveAdapter,其在student(感知)和teacher(规划)模块之间采用具有特征对齐目标函数的适配器。此外,由于纯基于学习的teacher模型本身是不完美的,并且偶尔会违反安全规则,因此本文提出了一种行为指导的特征学习方法,对那些非完美的teacher特征使用mask,以进一步将人工规则的先验引入学习过程。DriveAdapter在CARLA的多个基于闭环仿真的基准上实现了SOTA性能。
  主要贡献
  本文的贡献总结如下:
  1)据我们所知,本文是首个深入探索直接利用teacher头进行端到端自动驾驶任务规划范式的工作。在这种解耦的范式下,可以避免行为克隆的缺陷,例如因果混淆;
  2)感知和规划模块之间BEV分割的中间输出形式具有很强的可解释性,可以深入理解端到端自动驾驶的典型黑盒流程。解耦的感知模型可以受益于BEV感知和语义分割的最新快速发展取得的成果;
  3)为了解决非完美感知问题以及teacher模型问题,本文提出了DriveAdapter和带有mask的特征提取策略。通过将两种技术相结合,它可以在两个公开基准上实现最先进的性能;
  4)本文进行完整的消融研究和其它相关尝试,以提供更多关于新解耦范式的见解和理解。
  论文图片和表格
  总结
  在本工作中,我们提出了DriveAdapter,其可以在端到端自动驾驶流程中利用由强化学习在teacher模型内学习到的驾驶知识。为了克服非完美的感知和非完美的teacher模型问题,本文提出了适配器的带有mask的特征对齐和行为引导目标函数。DriveAdapter在两个闭环自动驾驶评估基准上实现了最先进的性能。我们希望这可以为端到端自动驾驶的研究开辟一个新的方向。
  本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号