自动驾驶中一个老生常谈的话题就是如何对环境进行有效且实时的感知，不言而喻，利用尽可可能高效的传感器是一个必然的选择，随着自动驾驶研发等级的不断提升，其对于驾驶员的依赖程度越来越低，而对系统主控驾驶的依赖越来越高，这就使得对于自动驾驶“眼睛”的传感器数量、种类提出了越来越高的要求，对感知结果效能也提出了越来越高的要求。环境感知（包括传感器信号处理和数据融合）的任务是提供交通场景的通用且内部一致的图像，该图像在其他处理层中与特定功能的场景解释和行为决策相匹配。那么问题来了，如何对已经搭载的如此多的自动驾驶传感器进行有效的信息处理与数据融合就必然成为其后控制算法开发的一大难点。
本文将重点讲解如何对众多传感器进行数据融合分析。
多传感器架构定义
最为简单的融合方法架构是根据检测目标来区分，即对同一个物体进行检测的不同类型传感器进行数据分类，并利用融合算法制造代价函数cost选择不同类型传感器比对后，代价函数最小的传感器数据作为最终融合后的数据，而目标的最终属性则是综合了以上所有最优值（代价函数的最小值），该目标数据就是最优的数据组合体。由此，传感的有效融合可以实现了传感器感知能力最大化，扩大智能汽车感知范围和适用条件，同时可以消除了单一传感器漏检（物理特性、使用特性等原因）造成的风险。
此外，较为一般的传感器融合方法是通过区分传感器类型来进行融合的，比如前雷达与角雷达融合生成目标的速度、距离值，前雷达与激光雷达融合生成障碍物信息，前视摄像头、侧视摄像头、环视摄像头则融合生成目标类型、道路环境信息等。最终是生成需要的环境模型供自动驾驶做可行使区域探测。如下图通过可行使区域探测整体描述了传感器探测的目标类型及任务。
一般的，对于自动驾驶环境数据识别要求如下：
多传感器融合策略
对于一般的自动驾驶系统配置而言，其传感器配置通常需要充分考虑到对于环境的整体探知能力，风险预测能力，通常的传感器感知配置是以模拟人视角的方式，采用摄像头的方式进行识别的。自动驾驶数据融合过程中比较常用方式有如下几种，其相应的优劣势对比如下表：
这里我们总体对比了各自的优劣，从自动驾驶开发的不同阶段来讲，在L1级别时，更多的是采用全分布式方式进行数据处理，比如当年搭载的ACC、LKA等功能分别都是放入到雷达和摄像头进行实现，两者数据并未产生关联。而当前处于L2+至L3级别的开发过程中，更多的是利用混合式策略进行融合方式。其开发效率，难度，传感利用率，降级策略等都可以做到比较完满的程度。但是从自动驾驶后续整体的开发趋势上讲是实现真正意义上的L3+，采用集中式的方式则是更加符合自动驾驶开发策略。
多传感器融合架构及算法
在了解了自动驾驶系统多传感器策略后，我们会更加针对性的讲解自动驾驶融合算法。这里考虑搭载比较全面的传感器进行融合的整体策略，以当前正在研发的混合式传感器融合策略进行全面讲解。从车身探测角度讲，这里假设自动驾驶车型配置了3类不同的传感器进行环车身无缝探测（示意图如下），那么如何对这三类传感器进行数据融合呢？
我们这里从汽车车身覆盖范围进行探测区分，划分三个主要探测区域（如下图）：
这里分别针对功能考虑正前方及侧前方区域的利用前视摄像头、侧视摄像头、前中距离雷达及前角雷达分别进行车道运动目标探测及融合。首先，利用智能摄像头AICamera进行可行使区域的探测。该可行使区域作为前向目标检测融合的基础范围，同时与前雷达、前视摄像头进行融合，从而生成被传感器选择后的前方目标信息，该目标信息是作为进一步态势评估的潜在目标信息，这一过程要求进行障碍物信息仲裁。随后，利用前视摄像头、前侧视摄像头进行自车道以及相邻车道相关信息进行检测，最后，利用后侧视摄像头与后角雷达对自车道后方及侧后方区域进行检测。
一般地，在自动驾驶融合算法设置中，需要充分考虑融合算法是否易于拆分成局部融合，这样不仅可以很大程度的降低全局融合的压力，且可针对不同车型地不同配置可以进行灵活的组合。这一过程实际是可将融合算法进行拆分，并置于不同计算核或者芯片内，从而可以减少核计算负载。同时当单一芯片失效时，融合算法可实现降级使用。
如下将针对比较典型的前向可行使区域数据融合进行详细描述。
借助摄像头和前向毫米波雷达，前向“数据融合”的定义是可以对对各种传感器信号进行集成，并扩展到提供和解释不同的识别结果，从而对车辆周围的交通场景进行一致的描述，该两种传感器的融合更多是前向运动目标的状态识别。而可行驶车辆环境由所谓的自由空间模型明确描述，为此，它存在不同的区域模型定义，它们不同于经典的对象识别，因为它们主要对车辆的静态环境进行建模。此外，场景模型包含有关道路几何形状的信息，例如路缘石和颠簸，道路标记，道路标志和预测性路线数据（以导航图的形式）。故对于前三种传感器的识别可以完整的描述前向可通行区域的潜在风险程度。而数据融合的整体策略图表示如下：
如上图，首先利用在传感器数据重构模块对相关目标进行世界坐标系向图像坐标系的转换、对识别的目标进行时间重同步及信息重排序等相关工作，而对于雷达和摄像头加入潜在风险目标识别则可以更高效、更准确地实现前向数据预测融合算法，由于算法分摊到前雷达与摄像头上，也可以更低成本的完整前向数据融合算法。且通过目标危险等级排序及筛选，可以更多的减少后端计算负载。此外，通过将环境感知的跨功能任务与特定功能的设计分开，可以显着提高整个系统的可伸缩性。该架构允许在控制单元上对算法进行分区，甚至在多个控制设备上进行算法分配。
多传感器有效目标筛选
多传感器目标筛选不同于单个传感器，它需要将前述融合目标、车道信息、自车信息三个同时考虑进来，筛选计算的原理是通过评估道路模型，建立场景跟踪算法，利用车道线信息估算车道形状及车辆行驶轨迹，从而监测本车及目标车的车道改变状态，该状态包括计算本车与车道中心偏移，利用该偏移计算相应的位置补偿，计算实时车道宽度，并利用以上两者计算值调整目标选择阈值。
由此总体来说，目标筛选的整体算法实际是一种继承的模型感知（Hierarchical Modular Environment Perception , HMEP）该方法策略是将原始感知融合的目标、车道信息、自车信息输入至有效目标跟踪算法模型中，通过检测本车及目标车行驶状态、检测车道线信息及道路轨迹信息从而对车道位置及车道宽度进行估计。利用该车辆在车道的实际位置及车道实际宽度可以进行有效的融合目标估计，最后对融合后的目标进行跟踪。相应的流程如下：(下图有问题，请加知圈微信，获取原图)
对于选择的有效目标跟踪算法而言需要及时的输出道路目标估计数据，在目标选择算法模块利用所选择的目标参考位置点，计算车辆行驶路径及位置偏移，利用该位置偏移进行风险目标筛选，期间，需要根据实际车辆的行驶状态进行卡尔曼滤波预测及更新相应的数据。
如下图实际表示了一种车辆行驶前向目标选择的示意图，红色曲线表示车道线，假设当前车辆处于坐标系的原点处，自车的预测轨迹线为蓝色虚线，同时车道线中心在红色的点处，此时车辆相对车道中心线的横向偏移量为offset1，前车相对于自车的横向偏移量为offset2，如下图。
利用如上两个数据可以精准的计算出前车相对于实际车道线的距离如下：
D_L=offset2-offset1;
当D_L>0时，说明目标车与本车不处于同一个车道，则不将该目标车选择为自车道潜在风险碰撞目标；如上图中N1不应该被选择为潜在风险目标；
当-offset10时，说明目标车与本车处于同一个车道靠右，则将该目标选择为自车道潜在风险碰撞目标；如上图N2应该被选择为风险目标；
当D_L<-offset1时，说明目标与本车处于同一个车道或外侧车道靠左，则此时不将该目标选择为自车道潜在风险碰撞目标。如上图N3应该被选择为风险目标。
总结
自动驾驶中的多传感器数据融合技术是自动驾驶感知周围环境信息技术中一项必不可少的、行之有效的关键技术和重要途径。将多个传感器捕获的数据进行融合、推理, 获得“多视角”感知周围环境信息的能力 。这些不同传感器的测量数据通过信号处理、模 式和图像识别、人工智能和信息理论等技术进行融合处理。本文详细讲解了典型的融合感知算法，对于开发者而言，将感知和功能的分离可以大大降低需求的复杂性，且可以做到适配不同的硬件进行软件算法扩展。
本文内容不用于商业目的，如涉及知识产权问题，请权利人联系51Testing小编(021-64471599-8017)，我们将立即处理
