「顾大局，识大体」，Nullmax BEV障碍物检测的超级视野
发布时间：2023-05-18
感知周围环境是自动驾驶开展一切工作的前提，在相对静止的各式场景中，不同类型的障碍物以多种多样的运动方式参与到交通之中，于是形成了千变万化的交通情形。因此障碍物的检测，一直都是自动驾驶感知的核心任务。系统需要通过传感器数据，识别出周围存在的障碍物并计算各自的位置、速度等信息，然后转换为BEV视角的感知结果输出给下游，用来规划轨迹、避免碰撞。所以在近年，一步到位的BEV障碍物检测成为了自动驾驶的研究热点。尤其在多相机感知系统中，BEV能够有效融合不同视角的空间信息，为目标检测与跟踪、车道线检测等任务带来全方位提升。作为自动驾驶量产应用的引领企业，Nullmax从2020年开始了BEV早期研发，并在去年率先帮助客户落地了BEV障碍物检测的量产应用，提升车辆的全方位感知能力。当前，这项感知功能正作为Nullmax BEV-AI整体技术架构的一部分，应用到更多量产项目之中。
基于8T算力平台的BEV周视感知效果
对于自动驾驶量产来说，由于传统基于图像视角的障碍物检测算法所依赖的感知后处理和跨相机融合等方面存在的一些不足，障碍物检测的效果不尽理想。一方面，传统算法普遍首先基于深度学习在图像视角完成目标检测，然后通过复杂的后处理将其转换至三维BEV视角。这不仅让整个流程变得复杂，消耗更多算力，而且对场景的应对能力也存在不足。所以，直接在BEV视角下输出三维目标检测结果的算法受到了广泛欢迎。比如Nullmax的BEV 3D目标检测算法，通过输入的2D图像直接端到端输出BEV视角的3D目标信息，不仅检测性能进一步提高，而且由于不需要额外的后处理步骤，整个算法的开发和升级维护也变得更加高效简洁。
另一方面，在传统多相机感知系统中，因为通常是每个相机先单独进行检测，然后再融合各相机结果，所以系统的工作量较大。此外，跨相机融合的时候也可能出现问题。典型的例子，就是车辆从一个相机视野驶入另一个相机视野的过程中，可能被识别为两个目标。
但是在BEV视角下，隐式跨相机的融合就可以变得更加简洁和高效。比如Nullmax采取的多相机联合方案，所有相机的图像输入到一个神经网络中，然后生成全局BEV视角的特征图，并直接输出统一的感知结果，从而减少了额外的跨相机障碍物ReID（重识别）步骤。
因此在高阶智驾不断上车的今天，BEV目标检测已经被看作是车辆实现障碍物检测的首选方法，BEV感知算法的研发和应用也成为了新的行业浪潮。
作为最早开始BEV系统性研发的自动驾驶公司之一，Nullmax积累了大量的BEV感知技术，包括静态场景理解以及动态障碍物的检测及预测，并且将技术向下游延伸，构建了平台化的BEV-AI自动驾驶整体技术架构。
BEV 3D障碍物检测算法正是这套架构的核心组成，其不仅具备非常出色的性能表现，而且在落地方面也尤为高效。Nullmax BEV障碍物检测相比于常规的障碍物检测，最大的特点是「顾大局，识大体」。常规检测方式由于各相机单独工作的原因，对视野截断车辆、大型障碍物目标的检测效果欠佳。但是Nullmax的检测是在BEV视角下进行统一的计算，跨视野的目标不会被识别成多个目标，占满单个相机视野的大型障碍物也能在范围更大的全局视野中得到更好观测。并且由于BEV在空间、时序信息融合方面更具优势，Nullmax的BEV障碍物检测方案可以将3D目标检测升维成4D目标检测，实现更稳定的检测、跟踪与预测。这种时序信息带来的短时记忆力，能让障碍物检测具备更强的处理遮挡能力。相比于其他的BEV障碍物检测方案，Nullmax方案还具有可进行超远距离感知的特点。由于算法设计和车载平台算力有限等方面的原因，常规BEV方案有效感知的距离通常为数十米远，但是Nullmax的BEV方案可高效突破100米，甚至可有效检测200米远的障碍物目标，在各种量产配置下都能达到顶尖的性能指标。
同时，因为车载平台部署的需要，Nullmax的BEV障碍物检测算法可以支持高、中、低不同算力的平台。从数百T算力到2T算力，Nullmax的BEV目标检测算法都能灵活部署，既可以实现最极致的任务性能，也能在有限计算资源下提供最均衡的结果输出。比如，基于8T算力和4颗侧视相机的BEV 3D障碍物检测应用。
除此之外，Nullmax的BEV目标检测算法还能支持任意的传感器配置，对相机的数量、安装位置、内部参数等情况自动适配。换言之，无论是前视、侧视、后视、环视组成的多相机系统，还是单个相机，这套算法能够快速地部署。目前，Nullmax的BEV 3D障碍物检测算法已经在量产车型实现了大规模的上路应用，而且今年还将完成更多项目的交付，为更多量产车型带来开挂一般的全局视野感知能力。
BEV的「俯瞰全场」属性，可以为自动驾驶障碍物检测带来质的提升，Nullmax将继续通过领先的BEV障碍物检测算法，帮助车辆实现复杂环境下的精准感知，并基于平台化的BEV-AI技术架构，为客户的量产应用带来更大价值。
