玩转周视感知,请看Nullmax的量产打样 | Nullmax进化学

发布时间:2023-03-14

对于高阶智能驾驶而言,建立覆盖车身360°远中近距离的感知能力,是一件尤为重要的事情。在「目视前方」的感知基础上,「眼观六路、耳听八方」的量产需求已经越来越大。

Nullmax作为量产领域的标杆企业,在去年率先交付了基于TDA4VM的周视感知模块,让行泊一体的体验进阶升级。在8 TOPS算力下,Nullmax不仅实现了20 FPS的周视感知帧率,并且性能指标超过业界顶尖量产方案的水平。

周视感知是360°感知的核心组成,可以帮助车辆准确获取环绕车身、由远及近的障碍物信息,因此不少的中高端车型选择了配备周视相机。但是如何让这些硬件真正派上用场,改变「收效甚微」甚至「备而不用」的局面,却是实际量产中的巨大考验。

Nullmax的量产应用,不仅成功将周视感知扩展到了中低算力芯片上,而且实现了极佳的感知性能,让汽车在瞬息万变的驾驶环境里,也能够从容完成一系列的复杂功能。

智驾进阶的关键能力

在传统ADAS时代,车辆主要进行纵向的加减速,或者是少量横向的控制,系统通常只需要关心正前方的状况。但在智能驾驶时代,这些其实并不足够。智驾系统在实现一些长时间、高度自动化的复杂功能时,比如变换车道或者变换道路,需要进行大幅度的横向变化,车辆两侧的情况必须时刻关注。因此在前向感知的基础上,汽车还要强化侧向的感知能力,提升功能体验,确保行驶安全。

覆盖远中近的360°视觉感知

而在种种的感知配置当中,周视感知就是实现这一目标的最佳之选。它可以通过车身两侧的4个相机,对左前、左后、右前、右后的情况进行探测,建立起环绕车身360°、覆盖远中近距离的视觉感知。相比于鱼眼相机的环视感知,周视感知拥有极远的探测距离,在中远距离感知上具有无可比拟的优势。而且和环绕车身的雷达系统比起来,视觉传感器拥有远超雷达的丰富环境信息,能够取得更好的感知效果。

虽然在没有周视感知的情况下,雷达和环视鱼眼相机也能够用来提供基础的周围环境信息,完成变道、避让等动作,但是周视感知仍是实现360°各距离感知覆盖的更好选择,它能让系统看到周围更远的地方,进行更准确的感知和更早的预判,安全从容地完成各种任务。

对于智驾系统而言,周视感知可以看作是功能体验「提档升级」的关键能力。

知易行难的量产应用

尽管在很多的智能驾驶方案中,以及一些量产车型上,都能看到周视相机的踪影,但周视感知实际的开发和应用却并非想象中那么容易。一方面,周视感知与前视感知存在比较大的差异,任务要求、安装位置等情况全然不同,周视感知并不适合直接使用前视感知的算法,而是需要更有针对性的开发。另一方面,不同相机数据的融合也是一项挑战性工作,既要实现出色的目标ReID(重识别)效果,还要考虑多个相机的算力消耗。

在欠缺顶尖视觉感知技术和强大工程化能力的情况下,很多开发者为了保障前视感知,已经耗费了系统的大量资源,运行周视感知非常吃力。关闭部分传感器,降低感知帧率,下调感知性能,是周视感知中普遍存在的情况。

尤其是在实际的量产上车过程中,早期方案中隐藏的问题也会逐步显现。比如,周视感知模块完成集成后,实际占用资源过多,远超前期的测算值,影响其他模块和系统运行;又或者周视相机之间的跨相机目标跟踪存在问题,无法输出准确一致的感知结果。

除此之外,作为整个智驾系统以及感知部分的组成模块,周视感知在「做好自己」的同时,还需要做到「融入整体」。如何优化算力、分配资源、对接模块,完成从局部到整体的集成和优化,这需要开发者在智能驾驶的架构和全流程上,拥有深厚、全面的技术实力和产品能力。

媲美前视的周视感知

Nullmax目前已经率先在TDA4VM、Orin等主流量产芯片平台上,完成了不同算力行泊一体方案的定点并开启了量产交付,周视行泊一体方案正是当中的一个重点。在去年已经交付的项目中,Nullmax基于单颗TDA4VM完成了周视感知的集成,用8TOPS算力驱动4颗周视相机,感知帧率达到20FPS,实现了算力的极致使用。从相机的曝光开始,到整个感知结果的输出,延时控制在100ms。

凭借领先的BEV-AI架构,Nullmax的周视感知模块做到了用更少算力实现了两倍于普通周视方案的帧率,以及极低的延时,确保在极速行驶的状态下和快速变化的环境中,能够为下游模块及时地输出感知信息。

并且,Nullmax周视感知的效果能够媲美业界顶尖量产方案的前视效果,性能指标更胜一筹。在这套方案中,周视感知能够为车辆准确提供左右两侧各三车道的障碍物情况,输出障碍物类型、位置、速度、朝向、尺寸等重要信息,并进行稳定的跟踪和预测。

同时,Nullmax也通过BEV很好地解决了周视感知当中关键的多相机ReID难题,将不同相机下的障碍物准确融合。当一个障碍物被多个相机同时观测到的时候,比如侧前、侧后观察到同一辆车的时候,如何将其合成一个目标而不是多个障碍物,实际上是比较难的问题。Nullmax的方案能够实现顶级的多相机融合效果,让障碍物在不同相机之间运动时保持一致,准确性和安全性大幅提高。

除此之外,Nullmax也正在通过平台化的技术架构将成熟的周视感知能力运用到不同的芯片平台和量产项目之上,为行泊一体方案提供更广、更远、更细、更准的感知覆盖。它输出的障碍物信息既能够帮助车辆全面强化两侧的环境感知能力,大大提高换道等功能的成功率和安全性,也能够在显示到仪表盘之后,帮助驾驶员更好地掌握周围情况。随着行泊一体的日益普及,技术功能和智驾体验也在加速升级,以周视感知为代表,帮助汽车实现强大的的360°环境感知。而凭借业内领先的工程化落地能力,Nullmax让先进的视觉感知技术和行泊一体产品应用在更多车型上,已陆续实现多个量产行泊一体项目的定点和交付,包括上汽、奇瑞等国内传统头部OEM、造车新势力客户,为更多复杂场景下的智驾应用保驾护航。

媒体垂询
media@nullmax.ai