觉非技术解析 | 激光雷达与视觉融合感知在自动驾驶中的应用

来源:盖世汽车快讯时间:2022-04-15 16:16:09

2022年是智能驾驶由L2向L3/L4跨越的窗口期,越来越多的汽车厂商开始布局更高级别的智能驾驶量产,汽车智能化时代已悄然而至。随着激光雷达硬件的技术提升,车规级量产和成本下行,高级别智能驾驶功能促进了激光雷达在乘用车领域的量产上车,多款搭载激光雷达的车型将在今年交付,2022年也被称为“激光雷达上车元年”。

激光雷达是一种用于精准获取物体三维位置的传感器,本质上是激光探测和测距。凭借在目标轮廓测量、通用障碍物检出等方面所具有的极佳性能,正在成为L4自动驾驶的核心配置。然而,激光雷达的测距范围(一般在200米左右,不同厂商的量产型号指标各异)导致感知范围远小于图像传感器。又由于其角分辨率(一般为0.1°或0.2°)比较小,导致点云的分辨率远小于图像传感器,在远距离感知时,投射到目标物上的点可能及其稀疏,甚至无法成像。对于点云目标检测来说,算法真正能用的点云有效距离大约只有100米左右。

图像传感器能以高帧率、高分辨率获取周围复杂信息,且价格便宜,可以部署多个不同FOV和分辨率的传感器,用于不同距离和范围的视觉感知,分辨率可以达到2K-4K。但图像传感器是一种被动式传感器,深度感知不足,测距精度差,特别是在恶劣环境下完成感知任务的难度会大幅提升。在面对强光、夜晚低照度、雨雪雾等天气和光线环境,智能驾驶对传感器的算法要求很高。激光雷达虽然对环境光线影响不敏感,但对于积水路面、玻璃墙面等,测距将收到很大影响。可以看出,激光雷达和图像传感器各有优劣。大多数高级别智能驾驶乘用车选择将不同传感器进行融合使用,优势互补、冗余融合。这样的融合感知方案也成为了高级别自动驾驶的关键技术之一。

点云和图像的融合属于多传感器融合(Multi-Sensor Fusion,MSF)的技术领域,有传统的随机方法和深度学习方法,按照融合系统中信息处理的抽象程度,主要分为三个层次:

数据层融合(Early Fusion)

首先将传感器的观测数据融合,然后从融合的数据中提取特征进行识别。在3D目标检测中,PointPainting(CVPR20)采用这种方式,PointPainting方法先是对图像做语义分割,并将分割后的特征通过点到图像像素的矩阵映射到点云上,然后将这个“绘制点”的点云送到3D点云的检测器对目标Box进行回归。

特征层融合(Deep Fusion)

先从每种传感器提供的观测数据中提取各自然数据特征,对这些特征融合后进行识别。在基于深度学习的融合方法中,这种方式对点云和图像分支都各自采用特征提取器,对图像分支和点云分支的网络在前反馈的层次中逐语义级别融合,做到多尺度信息的语义融合。基于深度学习的特征层融合方法,对于多个传感器之间的时空同步要求很高,一旦同步不好,直接影响特征融合的效果。同时,由于尺度和视角的差异,LiDAR和图像的特征融合很难达到1+1>2的效果。

决策层融合(Late Fusion)

相对前两种来说,是复杂度最低的一种融合方式。不在数据层或特征层融合,是一种目标级别的融合,不同传感器网络结构互不影响,可以独立训练和组合。由于决策层融合的两类传感器和检测器相互独立,一旦某传感器发生故障,仍可进行传感器冗余处理,工程上鲁棒性更好。

针对目前车载激光雷达和图像传感器的特征,以及高速NOA、城市道路自动驾驶、自动泊车等应用场景,觉非的车端感知技术栈中采用了后融合为主的方式进行对点云和图像的融合

融合感知算法将视觉、点云和毫米波的原始数据进行融合计算,而后进行3D追踪,输出更加精准、完整的感知结果。同时借助高精地图和路端全局样本,对交通参与者的行为轨迹进行精准预测。

觉非科技基于点云的融合感知算法架构

不仅是算法,觉非通过对于融合感知技术的深挖,也解决了在量产之中的许多工程问题:

车端嵌入式异构算力平台的移植和优化

觉非自研多种点云和图像的深度学习算法,如稀疏点云卷积算法、单目尺寸还原算法等。同时对车载的嵌入式控制器平台进行了大量的性能优化加速,可使较大的模型部署在车端的嵌入式平台,实现精度更高的激光雷达+多路视觉的融合感知,形成量产的融合感知解决方案。

觉非科技点云与视觉融合感知-V2X端

觉非科技点云与视觉融合感知-车端

多传感器标定和时空同步技术

点云与图像的融合效果,高度依赖于高精度的传感器标定和时空同步。标定和时空同步也是上车量产中的重要一环。觉非科技自研了基于高精地图的点云与图像传感器外参标定技术,同时依靠自研GNSS授时和传感器硬同步板卡,对激光雷达和图像传感器进行硬件同步,保证了融合算法需要的高精度时空同步。

自动驾驶全栈融合计算解决方案

依托强大的融合感知技术能力,觉非已推出“全栈融合计算解决方案”。可针对不同场景和客户提供定制化的前装与后装定位算法、多传感器融合感知算法及动态交通信息服务,满足自动驾驶各个阶段的需求。方案不但可为L2+提供以纯视觉为主的融合感知与融合定位服务,亦可整合高性能算力平台,并按照不同算力需求精细化部署融合感知、融合定位等服务。目前,这套方案已应用于不同场景,包括车辆变道、长隧道、高架桥下,并已与多个主机厂达成合作,从精度、可靠性、成本等维度,为众多伙伴提供定制化、高规格、可量产落地的服务。

觉非科技LiDAR感知能力效果演示-高速公路场景

觉非科技LiDAR感知能力效果演示-停车场

觉非科技LiDAR感知能力效果演示-小区内道路

随着激光雷达与视觉融合感知技术的不断迭代,以及不断积累的知识场景与案例,觉非的全栈融合计算解决方案将会为自动驾驶带来更加安全与可靠的未来。

关键词:

相关阅读

推荐阅读

21.8亿美元!全球最大晶圆代工商台积电一季度营收出炉

21.8亿美元!全球最大晶圆代工商台积电一季度营收

据国外媒体报,当前全球最大的晶圆代工商台积电,已经披露了他们3月份的营收,一季度的营收也随之出炉,达到了4910 76亿新台币,也就是接近更多

2022-04-13 10:34:28
中国社科院:2022年一季度经济增速预判为6.8%

中国社科院:2022年一季度经济增速预判为6.8%

4月12日,中国社科院重大经济社会调查项目包容性绿色发展跟踪调查(IGDS)举行2022年一季度调研的新闻发布会。调研结果显示,受访者认为经济更多

2022-04-12 16:15:37
清华大学团队首次实现通信距离达到100公里

清华大学团队首次实现通信距离达到100公里

近年来,量子安全直接通信取得了快速进展,对于实际应用,提高安全信息速率和通信距离等性能很重要。近日,清华大学团队首次实现通信距离达更多

2022-04-12 08:55:54
53家非上市银行披露2021年“成绩单”:盈利能力分化明显

53家非上市银行披露2021年“成绩单”:盈利能力分

在A股上市银行2021年年报陆续披露的同时,不少非上市银行的业绩经营情况也在陆续披露。4月10日,北京商报记者根据同花顺iFinD数据统计发现更多

2022-04-11 13:59:31
长信科技收关注函:事关比克动力业绩补偿款问题

长信科技收关注函:事关比克动力业绩补偿款问题

深圳市比克动力电池有限公司(以下简称比克动力)成为了A股市场上的热门公司。4月11日,深交所向长信科技(300088)下发了关注函,事关比克动力更多

2022-04-11 13:57:09
创业板指跌超3%,权重股宁德时代跌逾7%

创业板指跌超3%,权重股宁德时代跌逾7%

4月11日早盘,创业板指跌幅不断扩大,目前已跌超3%。交易行情显示,4月11日创业板指低开1 31%,开盘后点位不断下行,盘中跌超3%。截至北京更多

2022-04-11 13:55:25
微软将关闭Win11内存完整性功能

微软将关闭Win11内存完整性功能

从微软前几天公布的发展方向来看,安全在Win11接下来的更新升级中会越来越重要,微软会带来多项重磅安全功能更新,比如网络防钓鱼保护,这更多

2022-04-10 14:35:42
直播带货热度退去后,压货模式还能用吗?

直播带货热度退去后,压货模式还能用吗?

在家电营销变革中,争议颇大的是传统压货模式。特别是在厂商尝试直播带货兴盛时期,几乎就把压货这一传统营销形式忘了。不过,直播带货热度更多

2022-04-08 17:06:48
+ 点击查看更多精彩
一加新机现身:搭载天玑8100处理器,主打快充和游戏
    今天,一款型号显示为PGKM10的一加新机现身GeekBench,这款新机搭...
紫光国微:预计2022年第一季度净利润同比增长69.9%
    紫光国微发布公告称,预计2022年第一季度归属于上市公司股东的净...
斯坦福大学建造小型太阳能电池板原型
    日前,斯坦福大学的研究人员已经建造了一个小型太阳能电池板原型...
龙芯FFmpeg5.0版性能提升75%可软解4K高码率
    去年推出LoongArch指令集之后,国产CPU龙芯已经全面进入自己的生...
iPhoneSE3跌落测试:耐用性提升明显
    近日,质保服务商Allstate Protection Plan对iPhone SE 3进行...
东北华北黄淮等地有小到中雨 南方局地伴有短时强降水
      中新网4月22日电 据中央气象台网站消息,22日白天,东北地区...
    资讯播报