觉非技术解析 | 激光雷达与视觉融合感知在自动驾驶中的应用
2022年是智能驾驶由L2向L3/L4跨越的窗口期,越来越多的汽车厂商开始布局更高级别的智能驾驶量产,汽车智能化时代已悄然而至。随着激光雷达硬件的技术提升,车规级量产和成本下行,高级别智能驾驶功能促进了激光雷达在乘用车领域的量产上车,多款搭载激光雷达的车型将在今年交付,2022年也被称为“激光雷达上车元年”。
激光雷达是一种用于精准获取物体三维位置的传感器,本质上是激光探测和测距。凭借在目标轮廓测量、通用障碍物检出等方面所具有的极佳性能,正在成为L4自动驾驶的核心配置。然而,激光雷达的测距范围(一般在200米左右,不同厂商的量产型号指标各异)导致感知范围远小于图像传感器。又由于其角分辨率(一般为0.1°或0.2°)比较小,导致点云的分辨率远小于图像传感器,在远距离感知时,投射到目标物上的点可能及其稀疏,甚至无法成像。对于点云目标检测来说,算法真正能用的点云有效距离大约只有100米左右。
图像传感器能以高帧率、高分辨率获取周围复杂信息,且价格便宜,可以部署多个不同FOV和分辨率的传感器,用于不同距离和范围的视觉感知,分辨率可以达到2K-4K。但图像传感器是一种被动式传感器,深度感知不足,测距精度差,特别是在恶劣环境下完成感知任务的难度会大幅提升。在面对强光、夜晚低照度、雨雪雾等天气和光线环境,智能驾驶对传感器的算法要求很高。激光雷达虽然对环境光线影响不敏感,但对于积水路面、玻璃墙面等,测距将收到很大影响。可以看出,激光雷达和图像传感器各有优劣。大多数高级别智能驾驶乘用车选择将不同传感器进行融合使用,优势互补、冗余融合。这样的融合感知方案也成为了高级别自动驾驶的关键技术之一。
点云和图像的融合属于多传感器融合(Multi-Sensor Fusion,MSF)的技术领域,有传统的随机方法和深度学习方法,按照融合系统中信息处理的抽象程度,主要分为三个层次:
数据层融合(Early Fusion)
首先将传感器的观测数据融合,然后从融合的数据中提取特征进行识别。在3D目标检测中,PointPainting(CVPR20)采用这种方式,PointPainting方法先是对图像做语义分割,并将分割后的特征通过点到图像像素的矩阵映射到点云上,然后将这个“绘制点”的点云送到3D点云的检测器对目标Box进行回归。
特征层融合(Deep Fusion)
先从每种传感器提供的观测数据中提取各自然数据特征,对这些特征融合后进行识别。在基于深度学习的融合方法中,这种方式对点云和图像分支都各自采用特征提取器,对图像分支和点云分支的网络在前反馈的层次中逐语义级别融合,做到多尺度信息的语义融合。基于深度学习的特征层融合方法,对于多个传感器之间的时空同步要求很高,一旦同步不好,直接影响特征融合的效果。同时,由于尺度和视角的差异,LiDAR和图像的特征融合很难达到1+1>2的效果。
决策层融合(Late Fusion)
相对前两种来说,是复杂度最低的一种融合方式。不在数据层或特征层融合,是一种目标级别的融合,不同传感器网络结构互不影响,可以独立训练和组合。由于决策层融合的两类传感器和检测器相互独立,一旦某传感器发生故障,仍可进行传感器冗余处理,工程上鲁棒性更好。
针对目前车载激光雷达和图像传感器的特征,以及高速NOA、城市道路自动驾驶、自动泊车等应用场景,觉非的车端感知技术栈中采用了后融合为主的方式进行对点云和图像的融合。
融合感知算法将视觉、点云和毫米波的原始数据进行融合计算,而后进行3D追踪,输出更加精准、完整的感知结果。同时借助高精地图和路端全局样本,对交通参与者的行为轨迹进行精准预测。
觉非科技基于点云的融合感知算法架构
不仅是算法,觉非通过对于融合感知技术的深挖,也解决了在量产之中的许多工程问题:
车端嵌入式异构算力平台的移植和优化
觉非自研多种点云和图像的深度学习算法,如稀疏点云卷积算法、单目尺寸还原算法等。同时对车载的嵌入式控制器平台进行了大量的性能优化加速,可使较大的模型部署在车端的嵌入式平台,实现精度更高的激光雷达+多路视觉的融合感知,形成量产的融合感知解决方案。
觉非科技点云与视觉融合感知-V2X端
觉非科技点云与视觉融合感知-车端
多传感器标定和时空同步技术
点云与图像的融合效果,高度依赖于高精度的传感器标定和时空同步。标定和时空同步也是上车量产中的重要一环。觉非科技自研了基于高精地图的点云与图像传感器外参标定技术,同时依靠自研GNSS授时和传感器硬同步板卡,对激光雷达和图像传感器进行硬件同步,保证了融合算法需要的高精度时空同步。
自动驾驶全栈融合计算解决方案
依托强大的融合感知技术能力,觉非已推出“全栈融合计算解决方案”。可针对不同场景和客户提供定制化的前装与后装定位算法、多传感器融合感知算法及动态交通信息服务,满足自动驾驶各个阶段的需求。方案不但可为L2+提供以纯视觉为主的融合感知与融合定位服务,亦可整合高性能算力平台,并按照不同算力需求精细化部署融合感知、融合定位等服务。目前,这套方案已应用于不同场景,包括车辆变道、长隧道、高架桥下,并已与多个主机厂达成合作,从精度、可靠性、成本等维度,为众多伙伴提供定制化、高规格、可量产落地的服务。
觉非科技LiDAR感知能力效果演示-高速公路场景
觉非科技LiDAR感知能力效果演示-停车场
觉非科技LiDAR感知能力效果演示-小区内道路
随着激光雷达与视觉融合感知技术的不断迭代,以及不断积累的知识场景与案例,觉非的全栈融合计算解决方案将会为自动驾驶带来更加安全与可靠的未来。
关键词:
相关阅读
-
04-15
-
04-15
-
04-15
推荐阅读
-
21.8亿美元!全球最大晶圆代工商台积电一季度营收
据国外媒体报,当前全球最大的晶圆代工商台积电,已经披露了他们3月份的营收,一季度的营收也随之出炉,达到了4910 76亿新台币,也就是接近更多
2022-04-13 10:34:28
-
中国社科院:2022年一季度经济增速预判为6.8%
4月12日,中国社科院重大经济社会调查项目包容性绿色发展跟踪调查(IGDS)举行2022年一季度调研的新闻发布会。调研结果显示,受访者认为经济更多
2022-04-12 16:15:37
-
清华大学团队首次实现通信距离达到100公里
近年来,量子安全直接通信取得了快速进展,对于实际应用,提高安全信息速率和通信距离等性能很重要。近日,清华大学团队首次实现通信距离达更多
2022-04-12 08:55:54
-
53家非上市银行披露2021年“成绩单”:盈利能力分
在A股上市银行2021年年报陆续披露的同时,不少非上市银行的业绩经营情况也在陆续披露。4月10日,北京商报记者根据同花顺iFinD数据统计发现更多
2022-04-11 13:59:31
-
长信科技收关注函:事关比克动力业绩补偿款问题
深圳市比克动力电池有限公司(以下简称比克动力)成为了A股市场上的热门公司。4月11日,深交所向长信科技(300088)下发了关注函,事关比克动力更多
2022-04-11 13:57:09
-
创业板指跌超3%,权重股宁德时代跌逾7%
4月11日早盘,创业板指跌幅不断扩大,目前已跌超3%。交易行情显示,4月11日创业板指低开1 31%,开盘后点位不断下行,盘中跌超3%。截至北京更多
2022-04-11 13:55:25
-
微软将关闭Win11内存完整性功能
从微软前几天公布的发展方向来看,安全在Win11接下来的更新升级中会越来越重要,微软会带来多项重磅安全功能更新,比如网络防钓鱼保护,这更多
2022-04-10 14:35:42
-
直播带货热度退去后,压货模式还能用吗?
在家电营销变革中,争议颇大的是传统压货模式。特别是在厂商尝试直播带货兴盛时期,几乎就把压货这一传统营销形式忘了。不过,直播带货热度更多
2022-04-08 17:06:48
时尚热图
热门标签
苹果屏下FaceID最新专...
京东总裁徐雷将出任京...
亚太地区人工智能支出...
网红筋膜枪,到底有多...
12年来“最惨之年”!...
中国液晶面板产业的“...
苹果的节奏晚了些?iO...
安徽发布“十四五”智...
微软终于开始通过超文...
苹果iPhone产量再次减...
《原神》2.2版本大更...
LOL:他们几个很强,...
LOL手游值得练习的6个...
王者荣耀:孙行者上架...
雅典娜18888金币英雄...
《英雄联盟手游》正式...
《堡垒之夜》被苹果拉...
mazon Games宣布他们...
PowerA主题手柄:续航...
银行股终于有了起色 ...
-
今日必看
-
精彩话题
-
资讯播报
- 岚图汽车与百度就汽车智能化发展达成战略合作
- 觉非技术解析 | 激光雷达与视觉融合感知在自动驾驶中的应用
- 三星SDI开发下一代电池管理系统原型 提高电池安全性
- 英特尔:13代RaptorLake核有望超越4.5GHz
- 自游家NV核心看点首次公布 增程版工况续航可达939km
- 补贴后售18.01万-19.91万 新款威马E.5上市
- 马斯克称SEC官员是 “混蛋”
- 为保镍资源供应,宁德时代60亿美元在印尼建动力电池产业链项目
- 推出全新系列 ICON巧克力即将发布
- 商务部:一季度我国吸收外资实现了“开门稳”
- 豆瓣停用鹅组、十八楼育儿托管所等7个问题小组,治理饭圈乱象?
- 宝马CEO反对全面禁止销售新的内燃机汽车
- 蔚来逐步复产,但随时可能再“停”
- 蔚来已与中国石化共建175座充换电站
- 预计售价12万起 风行·游艇将于今日亮相
- 自游家NV增程版WLTC续航939km 定位豪华中大型城市探索SUV
- 高合HiPhi Z生产线白车身下线 按计划年内交付
- 皓极加入混动大战,助力东风风神今年冲击20万辆
- BBA一季度产能受困 新能源成最大亮点
- Ram计划今年发布1500电动皮卡概念车
- 松下CEO:原材料价格高企带来“重大”影响
- 加州提议到2030年使零排放车销量占70%
- LeddarTech发布灵活的模块化LeddarEngine 加速开发ADAS和AD传感器
- 中国电信欲启动山西公司5G核心网扩容工程集采
- 特斯拉因Boombox功能发起二次召回,涉及59.5万辆车
- 德国或提前取消插电式混动车补贴
- 大众CEO试乘自动驾驶ID Buzz
- 标配既是高配 新款威马E.5正式上市 售价18.01万元起
- 梅赛德斯-奔驰未与Rostec就出售卡玛斯股份谈判
- 传苹果与韩国供应商合作开发苹果汽车集中式操作系统
- 吉林联通欲采购5万台智能家居千兆路由器,总预算超845万元
- 中国广电“开网放号”渐行渐近 智慧家庭将成各方角力重点
- 投资人担心马斯克不务正业 特斯拉股价下跌
- 神龙汽车金融业务重组,外资股份卖给东风集团
- 广汽埃安多款车型增加新版本 命名为行政版或领袖版
- 蔚来:合肥生产基地正逐步恢复生产
- 创维HT-i将于4月18日正式亮相,或将搭载比亚迪DM-i混动系统
- 哪吒S内饰设计图曝光!镂空方向盘+AR-HUD,科技感足足的
- 大众集团Q1在全球售出9.9万辆纯电车,大众ID.4最畅销
- 疫情下的汽车供应链:更大危机正在酝酿
- 沃尔沃汽车一季度累计销量已达35560辆
- 华宇新能源项目完成重组,两轮电动车企雅迪持股70%
- 大众集团Q1 营业利润预计达85亿欧元
- 5G+AI,预见新未来,科大讯飞助力中国移动重磅发布“5G新通话”产品
- 何时才是进入新能源的最好时代?
- 独家 理想L8效果图曝光 尺寸比L9小/四季度就上
- 福特中国第一季度销量近12.5万辆 Mustang Mach-E交付速度爬升
- 创维HT-i预售延期 搭载比亚迪DM-i混动系统
- 激光雷达,突破围城
- 颜值高性能棒 全新第三代荣威RX5有颗“强心脏”
- 积极营业 记不躺平的上海职场人丨盖世汽车
- 上海联通携手科大讯飞采用“智能语音机器人”助力上海抗“疫”
- 联通空中战“疫”黑科技,为疫情防控布下“天罗地网”
- 智慧新势力,欧尚Z6超级测试员智慧进化顺利完成
- 盖世汽车2022第三届软件定义汽车云论坛·第一期圆满结束
- Stellantis CEO唐唯实2021年薪酬引不满
- 福特F-150 Lightning将于4月26日上市
- 三星电机开发出13种车载MLCC 可承受150℃高温
- 轻橙时代首款车内饰 将于4月15日发布
- 传东风本田e:NS1新车已到店 预计本月底上市
- Electrovaya宣布其专有固态混合电池技术取得突破性进展
- 特斯拉收购美国锂商Lithium系乌龙事件
- 信越化学开发出新型热界面硅橡胶板系列 用于电动汽车零部件
- 因供应商停工,长城坦克300于4月14日起暂停生产
- 几何E官图发布,4款小清新配色好看又好听
- 法拉利将在数月内发布Purosangue SUV
- 柠檬混动DHT加持,“新次元激擎座驾”哈弗赤兔了解一下
- 联通北京云网交付中心流量溯源取证设备采购:三企业入围
- 公安部刘忠义:电信网络诈骗呈现出四大变化
- 联通ECS系统创新业务管理平台应用软件集采:恒安嘉新和华顺信安入围
- 联通升级公众应用可信呼叫中心应用软件:预算541.38万元
- 联通启动智能城域网集中网管系统新建工程招标:预算2180.56万
- 台积电3nm工艺取得重大突破,2023年将量产
- Epic从索尼和乐高母公司获得20亿美元融资
- 一季度出货量下滑5.1%,苹果Mac和MacBook逆势增长
- 苹果将推出卫星连接功能可直接通过手表发送短信
- 三星计划使用回收零件降低维修费用,减轻消费者维修负担
- 工信部:加快5G全连接工厂建设 打造10个5G全连接工厂标杆
- 中国移动推出5G新通话
- “攻占”全球!2023年全球5G设备连接数将超10亿
- Stellantis将整合中国金融业务,预计下半年完成
- 苹果发布iMovie3.0版本:可能吓跑不少新手用户
- 3月新能源销量:大众,合资品牌仅剩的“独苗”
- 3月动力电池:光鲜的背后,危机来了
- 本田汽车计划未来10年研发投入8万亿日元 至2030年投放30款纯电车型
- 福特全系电马将涨价7000元到22500元?官方回应:4月30日公布细则
- 3月中国汽车保值率榜单出炉 上汽乘用车荣威 MG连续12个月正增长
- 宝马i7发布最新预告图 将于4月20日亮相
- 睿蓝汽车与曹操出行达成战略合作
- 曹操出行牵手睿蓝汽车,未来将持续上线换电车型
- 哪吒汽车卖到哪了?
- 上游原材料上涨 微型车的日子该怎么过 今天来聊聊宏光MINIEV
- 东风风神SUV皓极正式亮相
- 长安凯程F300皮卡上市 售价6.09~6.39万元
- 九年义务教育后的蒙迪欧 价值观回来了吗?
- 长安汽车发布新品牌深蓝,将投800亿发力新能源
- 通用汽车申请新专利:自适应转换多功能显示控制
- 材料+工艺 VAMA&GV携手并进
- 小米汽车最新进展:公布多个专利
- KAERI发明新3D打印技术 推动氢能汽车普及