从3D车道线到局部地图,BEV视角求解「路在何方」
在发达的现代公路交通体系中,「各行其道」是交通运行的一项核心前提,车辆和行人按照划分的道路区域规范通行,可以最大程度地保障交通的安全和效率。因此对自动驾驶来说,从环境信息中求解出自己的道路区域是至关重要的感知任务。
在这方面,Nullmax曾分享过一些出色的研究,包括用于3D车道线检测的CurveFormer,近日入选了国际机器人和自动化顶级会议ICRA 2023,以及可用于局部地图构建的BevSegFormer,入选了计算机视觉领域知名会议WACV2023。
(相关资料图)
这两篇论文均是在BEV视角下,基于Transformer对自动驾驶的「路在何方」问题进行了求解,不仅取得了极其出色的算法性能,还高效解决了实际量产应用中的一些难点、痛点,比如:更进一步的车道检测效果,更满足下游需求的任务输出;通过车端实时构建局部地图,将驾驶场景扩展至任意道路。
作为BEV + Transformer技术架构的部分研究,这些技术正与更多的拓展工作,一同应用到Nullmax的多个量产项目中。
BEV感知与车道线检测
在自动驾驶感知当中,实时检测环境中的车道情况,乃至构建一份要素更多的局部地图,可以视为理解静态场景的核心工作。有了车道信息,车辆便可以在车道内和车道间进行一系列操作,如巡航、跟车、变道等,从而实现连贯的智能驾驶。
在这当中,感知系统需要提供自车坐标系下的车道线参数曲线,以便于下游的规控模块使用。因此一些比较领先的行业方案,是将车道线检测的输出设计为BEV视角下的2D或3D车道线参数曲线。
BEV的原意是鸟瞰图视角,这种俯瞰全局的表征方式可以更好地融合不同传感器输入的数据信息,在空间、时间维度进行统一的计算。在这当中,BEV视角一般可以设为相机坐标系,通过车辆下线的标定与自车坐标系进行便捷的转换,所以BEV视角的车道线结果下游可以直接使用。
但是在行业内,更常见的是另一种方式:先在相机输入的图像上进行感知计算,然后再经过复杂的后处理将图像空间的结果转换到BEV视角下的3D空间。
当中的不足在于,这个后处理的过程需要工程师编写大量代码,同时也会消耗大量计算资源。而且面对千变万化真实世界,这种基于人工规则的后处理方式,也很难在各种情况下都获得满意的效果。
因此,包括车道线检测在内的很多感知任务,将后处理部分设计为基于学习的模块,让整个算法以学习为主,这样的话就可以重新定义任务,甚至重构整个自动驾驶系统。
比如车道线检测的任务,就可以直接定义为:输入图像,输出BEV视角的车道线参数曲线。
面向量产的3D车道线算法
在去年,Nullmax提出了基于Transformer的3D车道线检测方法CurveFormer,取得了业界最佳(SOTA)的算法效果,论文在今年被国际机器人领域顶会ICRA录用。论文链接:https://arxiv.org/abs/2209.07989v1
这项算法可以直接输出BEV视角的3D车道线参数曲线,而不是在图像空间进行输出。当中的技术亮点在于,无需显式构建BEV空间,直接从图像特征求解BEV视角的3D车道线参数曲线,将计算量大大减少。
一般基于CNN和其他Transformer的方法,需要先构建稠密的BEV空间(比如100*100大小的BEVgrid)生成BEV特征图,然后以此为基础完成感知任务的输出。
但在现实世界,很多感知对象稀疏分布在环境当中。比如障碍物检测时,视野范围内的目标通常只有几个;车道线检测时,视野范围内的车道线也只有几根。这些感知对象的数量,远远小于BEV网格的数量,显示构建稠密BEV空间的做法不够高效,产生大量多余计算。
Nullmax借鉴目标检测方面的一些思路,将车道线描述为稀疏的曲线query,利用deformable attention机制构建符合车道线检测的curvecross attention,完成BEV空间query和图像特征之间的关联,并通过迭代更新的方式输出3D车道线参数,大大减少了整个过程的计算量。
在合成数据集和真实世界数据集上,CurveFormer与3D-LaneNet、Gen-LaneNet、PersFormer等优秀算法进行了对比,实验数据显示CurveFormer拥有非常全面的优异性能,优于其他算法。
因此在量产应用中,CurveFormer也呈现出了巨大的落地优势,不仅任务效果出众,可以满足复杂城市道路等场景下的车道线检测要求,而且计算需求不大,可以部署到算力较低的量产计算平台之上。
局部地图与全场景驾驶
对于自动驾驶来说,车道线检测只是「寻路问道」的一种形态,如果更进一步,在车端实时构建局部地图,那么自动驾驶在技术和应用上还有更多发挥的空间。
比如,通过常规导航地图+高精度局部地图,将驾驶场景扩展至任意常规道路,摆脱对高精地图的依赖。车辆基于导航地图进行全局的道路规划,然后通过局部地图进行具体轨迹的规划,这样在没有高精地图的情况下,自动驾驶功能也能正常启用,完成任意场景下A点到B点的行驶。
再比如,基于局部地图打造端到端的整体方案,也就是一些地方所说的单栈式方案。近年来,学习为主的规划算法成为新的趋势,在这种算法设计下,局部地图相比于车道线是一种更为直接的输出形式,感知、规划更便于融为一个整体网络。
正是如此,局部地图成为了近年来备受关注的一个技术热点。视觉信号蕴含着尤为丰富的环境信息,包括大量的语义、几何信息,因此视觉建图的思路早已在众包地图、泊车地图等方面进行了验证或应用。在这方面,最常用的方法是视觉SLAM(同步定位与地图构建)。
如今,随着BEV感知快速发展,BEV视角的语义分割、道路环境理解也成为了在线视觉建图的一个优先选项。它的优势在于可以很好地融合多个视角相机的图像,提取出丰富的环境信息,整体效果更加鲁棒。同时,BEV视角的语义分割也更方便和其他BEV视角的感知任务、规划任务整合,形成端到端的整体方案,进行全局的优化。
局部地图和其他地图相比,不仅关注地图信息的高精度,还尤为看重车端的实时性,因此这也对算法提出了很高的要求。
行业顶尖的BEV语义分割
为了更好地满足自动驾驶上下游的需求,打造面向全场景的自动驾驶功能,Nullmax的感知团队在去年提出了面向任意相机配置(单个或多个)的BEV语义分割算法BEVSegFormer。
这一基于Transformer的BEV语义分割方法,同样也取得了当下业界最优(SOTA)的算法效果,论文入选计算机视觉学术会议WACV2023。BEVSegFormer相比于HDMapNet等优秀算法,性能提升超过了10个百分点。论文链接:https://arxiv.org/abs/2203.04050
BEVSegFormer同样扩展deformableattention形成multi-cameracrossattention,完成BEV空间的query和图像特征之间的关联,从而实现了不依赖相机参数,另一方面也可以大大节约计算量。
在实际的行车过程中,颠簸、加速、制动、上下坡等情况都可能引起相机外参的变化,精准的实时相机外参估计相对困难,不依赖相机的参数,可以让算法在这些情况下更加稳定,鲁棒性更强。
特别是,BEVSegFormer不依赖相机参数就可以将图像特征转成BEV特征,基于得到的BEV特征,又可以扩展出多个其他任务,比如3D目标检测,包括将不同时刻的BEV特征缓存下来,进行时序上的融合。并且基于这一创新点,Nullmax感知团队已经完成了多项扩展研究。
目前,Nullmax正在将BEVSegFormer应用到量产项目中,实时构建稠密的高精度局部地图,帮助客户拓展功能范围,从而实现任意常规道路上的智能驾驶。
结语
当前,Nullmax正在完成一套车端实时运行BEV+ Transformer技术架构,同时支持感知、规划任务,并能在高、中、低算力平台上完成落地的自动驾驶整体方案。通过BEV感知完成3D车道线检测和局部地图构建,正是当中的一部分工作。
预计在2023年,Nullmax打造的这套多相机BEV-AI方案就将完成交付。通过这些先进的技术,Nullmax希望能够为普通用户提供极致安全、舒适高效的智能驾驶体验。
关键词: 自动驾驶
相关阅读
-
02-28
-
02-27
推荐阅读
-
从3D车道线到局部地图,BEV视角求解「路在何方」
从3D车道线到局部地图,BEV视角求解「路在何方」在发达的现代公路交通体系中,「各行其道」是交通运行的一项核心前提,车辆和行人按照划分的道更多
2023-02-28 07:40:06
-
世界热资讯!特斯拉德国工厂提前完成周产4000辆目
特斯拉德国工厂提前完成周产4000辆目标盖世汽车讯据外媒报道,特斯拉在2月27日表示,该公司位于德国柏林附近勃兰登堡州的工厂目前每周已经能生更多
2023-02-28 07:40:37
-
天天精选!16.28万起 哈弗二代大狗正式上市
16 28万起哈弗二代大狗正式上市2月27日,哈弗狗品类首款新能源车型——3 4刻度潮野座驾哈弗二代大狗在深圳正式上市,新车推出DHT-PHEV1更多
2023-02-28 05:38:54
-
全球热文:理想汽车2022年营收增长67%,研发投入
理想汽车2022年营收增长67%,研发投入翻番2月27日,理想汽车发布的最新财报数据显示,2022年第四季度,理想汽车实现营收176 5亿元,同比增长66 2%;更多
2023-02-27 18:41:29
-
天天消息!韩国车企与零部件制造商纷纷涌向美国以
韩国车企与零部件制造商纷纷涌向美国以获得税收优惠约有10家现代汽车集团的供应商已经确认,今年将在美国追加投资,其中包括AhjinIndustry和内更多
2023-02-27 17:47:31
-
VinFast针对首批美国消费者降低租赁价格
VinFast针对首批美国消费者降低租赁价格VinFast此举显示出,电动汽车的价格战正在加剧。更多
2023-02-27 17:24:32
-
环球滚动:科络达OTA生命周期管理平台解决方案助中
科络达OTA生命周期管理平台解决方案助中国车企出海斩浪2023年2月23—24日,由盖世汽车主办的2023中国汽车及零部件出海高峰论坛在上海顺利举办更多
2023-02-27 16:38:53
-
世界微动态丨威马员工在线讨薪,吉利杨学良:我这
威马员工在线讨薪,吉利杨学良:我这里还缺人可以考虑一下近期威马汽车负面不断,先后被爆出“再降薪”“全员停薪留职”“欠薪搬离总部”等传更多
2023-02-27 15:41:20
时尚热图
-
今日必看
-
精彩话题
-
资讯播报
- 世界热资讯!特斯拉德国工厂提前完成周产4000辆目标
- 从3D车道线到局部地图,BEV视角求解「路在何方」
- 每日资讯:XML完全手册
- 天天精选!16.28万起 哈弗二代大狗正式上市
- 资讯:寂地语录_寂地
- 焦点速讯:中国移动董事长杨杰以“数智人”方式亮相MWC2023
- 新动态:蒋蔚当选国机精工董事长,曾任洛轴董事长
- 一语不入意
- 【播资讯】中国电信李峻:共享共赢,共创5G未来高质量发展
- 中国电信李峻:共建共享5G网络累计服务超2.4亿5G用户
- 当前头条:曾国藩家书全文_曾国藩家书全文
- 巴展上的诱人5G果实,高通育苗造林构建生态乐土
- 全球热文:理想汽车2022年营收增长67%,研发投入翻番
- 世界信息:法国电信:未来十年需要整个生态系统彼此合作,不止是通信业
- 【环球快播报】中国信科孙晓南:未来继续与电信联通合作 致力于5G网络共享提升
- 温氏股份:与专业投资机构共同投资股权投资基金
- 【新视野】黄礼莲:中国电信与中国联通砥砺前行,建成全球规模最大的5G共享SA网络
- 天天消息!韩国车企与零部件制造商纷纷涌向美国以获得税收优惠
- VinFast针对首批美国消费者降低租赁价格
- 环球滚动:科络达OTA生命周期管理平台解决方案助中国车企出海斩浪
- qq红包怎么充值必须要银行卡吗_qq红包怎么充值
- 世界视点!工信部提出26条措施 进一步提升移动互联网应用服务能力
- 三星gt-p5100的恢复出厂设置?三星gt19205强制恢复出厂设置?
- 当前快讯:特斯拉(TSLA):柏林超级工厂ModelY周产量达4000辆
- 哪里下载视频是mp4格式?小说下载到mp4一般是什么格式?
- 北京时间跟英国伦敦时间差是多少?英国伦敦和中国时间差?
- 直播的积分有什么用?yy在哪里查询积分变化?
- 移动号码转移呼叫收费标准?怎么把某个人的电话设置呼叫转接?
- 世界微动态丨威马员工在线讨薪,吉利杨学良:我这里还缺人 可以考虑一下
- 【环球快播报】韩国电池制造商准备生产磷酸铁锂电池
- 全球动态:日产提高电动汽车销售目标,加速美国本土化
- 环球微速讯:混动车型受青睐,1月丰田波兰销量大涨
- xp系统c盘有几个文件夹?xp系统d盘e盘不见了怎么办?
- 华硕k50ie能换内存吗?华硕笔记本k505b换内存条?
- 宝鸡移动数智赋能平安乡村建设
- 让马斯克反悔的毫米波雷达,被国产雷达头部厂商木牛科技迭代到了5D时代
- 热消息:印度巴帝电信宣布5G用户超1000万
- 笔记本电脑可以打电话了吗?在笔记本上怎么打电话?
- 预售24小时订单突破5120台,零跑C11增程将于3月1日正式上市
- 又停产?蔚来:江淮工厂正常运转
- 天天快消息!“盐湖提锂技术”项目启动,盐湖锂镁资源高效开采与绿色加工技术进入实施阶段
- 当前快报:三星电机开发出用于自动驾驶的半导体基板
- 世界热门:日产将在苏州测试无人驾驶出租车,欲2025年后实现商业化
- 小米2和魅族mx比较哪个好点?魅族mx和小米哪个更好?
- steam位于更新队列中怎么解决?steam设置取消自动更新?
- 【世界速看料】这位硬核女科学家,毕业于华中科技大学!
- 柯达z990优缺点是什么?柯达z980和990哪个好?
- 柯达z990优缺点是什么?柯达z980和990哪个好?
- 云南省最大功率充换电站正式投运
- Stellantis CEO 2022年薪酬下降14%,至1,490万欧元
- 天天视点!奥迪诉蔚来商标侵权案:蔚来上诉成功,奥迪请求被驳回
- 江西万安:以花为媒做活春季旅游“美丽经济”
- 小米手机是电信还是移动版?小米标准版和套装版的区别?
- 电脑打开网页太大怎么缩小?电脑pdf为什么打开是网页?
- 每日看点!Sono放弃太阳能汽车计划
- 【聚看点】机器视觉检测公司“赤霄科技”完成数千万元A轮融资,绿洲资本独家领投
- 当前通讯!1月轿车市场TOP20:特斯拉Model3夺冠,宏光MINIEV未进榜
- 美国IRA法案引发投资热,奥迪考虑在美国设电动车厂
- 世界聚焦:诺基亚宣布重塑企业战略和技术战略,并推出全新品牌Logo
- 佳能7D单反相机怎么样?佳能7d相机如何使用?
- 世界观点:开発三昧1 6全集迅雷_开発三昧1 6全集
- 怎么看外设的ip地址?路由器的ip地址怎么查看?
- 行李可以从托运处运送吗?中转行李需要重新办理托运吗?
- 环球短讯!比亚迪年内将推新品牌,内部代号“F品牌”
- 当前热文:全新轿跑风格 星途E03最新测试谍照曝光
- 动态:定位纯电动全尺寸SUV 凯雷德EV测试谍照曝光
- 天天微速讯:12.98万起!五菱凯捷混动铂金版正式上市,给家人的“SPA级大四座”
- 【全球速看料】美民调:多数美民众不满政府对“毒列车”事件处理 近八成认为经济糟糕
- 我为群众办实事丨连云移动积极开展防诈骗宣传活动
- 观天下!能家用/能轻越野 哈弗二代大狗将于今晚上市
- 墨西哥政府干预,特斯拉墨西哥建厂计划或生变
- Vicor 公司宣布与安富利签订全球分销协议
- 看点:奔驰计划在华销售L3级自动驾驶系统
- 环球微动态丨火星架构/预计售20万 奇瑞瑞虎9将于今晚亮相
- 天天快消息!国家发改委:支持超100个中小城市加快推进5G和千兆光网建设
- 环球热消息:中国联通将推全球首款“5G Redcap商用模组”亮相MWC2023
- 环球今日报丨龙之谷怎么获得英雄之远征队金属板_龙之谷远征队纹章哪弄
- 碰撞标准提高,获奖车型少一半?
- 将于3月1日发布 捷途T-1量产版定名旅行者
- 每日关注!松下4月将开始在中国销售氢燃料电池
- 【世界聚看点】已大量排产!比亚迪秦PLUS DM-i冠军版提车仅需1-1.5个月
- 世界时讯:合资A级轿车,进退两难
- 世界新动态:伊顿车辆集团及车辆电气化业务,助力车辆效率、安全性及性能提升
- 每日热文:下城区住房和城市建设局
- 今日报丨黑豆泡水后水变黑水能吃吗_黑豆泡水后水变黑正常吗
- 【时快讯】刘亚仁一年内注射异丙酚73次详细内容
- 环球快资讯:银行大堂经理
- 天天简讯:光年是多少天_光年是多少
- 比亚迪的电池专利 – 来自中国的有边角的“圆形电芯”
- 当前速递!华兰股份: 第五届董事会第十一次会议决议公告
- 天天最资讯丨2月27日正式发布,火星架构-超级混动平台携瑞虎9探索科技进化
- 世界快资讯丨僵尸奇兵
- 2023采埃孚售后大中国区合作伙伴大会圆满召开
- Rainimator WIKI—Isaac中翻
- 环球要闻:长安汽车UNI-V智电iDD、UNI-K智电iDD正式上市
- 世界焦点!琼海举办春风行动暨就业援助月专场招聘会
- 第五大道奢侈品网
- 世界今头条!盖世周报 | 多家车企接入文心一言;蔚来第四工厂或落户滁州
- 当前动态:胃疼拉肚子怎么回事应该怎么办_胃疼拉肚子怎么回事
- 中国岭南风水研究院