东软睿驰刘伟:基于视觉的驾驶场景,我们要解决的是周边有什么

自动驾驶
中国人工智能学会
刘伟
2017-06-06 15:20
[ 亿欧导读 ] 深度学习它大概是这样一个过程,首先就是数据极的采集,通过深度学习,图像的工具,对数据极的特征进行集成,标记完以后有人工教研的过程,形成GT数据集,就可以对传统的图像处理的算法验证。通过不断的迭代,让GT数据集不断变大。
刘伟,人工智能,自动驾驶,神经网络 图片来自网络

2017年5月21日,由中国人工智能学会、中文信息学会主办,亿欧承办的2017·全球人工智能技术大会在北京·国家会议中心拉开帷幕,学术界、工业界、高校师生参与其中,5月22日上午为智能驾驶分论坛,论坛将主要聚焦人工智能技术在汽车驾驶方面的应用,即智能驾驶,包括对行驶环境的感知和认知,决策与规划,控制等,而这些都是智能驾驶、乃至于未来自主式驾驶的关键技术。

主讲嘉宾包括斯坦福大学影像系统研究中心执行主任-Joyce Farrell、北京峰云视觉技术有限公司CEO-肖峰、东软睿驰汽车技术(沈阳)有限公司智能驾驶业务线高级研究员-刘伟、数据堂CTO-陈兰颖等。

东软睿驰汽车技术(沈阳)有限公司智能驾驶业务线高级研究员刘伟做了主题为“基于视觉的驾驶场景理解与自动驾驶集成”的演讲,本文为其演讲速记及主持人问答整理。

刘伟观点提炼:

1、东软睿驰国内唯一一家运用电力线载波技术的供应商;

2、基于视觉能解决什么问题,首先是车外的摄像头,包括车内感知和车外环境感知;

3、基于视觉的驾驶场景理解相关技术,在自动驾驶领域,目前提到的视觉解决方案,主要面向的是周围有什么的问题;

4、三代的产品会运用到深度学习和更高自动驾驶的组合,包括高速公路下的交通辅助功能。

以下是速记全文,有部分删减:

首先感谢邓老师邀请东软,让我们展示一下在自动驾驶方面前期的研究基础,以及现在对自动驾驶产业化的探索。首先简单介绍一下公司的业务,我们讲的没有那么学术,比较偏应用一点。

东软睿驰母公司是东软集团,是中国第一个上市的软件公司,在全球拥有2千多名员工,中国8个区域总部,10个软件研发基地,16个软件开发与技术支持中心,60多个城市建立营销与服务网络,全球包括美国、日本、瑞士、芬兰、罗马尼亚、德国、迪拜、秘鲁多有分公司。

业务涉及到汽车电子,医疗IT,交通,基本上各个领域都有但是主要两个大的方向就是汽车电子和医疗IT。因为东软是做汽车电子起家的,之前和一些国际的供应商提供电子的软件,现在走上前线,提供汽车电子的产品。

东软汽车电子业务有25年面向全球汽车电子研发经验,在汽车软件全球TOP30的汽车品牌中80都有东软软件硬性,业务覆盖欧洲、日本、美国拥有4000多名员工。拥有多维客户,25家车厂,16家合作伙伴,11家内容提供商。中国最大的车联网整体端到端解决方案提供商,获得了CMMILI和软件开发的认证。

东软集团在汽车领域有一个BigCar业务途径,利用东软集团整体能力,创造以汽车为中心的整体平台业务,提供人、车、社会的整体解决方案,涉及到金融领域,包括汽车银行保险,还有车联网,云,通讯和客户管理方面,以及车辆的运营,用车,养车的系统,我们现在提供EV解决方案,包括和英特尔合作的自动驾驶坐舱的C4平台。

东软睿驰是东软集团在2015年底整合了电池、EV、CLOUD,ADAS领域,致力于在新能源,智能网联汽车领域,曾经一家拥有卓越技术的创新型企业,向全球市场优质的产品。核心优势就是专利,有100多项,有一些通过ISO26262标准,16949标准,也是ADAS国际标准委员会成员,ITS无标准委员会副主任委员,技术方面,有国际领先的智能识别技术,国内唯一一家运用电力线载波技术的供应商。

下面介绍一下ADAS业务线在图象处理和自动驾驶领域的业务。东软有25年汽车电子行业经验,18年多的图像处理的技术积累。2004年开始,连续12年专注于辅助驾驶核心技术的研发与产品化,拥有120名以上的核心技术研发人员,覆盖视频分析、嵌入式高性能计算,传感器融合等辅助驾驶系统相关领域。

智能视觉相关国内外专利60多项,也是标委会的成员。愿景是为人类的交通安全与便捷做出贡献,让更多的人享受我们提供的安全、便捷的产品及服务。我们提供多类对象检测识别技术,多传感器融合技术,基于多核的高性能计算技术,多学科知识融合技术。

基于视觉的驾驶场景理解相关技术,在自动驾驶领域,我们需要解决哪些问题?周边有什么环境?我们自己的车在哪里?我们的目的是什么?这块目前提到的视觉解决方案,主要面向的是周围有什么的问题,因为摄像头装在车上,感知的范围有限,所以主要是局部环境的理解。

有一些配置,包括摄像头、激光雷达,广播雷达,超声,V2X,Map Data。基于视觉能解决什么问题,首先是车外的摄像头,可以识别道路的环境,交通参与者,交通指示。

车内的感知,可以感知驾驶员身份,视线,手势,以及注意力。

外环境的感知,包括几类,一方面是交通参与者,道路信息,还有道路上的指示信息,交通参与者包括行人,摩托车,自行车,车辆,动物,路面信息,包括车道线,路面标识,车位标识,指示信息,交通标志,信号灯,指示牌。

针对无自动驾驶L3,还是涉及到驾驶员的接管,它需要对车内驾驶员做一些监控,除了提到车外的撤职,对车内驾驶员状态的识别和工作状态也做了一些工作,包括驾驶员状态的监控、手势的识别、视线的跟踪,这块可以检测到驾驶员的姿势、朝向、状态、这是检测面部的关键点,判断驾驶员的状态,这是驾驶员视线的预估。

前面讲了一些应用,通过图像识别做了一些基础性的研究,能够识别车内车外的环境,怎么把这些技术应用到实际的车辆中,这里会涉及到一些集成的关键技术,包括深度学习,包括嵌入式高性能计算的探索。

深度学习有几个方向,首先我们用它对我们现在传统的机器学习做验证,另外深度学习可以对更复杂的场景理解,比如现在的自动驾驶空间的探索。深度学习要建立一个数据极,这是像素水平的标记,还有图像特征的标记,主要的研究领域,一方面是应用领域,一方面是自由空间探索。

这是传统的车道识别,通用物体识别,在目标检测里面它会有一些特殊的地方,比如它能够处理一些比较特殊的场景,比较复杂的,包括一些特殊车辆,多视角,包括前视,后视,测视,以及路面小物体的识别。

性能计算方面,和嵌入式高性能计算会有一些交叉,通过对深度学习算法的深入研究,对这些算法进行优化,让它适应嵌入式的平台,能够在产品中集成应用。深度学习它大概是这样一个过程,首先就是数据极的采集,通过深度学习,图像的工具,对数据极的特征进行集成,标记完以后有人工教研的过程,形成GT数据集,就可以对传统的图像处理的算法验证。

通过不断的迭代,让GT数据集不断变大,准确率不断提升,形成我们研发和应用的数据库,提升图像识别的精度,降低误报率,一方面是在通用的CPU上做这种探索研究,目前还是研究的阶段,去做一些自动驾驶空间的探索,做一些像素级的标的。

在应用方面可以做一些轻量化的深度学习算法,可以适用目前车载的CPU,提供一些行人车辆的识别算法,轻量化这块主要是面向应用的,这个是我们建立数据集的过程。还有一个关键的技术,我们使用了轻量化的CNN,这里有两个过程,一方面是对关键的参数硬化,另一方面裁剪网络,适应目前嵌入式平台的应用。

在深度学习领域,目前进展的情况,一些关键的技术,包括定制化的神经网络,降低误报率,提高准确率,还有就是小物体,对远距离,100米左右的车辆做一些标定和识别。

市场活动方面,我们在美国CES上,今年一月份支持了4家车厂,提供图像处理的算法,都实现了高性能预算情景的演示。

第二代产品是基于高清摄像头,使用SOC和MCU,做高性能的预算和控制功能的形态,提供车道保持,还是刚才预警类的功能,增加了ABLK控制的功能,一种是一体机的方案,一种是段焦和长焦摄像头分体的方案,可以支持前视和后视。

上面提到了一代和二代的产品,三代的产品会运用到深度学习和更高自动驾驶的组合,包括高速公路下的交通辅助功能。我们的优势呢,我们的硬件平台是完全可编程的ACU,它是开放标准的,不是定制化的硬件。软件是模块化和定制化的,客制化,功能提供了360度的覆盖的方案,包括前视后视,可配置,根据需求进行功能的组合,多传感器融合的支持。

在应用领域是低成本的解决方案,功耗方面是性能平衡,目前使用的芯片,设计之初就是面向车规的,性能通过APEX优化以后,对整个性能的提升,也是做到技术和产品应用的平衡。在可靠性方面,包括集成雷达、图像,这是融合的算法,软硬件的设计和功能安全的设计,这是一些优势。

以上就是我整个汇报的内容,涉及到了一些技术和我们的产品,谢谢大家。

提问:对于智能车有前后左右多个摄像头,有红外和激光雷达,我想问一下它的优先级是怎么样分配的,权值是怎么分配的?

刘伟:目前是基于视觉,因为视觉是做了很多年了,但是视觉它有自己的缺陷,比如说光照,比如刚才提到的阳光直射和夜晚对它的影响,所以我们在这个基础上,也在考虑和毫米波雷达的融合,在融合过程中怎么样考虑权值呢,首先考虑测量的特性,比如对宽度测量比较准,但是毫米波雷达对车辆的相对速度和距离比较准,我们的融合算法相当于增加了一类传感器,而不是融合后的结论。

我考虑了图像和雷达以后,我输出一个结果给大家,是串联的,我们最终的融合结果是并联传输给应用层,根据应用场景,就是每一个特征都有执行度,包括宽度,包括相对速度,这些特征本身都有执行度,你知道是来源于融合传感器还是雷达的,还是图像的,可能激光雷达的问题没有提到,目前只是产品阶段做到了图像和毫米波雷达。

邓伟文(主持人):现在一方面是传感数据融合,另一方面是深度学习,它们对计算平台要求比较高,你们采用什么样的计算平台?

刘伟:刚才提到采用上面有GPU,ARM的芯片,还有比较关键的就是提到的APEX,通过APEX做一些功能的计算,加上对神经网络的裁剪和参数的整形化,就是达到一个平衡吧,因为这个芯片从设计之初就是面向车规的,我们基于它做一些应用集成,做一些性能的平衡。

参与评论

相关文章

关闭
  • 精彩推荐
  • Talking Data

快来扫描二维码,参与话题讨论吧!

发送验证码
发送验证码
发送验证码
找回密码失败,请选择人工找回
如果你遇到下面的问题

我在注册/找回密码的过程中无法收到手机短信消

我先前用E-mail注册过亿欧网但是现在没有办法通过它登录,我想找回账号

其他问题导致我无法成功的登录/注册

请发送邮箱到service@iyiou.com,说明自己在登录过程中遇到的问题,工作人员将会第一时间为您提供帮助

账号密码登录

乐乐呵呵@微信昵称

该亿欧账号尚未关联亿欧网账户

关联已有账户

曾经使用手机注册过亿欧网账户的用户

创建并关联新账户

曾用微信登录亿欧网但没有用手机注册过亿欧的用户

没有注册过亿欧网的新用户

先前使用邮箱注册亿欧网的老用户,请点击这里进入特别通道
意见反馈
意见反馈
亿欧公众号 亿欧公众号
小程序-亿欧plus 小程序-亿欧plus
返回顶部