ZKX's LAB

瑞萨电子ADAS技术主管应毅辰:R-Car车载ADAS应用

2020-07-27新闻10

7月22日—23日,由盖世汽车主办、上海国际汽车城特别支持的“2020首届软件定义汽车高峰论坛”正式举办。本次论坛主要探讨软件定义汽车领域最新的创新理念、技术趋势、现实挑战等热点话题,共谋行业未来发展之道。下面是瑞萨电子ADAS技术主管应毅辰在本次论坛上的发言:

瑞萨电子ADAS技术主管 应毅辰

各位早上好!我是来自瑞萨电子的应毅辰,这次也是非常感谢盖世汽车能够邀请我们半导体供应商来参加软件定义汽车这样的论坛,今天跟大家介绍一下我们作为半导体供应商怎么样为软件定义汽车这样的一个趋势做更好的支持。

今天的主题还是以ADAS为主,跟大家分享一下我们瑞萨在ADAS方面的一些产品以及相关的信息。如果大家都是在汽车行业的话可能对于瑞萨电子这家公司并不是很陌生,我们是一家总部在日本东京半导体制造和设计的公司,在日本、海外以及中国大陆都有一些工厂,大家可能更对于我们的MCU以及SOC产品比较熟悉,因为在每个车厂都可以找到瑞萨的MCU应用在车机的各个领域。我们公司现在有2万余名的员工,分别在世界各地,包括中国有2个工厂,一个在北京,一个在苏州,在北京、上海、深圳都有相应的分公司。

我们在前两年收购了另外两家公司,我们觉得单单提供ECU来说的话难以满足市场需求,所以我们尽量以解决方案的方向去提供我们的产品,不单单是提供芯片,可能也包括芯片的外围,也联合合作伙伴去给整个供应链提供比较好的生态环境,以方案的环境为客户提供比较好的支持,所以在收购这两家公司之后我们也会有新的产品线,包括PMIC、BMS之类的产品线,为SOC和MCU做更好的支持,我们将之前他们模拟的产品做一个优化,针对我们SOC和MCU的产品进行支持,我们原有的产品也会继续迭代升级,我们整个产品线也是做得比较完善,包括覆盖了各个应用,车身、网关、娱乐等等都可以找到我们瑞萨能够做的芯片。所以说各个领域来说,对于我们的芯片挑战也比较高,以后现在车里面的系统也比较复杂,需要许多的软件跑在我们的芯片之上,我们也有一些其他的辅助器件,对我们的MCU做一个比较好的支持。

包括现在电气化程度比较高的新能源车上也有一定的部署,所以我们也有了BMS的产品,通过模拟前端的芯片,采集电压或者电流的信息,结合我们MCU做一个比较完整的BMS方案。除此之外,我们针对现在比较火热的ADAS场景也有扩充的产品线,包括我们收购的公司会有AHL的解决方案,利用传统的模拟线缆去传输高清视频,同时我们也会跟激光合作伙伴合作,我们结合上一些雷达传感器去搭建雷达的方案,降低现在雷达以及激光的成本。

除此之外我们还有一些像位置传感器去对电机以及档位控制做一个比较好的支持。这边是目前市场环境来看单单一个芯片已经难以满足市场需求了,所以我们致力于以方案的方式提供给客户,打造一个比较可控制的方案,还有比较安全的ADAS方案,以及对环境友好的电动汽车电机的方案,都可以在我们的产品线里面找到比较合适的产品。

瑞萨电子除了汽车之外,还有工业、IoT、基础设施建设相关的产品线也欢迎大家通过我们的官网来查看更多的产品支持。

这次的主题可能就是软件,软件对于我们芯片来说是一个相互依存又相互冲突的一部分,车发展了那么多年,最早来说基本上都是机械为主,许多其系可能都是挂在各个大学机械专业底下的,车发展到至今,机械部分也越来越少,电气化程度也越来越高,这个可能大家已经从许多的ADAS论坛里面看到,它的功能一直在发展,早先ADAS功能只是简单的LKA、LDW,算法也比较简单,它所运行的代码量也比较小,如今整个汽车的一个系统越来越庞大,代码量可能从原来的几万行、几千万行到现在上亿行的代码,整个软件对于汽车的变革也相当巨大,对于我们芯片厂商来说也是一个相当大的挑战,你原来我的一个MCU可能只有2KDMIPS就可以满足上面大部分的应用场景,如今软件供应商的要求可能是需要一颗80KDMIPS的CPU性能以及60T的深度学习算力的芯片,对我们来说是一个巨大的挑战。我们需要平衡软件对于性能功耗和产品的需求,这样才能使我们芯片在车上进行实际的量产,而不只是做一些测试为主,我们的目标还是以ADAS娱乐以外的功能往车的量产方面进行推进,让乘客能够享受到更好的一个体验。如今一个简单的场景可能需要涉及到很多的算法以及功能感知,也需要我们有强大的算力进行支持。

这是我们搭建的平台,它覆盖了ADAS的各个方面,包括V2X网关的应用场景,还有雷达和摄像头传感器的感知场景,以及各个传感器之间融合决策的场景,以及车辆控制方面的场景,都可以从我们相关的MCU,SOC以及模拟器件里面找到相应的覆盖,所以我们也注册了一个品牌,去打造更好的一个完整的ADAS平台。

刚刚也提到了,软件脱离了硬件也没法运行,硬件没有了软件也没法实现相关的功能,所以目前我们瑞萨除了单单提供半导体芯片之外,我们也会基于芯片提供对应的软件驱动以及跟我们的合作伙伴提供操作系统,就像安卓、QNX等等,打造成一个完整的生态体系。

这边可以看到我们一个R-Car联盟,这个联盟里面许多的合作伙伴都是软件方面的,包括有基于我们芯片做过一些中间件,还有一些算法OS中间层的合作伙伴,共同在我们这个平台上面打造一个比较好的生态环境给客户做一个提供。

所以我们的平台就是为客户提供端到端的方案,包括云端服务以及感知算法,感知的平台,以及车辆控制方面一个比较完整的方案。我先介绍一下网关这一块,这里的一大特色就是OTA,你需要通过网关的方式把固件升级到各个车里的ECU上面,现在车里的ECU也正在往集中方向走,所以OTA支撑的需求也越来越强烈。对于硬件来说很重要的需求就是需要一个硬件的加解密,我们的MCU系列都会有硬件的加解密模块,可以把传输升级的软件镜像进行一个校验,把需要的软件通过CAN或者其他以太网的方式传输到车内的各个ECU去实现一个软件的OTA,这样可以快速做一些软件功能的升级和bug的修正。我们的RH850这个硬件也得到了比较广泛的应用,通过和通讯模块结合,打造一个完整的Tbox的方案。

对于感知这一块我们主要就是R-Car SOC的产品线这个产品线覆盖了车内很多应用场景,包括娱乐的我们有拿R-Car D系列做一个仪表的场景,拿我们的R-CarH3/M3去做中控导航的场景,也有拿R-Car产品去做一些大型网关和中央域控制器的场景,还有我们的R-Car V系列去做自动驾驶以及前视感知的场景,所以我们R-Car整个产品延度非常广,可以覆盖到车里的各个应用场景。

这边就是R-Car一个比较完整的产品线,目前量产的是R-Car第三代产品,也是现在主推的,最高端的可能是R-CarH3,它是一颗8 加1核的芯片,里面可以覆盖不同的场景,对于ADAS我们主推R-CarV3系列,这样的芯片内部许多结构都比较接近,包括内部的IP设置,所以对于软件来说它的升级和复用度相对来说比较高。

这是我们的这些产品系列,我们芯片内部的IP搭配也是软硬结合的,这边有很多的IP做相应视觉方面的加速,我们最基础的有ARM核,可以做一些灵活性程度比较高或者是任务调度相关的工作,对于视觉算法可能需要专门的硬件加速,所以我们这边放了许多的加速盒,包括我们有编程计算的CV Engine,可它的对自定义算法做客户定制化的实现,我们也有硬件化程度比较高的IMP核,以及对于ADAS这边是必需品的一个深度学习,我们也会有CNN的IP做硬件方面的加速,同时在V3H里面还会放入3个特殊的IP核,所有的IP结合起来,对于整个芯片做一个比较好的加速。

对于算法来说,虽然算法大家可能觉得它只是一个软件方面的概念,但是对于我们芯片来说不仅仅是一个软件,如何使用我们的硬件IP对算法进行加速也是对我们公司比较大的考验,你可以把芯片造成有很高的灵活性,但是灵活性可能会有功耗和价格上的牺牲,所以如何去平衡这个新能、功耗以及价格方面的因素也是我们瑞萨芯片的一个设计方向。这边可以看到我们把许多固化以及灵活多变的IP结合起来,去平衡芯片里面的各种算力。

这边可以先看一下我们V系列内部的框图,这个芯片上是以ARM A53为主CPU核的芯片,我们芯片里面有很多的IP核,也就是这边IMPX5的部分,这边也包括了CNN部分,包括我们常用的接口,DDR接口,还有我们芯片内置的ISP,这样可以把摄像头的ISP做一个节省。对于软件开发来说比较头疼的就是芯片和芯片之间的兼容性不好,这样每个芯片需要做许多的适配,需要对中间层的做额外的开发,可是对于瑞萨电子来说基本上我们的兼容性做得非常好,是可以完全做到无缝切换的,我们有许多算法已经在V3M上面做了很好的移植,我们上面相应的算法是比较简单的可以移植到V3H上面,它同样也是一个主核为A53的芯片,同时也可以做一些功能安全相关的功能,并且它的内部结构也是几乎一样的,只是做了相关的升级,包括我们把CNN的功能做了提升,把IP核的数量叠加,使得整个算力得到了提升。所以大家用了我们的芯片不用担心到其他芯片之间有很多的移植,其实我们芯片与芯片之间的兼容性相当好,所以在软件开发的时候也会相对来说比较容易一些。

这边也是刚刚提到芯片设计的理念,一个就是可扩展性,还灵活性以及可持续性,大家也可以从这个上面看到我们芯片各种应用场景以及各种级别的都有,从低端到中端、高端的,针对不同场景的都有,可以针对客户不同的应用场景去挑选比较合适的去做支持。我们芯片的灵活性也比较高,集成各种的应用场景,而且我们芯片内部主要的IP和它的架构都是一样的,之后我们的一些新产品也会延用我们旧产品中的一些IP,对它做一些升级修改,再引用在我们的新产品里面,所以不用担心以后我们的新产品需要更多的开发资源投入,这样客户用我们的产品会更加方便一些。

再来看一下这个决策部分,决策部分对于我们芯片的需求更多的就是CPU以及带宽和外设方面的,这一块整个系统会有许多的传感器接入,还有许多摄像头,现在车上面可能会有两路到六路的摄像头接入,你会有许多的毫米波、超声波和传感器接进来,甚至有些车上面已经开始布置激光雷达这样的传感器到我们的芯片里面,这样的多传感器接入对我们芯片CPU要求比较高,以及我们芯片内部带宽囤货要求比较高,所以我们推出了H3的产品,它有许多的强大CPU合在里面,可以提供比较高的支持,帮助客户实现一些路径规划相关的算法在我们的芯片之上,同时它的带宽也比较宽,也有丰富的接口。但是H3这个芯片缺乏一些深度学习的支持,所以如果你们对于这个平台有深度学习的支持,我们建议再搭配一V系列产品,会实现一个比较完整的ADAS平台。

当然我们现在也正在规划新的产品,也就是会把这个CPU芯片加有深度学习比较好支持的芯片结合在一起,推出单芯片的方案,对于之后L3包括L4、L5的平台做更好的芯片支持。这边可以看一下H3大概的内部框图,这是一个8核的ARM芯片,里面有4个A57和4个A53核,它还提供有4个DDR通道,4通道的DDR也可以提供50G的带宽,为ADAS平台提供很好的硬件支持,软件方面也会比较放心地把它的许多算法移植到平台上面,而不用担心性能的不足,同时它的外设接口也比较丰富,包括视频输出和输入等等。

H3之下我们有H3N的芯片,它和H3几乎内部机构都是类似的,只是缺少了两个DDR通道,下面我们还有M3,它缺少了两个大的核,它变成了2个A57的芯片,其他的几乎都是一样的,所以我们的产品线有相当的覆盖性,可以从高端的H3用到M3以及M3N,这边还有H3N、M3和M3N三个芯片都是可以做到Pin 2 Pin兼容的,也就是说你软件有很好的移植性,可以实现多个跨维度的支持,高端、中端和低端的应用场景都可以用我们的芯片做到很好的支持,对于我们软件开发来说有我们的芯片就比较方便一些。

刚才也提到了,ARM核的好处是它的兼容性比较好,因为市面上很多芯片开发都是基于ARM核的,其他场的ARM核算法也可以比较好的移植到我们这个平台之上。这是我之前提到的一个带宽概念,我们H3是具有最高50G的带宽,M3就只有一半的带宽,然后后面的再一半,所以可以针对不同的客户应用场景进行不同的芯片搭配进行支持。

所以我们芯片它一个很大的特色就是它的兼容性很好,我们一般设计会从最高端的H系列进行设计,对它进行一些删剪或者不同应用场景进行修改,会出现我们M、E系列的包括其他应用场景有D系列的,还有针对ADAS专门V系列的,所以我们产品设计之初就考虑到了许多的兼容性,同时我们旧的产品在进行量产之前已经开始做新的产品设计,保证我们的产品迭代。我们现在是第三代产品,第二代产品已经蛮久了,我们现在也正在规划第四代新产品方面的设计。

软件方面的话,当然也是以完全的软件兼容性进行考量,一般性我们都是全系列可以支持的,同一个BSP通过修改选项就可以生成对应的BSP。所以我们整个硬件平台可以应对车里面不同的应用场景都会有比较好的支持。

这边可以来看一下我们R-Car软件和性能方面的情况,基于我们R-Car的半导体芯片之上,会有许多的一个OS支持,包括像QNX、安卓、AGL之类的我们都会有支持,因为我们芯片里面会有Cortex R7,所以上面也是可以运行AUTOSAR,所以我们对于各种软件平台的支持也是比较好的。

深度学习也是ADAS这一块比较重要的部分,因为像大部分的一些机器识别算法都是基于深度学习的,目前大家常用的一些深度学习的开发方式就是基于PC端的,可能我会先有设计好的网络,用GPU进行训练,结合我积累的数据结合在一起,提前训练好,之后可能会有对应网络和参数的生成。至于这一块实际上在往边缘计算芯片上面做移植来说是有比较大难度的,因为一般性来说GPU的结构和SOC芯片架构还是有比较大的差别,我们瑞萨对于这个方面的问题来说会提供一个比较完善的工具链和SDK,方便大家把PC端训练出来的网络和参数,只要通过我们的工具链导入进来,我们的工具链就会对网络进行分析,看一下哪些层可以对内部模块进行加速,哪些模块需要CPU做一些计算或者需要我们内部其他IP进行支撑,最终生成一些我们芯片可以识别和运行的代码,跑在我们这个平台之上。

一般性来说,一个深度学习网络会有许多的支持,这个方面许多的层我们的工具链就可以对它的每一层做一个比较好的分析,包括这个数据是不是容易出问题,以及每一层是不是结果需要一点验证,都可以通过我们的工具链进行比较好的观察。

最后我介绍一下车辆控制方面我们瑞萨相关的产品,车辆控制是相当关键的一部分,因为这一块是安全系数要求最高的,所以我们主要是推出我们符合功能安全ASIL-D系列的产品线,我们之前主要是RH850P系列产品,这是已经量产的,而且已经接受了市场上考验的产品,我们现在推出了新的产品,它也会有内部加解密的模块,就是紫色标注的部分,所以它的整个芯片对于在线升级来说有比较好的支持,我们制革芯片支持FOTA的应用场景,主频是400兆的,所以对于现在集成度比较高的域控制器以及控制部分有一个比较好的MCU方面的支持。

我们RH850这种MCU相关产品它的软件也会有比较好的兼容新,许多原来F和P系列上面的硬件模块和IP设计都会引用到我们这个U系列里,所以原来大家已经很熟悉我们MCU产品的话,用我们的新产品来说也会比较快地上手。

以上就是我今天为大家带来的一些分享,也十分感谢盖世汽车邀请我们来参加本次展会,谢谢!

#理念

随机阅读

qrcode
访问手机版