Vector(Vector)为汽车及相关产业的OEM及供应商,提供专业的开放式开发平台。Vector提供的CANoe、CANape工具,可助力ADAS数据系统迎接不同传感器同步传输、数据延时预估、数据可视化等诸多挑战。
Vector汽车技术(上海)有限公司商业开发经理周云鹏以《Vector 助力ADAS试验与测试》为主题展开演讲,以下是演讲内容整理:
Vector 助力ADAS试验与测试
Vector汽车技术(上海)有限公司商业开发经理周云鹏
本次分享的技术是Vector对于L3自动驾驶记录系统的理解和认识,将从以下五方面来进行:
第一,明确L3自动驾驶系统的定义。第二,L3自动驾驶对于记录的需求。第三,Vector针对于ADAS数据记录系统的解决方案。第四,数据记录完毕之后,怎样做数据物流。第五,如何利用所记录数据。
L3自动驾驶系统的定义
现阶段,L3 ADAS域控的硬件部分基本上是由微控制器、微处理器组成,对应的软件架构是Classic AUTOSAR与Adaptive AUTOSAR。由于图像处理与传感器融合需要大量计算,因此对SoC提出了非常高的算力需求。在域控运行期间会产生较大功耗,一般情况下采用水冷散热的模式。在开发调试阶段,域控制器的对外接口可能包含XCP标定协议、SOME/IP、DDS等,根据不同的需求,其中释放的数据可能包含视频、激光雷达点云、Debug信号等,通信方式可能包括CAN,LIN总线或者以太网、万兆网,也有用PCle的,以上是我从数据采集角度对ADAS域控制器的认识和理解。
传感器端,比如相机的图像数据有可能会在5-10路,甚至超过10路,L2级别的像素可能是两百万、三百万,L3级别则会提升至800万。它的数据接口包括GMSL/FPD LINK, ISP图像处理芯片一般是放到域控当中。部分摄像头可能通过GPIO同步曝光。对于毫米波雷达,L3自动驾驶会配置前雷达、角雷达,甚至高级别的4D雷达,雷达提供点云、目标信息等数据,主要使用CAN或以太网接口;还有激光雷达,也是用以太网提供原始的点云信息;最后是超声波雷达,一般使用DSI3这种总线协议,还有一些使用LIN的协议。
L3的ADAS系统还会配置一个真值系统,可能采用激光雷达、相机、毫米波雷达结合的方式去提供真值信息,其提供的数据测量接口通常是以太网接口,有自己的时间域,并通过PTP去做数据同步。以上是我从ADAS记录角度对L3的系统架构认识。
L3自动驾驶数据记录系统对于记录的需求
L3系统对于数据记录有什么要求?首先是同步性,同时,记录系统需要适配不同车型、不同传感器的数量、记录各种接口的数据。第二是足够的数据吞吐量,由于L3系统会适配很多传感器和ECU,内置CAN总线、LIN总线、以太网等多种接口,对应不同的数据协议,总的数据带宽可能达到甚至超过1GByte/s。第三是满足交互的可视化需求,在整车测试阶段,测试人员需要通过可视化窗口,确认数据的准确性和功能是否可触发。最后是数据物流的安全性,数据在上传数据中心之前必须要做脱敏,可能会和云提供商或者图商做一些合作。
接下来是各个传感器对于数据记录的不同需求。
首先是摄像头传感器,需要记录原始的图像,一种采集方式是记录系统需要串在摄像头和域控制器之间,将数据记录下来。另外一种是域控接收摄像头的视频后,再通过LVDS接口输出,记录系统需要直接连接域控的LVDS接口记录视频。同时,由于记录的数据量较大,有时必须考虑到数据的无损压缩。对于视频带宽,可以通过相机的分辨率、图像输出格式、帧率计算得出,以此评估记录系统要满足多大的带宽吞吐量。
基本上,八百万像素的相机一秒钟需要超过300M的字节数据量,而一辆自动驾驶汽车有可能会安装超过5个或者超过10个相机,总的数据带宽会非常庞大。
Vector 助力ADAS试验与测试
图片来源:Vector
另一种情况下,摄像头的数据在经过域控制器处理之后,采用SOME/IP或者DDS等协议,通过以太网、PCIe等方式输出。Vector针对这种数据会做一个记录模块,这其中会考虑客户的需求,进行数据的同步和可视化处理。
对于毫米波雷达而言, 原始数据更有助于调试corner case,这些原始数据包括来自天线的ADC数据、傅里叶变换后的FFT数据、XCP数据等等。这里要注意的一点是,如果雷达安装位置发生改变,整体的测试要不要重新做,比如重新采集一些场景信息,需要OEM和Tier1仔细考虑。针对国际芯片厂商的雷达芯片,如Infineon,NXP,TI等,Vector的VX1000硬件支持用来采集雷达原始的ADC数据、XCP数据。对于国内的芯片厂商,如加特兰,Vector的VX1000也同样支持采集雷达原始数据。
激光雷达对于记录系统来说较简单。因为激光雷达参与到域控的数据融合,只需要通过以太网连接到激光雷达和域控回路中,完成数据记录。并确保在硬件没供电的情况下,激光雷达和ECU也是物理连接的。
Vector针对于ADAS数据记录系统的解决方案
首先,Vector的记录系统是硬件可扩展的,针对传感器、控制器的数量增减,可以通过接口卡的通道数增减来适配,如果数据带宽较大,记录仪可以进行级联,Vector的记录平台支持PTP时间同步,可以确保记录仪PTP master和各个接口卡PTP slave都是PTP时间同步的。
再是软件部分,Vector通过CANape进行数据记录。针对每一种传感器可以做单独的记录模块——DHPR recorder。像视频、激光雷达,都是通过DHPR recoder进行记录,这些记录模块都是通过CANape进行调用,记录的数据可以回传给CANape进行显示。有一些用户可能使用DDS传输数据,Vector可以针对DDS开发相应的DHPR recorder模块。
Vector 助力ADAS试验与测试
图片来源:Vector
Vector观察到的一个需求是:部分用户希望可以在线获取数据。比如泊车场景中,用户需要测试泊车功能,需要在线获取泊车的数据,Vector提供 SL-API DLL,用户的应用集成此API,可以在线获取记录仪中的预定义数据,用户通过应用也可以控制记录仪的启动和停止。
以上是测量和记录介绍,接下来是可视化的功能。我们使用的软件是CANape,它提供两类可视化窗口:第一类是场景视图,可以变换BEV,Driver view等不同视角。另一个就是视频窗口。软件所能采集到的数据,比如信号、结构体、目标等信息,CANape都可以将其叠加到场景和视频窗口中显示,对于测试人员来说非常友好。在L3系统稳定运行的情况下,CANape log可以支持脱机模式记录,这种情况可以不需要随车测试人员,记录仪上电后自动开始进行记录。
数据物流
目前我们看到主要有两种数据物流方式,一种方式是将记录盘抽取下来,寄送到公司,然后拷贝至数据中心。还有一种方式就是由用户准备额外的物流硬盘,把硬盘抽取出来插入数据拷贝设备,通过拷贝机把数据拷到物流硬盘中。拷贝之后将硬盘物流到公司,上传到云端或者数据中心。当然,数据物流也可以直接使用云提供商的服务,这样更方便。
目前,国家对于车内数据安全性的要求越来越高,法律法规要求,记录的视频需要去掉个人的隐私信息,尤其对于人脸和车牌都要模糊化处理,Vector针对这一方面研发了AI和机器学习的算法,可以去除隐私信息,比如说模糊化车牌与人脸,或者直接生成随机的车牌信息。
利用记录数据
最后是Vector对于数据该如何使用的思考。Vector视频reHIL的方案:1.硬件:VP75作为硬件处理平台,运行数据回灌软件;VX1161作为视频板卡,缓存VP75发过来的视频,并回灌给ECU。2.同步:VP75作为PTP的master,同步各个视频板卡以及CAN或ETH板卡。3.软件: CANoe负责HIL测试,Stream provider负责视频回灌,CANoe通过CAPL脚本调用stream provider实现视频回灌,其他总线回灌也是通过CANoe CAPL脚本实现。
(以上内容来自Vector汽车技术(上海)有限公司商业开发经理周云鹏于2022年9月15日由盖世汽车主办的2022第五届自动驾驶与人机共驾论坛发表的《Vector 助力ADAS试验与测试》主题演讲。)