云帆VR元宇宙创新中心：车联网的移动边缘智能与计算

车联网(Internet of Vehicles，IoV)是一种新兴范式，由车辆通信和网络的最新发展推动（图1）。汽车的性能和智能正在迅速增强，将有可能支持大量令人兴奋的新应用，集成全自动驾驶汽车、物联网(Internet of Things，IoT)和环境。这些趋势将带来智能车联网时代，同时，这将严重依赖于通信、计算和数据分析技术。对于智能车产生的海量数据，由于资源/功率的限制和通信开销/延迟的限制，车载处理和云计算是不够的。作为虚拟现实行业第一批创业者，云帆VR元宇宙创新中心的专家们通过在无线网络边缘(如无线接入点)部署存储和计算资源，包括边缘缓存、边缘计算和边缘人工智能的边缘信息系统(Edge Information System，EIS)将在未来的智能车联网中发挥关键作用。EIS不仅将提供低延迟的内容交付和计算服务，而且还将提供本地化的数据采集、聚合和处理。

图1车联网的一些概念图

1.  引言

一个多世纪以来，汽车工业一直是主要的经济部门之一，其经济和社会影响不断扩大。信息和通信技术被认为是革新车辆网络的有前途的工具。车联网将具备通信、处理、存储和学习能力。特别是，有了车联网，车辆将能够利用云存储和计算等资源。除了车辆行驶和安全外，车联网还将为城市交通管理、车辆保险、道路基础设施建设和维修、物流运输等提供便利。作为物联网的特殊情况，车联网需要与智能城市等其他系统进行集成。

由于嵌入式系统、导航、传感器、数据采集和传播以及大数据分析等方面的最新进展，我们正见证着汽车的日益智能化。它始于辅助驾驶技术，即高级驾驶员辅助系统(advanced driver assistance systems，ADAS)，包括紧急制动、倒车摄像头、自适应巡航控制和自动停车系统。在全球范围内，ADAS系统的数量从2014年的9000万台增长到2016年的约1.4亿台，在短短两年的时间里增长了50%。根据国际汽车工程师学会(Society of Automotive Engineers International，SAE)对自动驾驶汽车的定义，上述系统主要属于自动化的1级和2级。特斯拉的自动驾驶系统也属于该类。2018年的奥迪A8是第一辆已投产的3级自动驾驶汽车。预测各不相同，但许多人预测，4级和5级自动驾驶汽车将在10年内上市。

即将到来的智能车联网将需要各个领域的支持，包括汽车、交通、无线通信、网络、安全和机器人，以及监管机构和政策制定者。本文将从信息和通信技术的角度对智能车进行研究。特别是，在无线网络边缘(如无线电接入点)集成存储、通信、计算和数据分析，为解决智能车联网的数据采集、聚合和处理挑战提供一个有效的框架。接下来，阐述智能车联网面临的大数据挑战及其激发的对边缘信息系统EIS的需求。

1.1智能车联网中的大数据

信息技术的进步，包括通信、传感、数据处理和控制，正在将交通系统从传统的技术驱动系统转变为更强大的数据驱动的智能交通系统。这种流行的运动将产生大量的数据。在过去的20年里，无线行业一直在努力应对智能手机带来的移动数据爆炸。然而，与智能车预计将产生的海量数据相比，这样的竞争将会相形见绌。智能车辆配备了多个摄像头和传感器，包括雷达、激光雷达(light detection and ranging，LiDAR)传感器、声纳和全球导航卫星系统(global navigation satellite systems，GNSS)。预计未来单辆车将有超过200个传感器，传感器总带宽将达到3Gb/s(1.4TB/h)至40Gb/s(19TB/h)。据英特尔估计，每辆自动驾驶汽车每天将产生大约4000GB的数据，相当于近3000人的移动数据。假设全球只有100万辆自动驾驶汽车，那么自动驾驶就相当于30亿人的数据。英特尔首席执行官布莱恩•科再奇(Brian Krzanich)表示：“数据是自动驾驶未来的新石油”。

智能车联网产生的大数据将给通信、存储和计算基础设施带来前所未有的压力。虽然车载计算和存储能力正在迅速增长，但与存储和处理的数据规模相比，它们仍然有限。例如，NVIDIA的自动驾驶学习数据采集系统采用了固态硬盘(solid-state drive，SSD)作为外部存储器，最多可存储数TB的数据，在数小时内就可以被感知数据填满。此外，处理这些数据所需的计算很容易耗尽车载计算资源。配备10个高分辨率摄像头的汽车可以产生2Gpixels/s的数据。通过多个深度神经网络(deep neural networks，DNNs)处理这么多数据，可转换为大约每秒250万亿次操作(TOPS)。与此同时，为了实现比最佳人类驾驶员在100~150ms内采取行动的更高的安全性，自动驾驶系统必须能够在100ms的延迟内处理实时交通状况，这需要大量的计算能力。图形处理单元(graphics processing units,GPU)等耗电量大的加速器可以提供低延迟计算，但它们的高功耗，进一步被满足热约束的冷却负载放大，会显著降低车辆的行驶里程和燃油效率。

关于使用云计算来帮助智能车辆的建议有很多，其中一些已经实现了，比如基于云的软件更新或训练强大的深度学习模型。云计算平台当然是车联网的重要支持者，但它们还不够。成本和功耗是车载计算的主要限制因素，而长延时和海量数据传输是云处理的瓶颈。从移动客户端到云中心的往返时间可能很容易超过100ms。而且这种延迟很大程度上取决于无线信道条件、网络带宽和流量拥塞，无法保证实时处理和可靠性。如所示，考虑到延迟需求，如果要卸载辅助驾驶系统的语音识别任务，服务器必须位于附近的基站(base station,BS)，即无线网络的边缘。这与最近将计算资源部署在无线网络边缘的趋势是一致的。

1.2边缘资源部署

为了克服车载计算、通信、存储和能量的限制，同时避免云计算的过度延迟，在无线网络边缘部署资源受到了学术界和业界的广泛关注。在移动数据流量中占据主导地位的视频文件等热门内容，很可能会被不同的用户反复请求，这种请求是可以预测的。因此，在无线网络边缘部署存储单元并缓存流行内容，即无线边缘缓存，是一种很有前途的高效内容交付解决方案。同时，人工智能(artificial intelligence，AI)的复兴和智能移动应用的出现，需要能够支持计算密集型和延迟敏感的移动计算的平台。移动边缘计算(mobile edge computing，MEC)是一种新兴技术，它有潜力将电信与云计算结合起来，直接从网络边缘提供云服务，并支持关键延迟的移动应用。这是通过将计算机服务器放置在BSs或无线电接入点来实现的。边缘缓存和计算平台进一步实现了边缘AI，它在边缘服务器和移动设备上训练和部署强大的机器学习模型，并被视为物联网的关键支持技术。边缘AI正在改变半导体产业的格局。2018年，边缘AI的出货量收入达到13亿美元，到2023年，这一数字预计将达到230亿美元。在本文中，这些平台统称为EIS。

EIS非常适合智能车联网。它能够辅助智能车辆的关键功能，从数据采集(用于态势和环境感知)，数据处理(用于导航和路径规划)，到驱动(机动控制)，如图2所示。在网络边缘处理数据可以节省大量的通信带宽，也可以满足对关键任务的低延迟要求。车联网的内容通常具有较高的空间局部性，如路况和地图信息主要用于局部，而时间局部性，如上午的交通状况与晚上的关系不大。此外，车辆只对内容本身感兴趣，而不是其来源。这些关键特性使得IoV的缓存辅助内容中心传播和交付非常有效。另一方面，智能车辆由于具有大的传感数据，面临着巨大的计算负担。例如，计算能力仍然是阻碍车辆从高分辨率摄像机带来的高系统精度中获益的瓶颈。其中，功能强大的卷积神经网络(CNN)中用于视觉感知的卷积任务和用于视觉定位的特征提取任务是高度复杂的。将这些计算密集型任务转移到邻近的MEC服务器，将使强大的机器学习方法能够协助智能车辆的关键任务。

智能车联网需要利用不同的信息处理平台

1.  车载处理用于高延迟敏感的任务，如车辆控制的实时决策，并对传感数据进行预处理，以减少通信带宽。

2.  2.边缘服务器适用于定位、地图绘制等对延迟敏感、计算量大的任务，也适用于聚集和存储地区高清地图等本地信息。

3.  3.云计算是为了用大量的数据集训练强大的深度学习模型，作为广域信息的非实时聚合器，并存储有价值的历史数据以供持续学习。EIS将在智能车信息基础设施中发挥重要而独特的作用。通过全面、深入地引入智能车车载EIS有望填补这一空白。

图2 EIS支持的智能车联网

2.车联网的边缘信息系统

2.1边缘信息系统

EIS帮助智能车辆获取、聚合和处理数据。在车联网中，它充当车载处理器和远程云数据中心之间的中介平台。如图2所示，EIS主要包括以下几个部分。（1）边缘服务器：部署在BSs或路边单元（roadside units，RSUs）的计算机服务器，配备存储单元(如SSD)和计算单元，如GPU或边缘张量处理单元(TPU)。（2）车辆：智能车辆配备各种传感器、通信模块和具有计算和存储能力的车载单元，智能汽车是强大节点。（3）用户设备：用户设备种类繁多，如乘客智能手机、可穿戴设备等。（4）V2X通信：通信模块是EIS的重要组成部分。

后续本文根据车辆的角色考虑两种不同的场景，车辆作为客户端(VaaC)和车辆作为服务器(VaaS)。（1）VaaC：首先，车辆可以作为客户端访问RSUs或BSs的边缘资源。其关键思想是将数据采集和处理并行进行。边缘服务器充当数据采集的锚节点，然后为本地应用程序处理数据。例如，他们可以从经过的车辆中收集地图数据，建立和更新高清地图，并可以主动监测当地的道路状况和交通状况。这些应用与车联网高度相关。（2）VaaS：车辆还可以作为车辆乘客、第三方接受者和其他车辆的移动服务提供商，提高用户体验，如通过驾驶员身份识别实现个性化驾驶体验，以及丰富的信息娱乐应用。与基于边缘服务器的方法相比，VaaS的移动性更小。此外，它还允许相邻车辆之间的协作，如协作感知、协作驾驶等。

2.2智能汽车的关键任务

智能车辆的基础是对环境的理解能力。不同的车载传感器用于不同的感知任务，如目标检测/跟踪、交通标志检测/分类、车道检测等。也利用了先验知识，如先验地图。基于传感数据和感知输出，应用定位和映射算法计算车辆的全局和局部位置，绘制环境地图。这些任务的结果然后用于其他功能，包括决策、计划和车辆控制，如图3所示。这里，重点关注感知、高清地图、同步定位与建图（simultaneous localization and mapping，SLAM）作为智能车辆的主要任务，如表1所示。图3智能车辆的关键任务，以及它们如何在自动驾驶中协同行动

（1）  感知

有各种各样的车载传感器，具有不同的特点，服务于不同的感知任务。每种传感器都有其局限性。与主动传感器(如激光雷达和雷达)相比，相机和立体视觉在计算上是昂贵的，而激光雷达和雷达在分类和非常近(<2m);而声纳的角度分辨率很差。智能汽车的感知面临一些主要挑战，如恶劣天气和光照条件下的感知，或复杂的城市环境下的感知，以及有限的感知范围。通过利用不同传感器的传感数据，可以利用传感器融合等技术来弥补单个传感器的不足。然而，这将显著增加机载计算。通过提供额外的近似计算和存储资源，EIS能够提高感知能力。它可以帮助提高相机和立体视觉的传感精度，例如，通过强大的深度学习技术，并通过将计算密集型子任务转移到边缘服务器，实现复杂的多传感器融合。此外，协同感知通过共享板载感知能力和计算能力，以V2V和V2I通信为辅助，并通过边缘服务器进行协调，可显著提高感知鲁棒性和准确性，扩展感知范围。

表1智能汽车的关键任务

（2）  高清地图

地图是任何移动机器人应用的基础，它对自动驾驶尤为重要。高清地图模拟路面的精度为10-20cm。它包含道路所有关键方面的三维表示，例如，坡度和曲率，车道标记类型和路边物体。高清地图定位可以达到厘米级的精度。它利用车载传感器，将车辆感知的环境与相应的高清地图进行比较。这可以克服基于GNSS的方法(如GPS)定位精度低、可用性变化等局限性。预计，基于高清地图的本地化将成为4级和5级自动驾驶系统的通用方法。在制作高清地图方面，业界已经做出了很大的努力。然而，在实际执行方面存在困难。制作高清地图非常耗时。为生成高清地图，需要配备专门映射移动映射系统(mobile mapping system，MMS)的车辆，整个过程包括三个步骤：数据采集用于获取测绘数据，数据积累用于积累测绘车辆采集的特征，数据确认用于手动细化和确认地图。而且高清地图是动态的，需要及时更新的变化。一些高清地图供应商与汽车制造商合作，从智能汽车上获取最新的地图数据，但这将大大增加车辆的车载处理负担。

（3）  同步定位与建图

基于地图的定位对于在不经常变化的道路上行驶是有效的。然而，如果发生剧烈的变化，准确性的损失可能会影响驾驶安全。SLAM包括同时估计车辆状态和构建环境地图。它不依赖于先验信息，允许车辆持续观察环境，并容易适应新的情况。为了实现完全自主，智能车辆必须能够在其所处的环境中进行准确的SLAM。SLAM被认为是自动驾驶的关键实现技术，2007年DARPA城市挑战赛的车辆已经使用了基于SLAM的方法。虽然已经开发了许多SLAM算法，但它们主要是针对室内、高度结构化的环境。自动驾驶汽车需要在户外、光线多变的道路环境中运行，因此需要更快、更有效的算法。特别是，SLAM对自动驾驶的计算需求将是高度密集的；1小时的驱动时间可以生成1tb的数据，而利用高计算能力对1Tb的收集数据进行解释需要2天的时间才能得到可用的导航数据。此外，对于实时执行，延迟必须低于10ms，这给车载计算带来了很大压力。

虽然基于云的SLAM算法已经被提出以减轻车辆的计算负担，但其传播延迟无法满足实时性的执行要求。边缘计算平台可以解决这一难题，它可以帮助处理部分计算密集型子例程。多车SLAM，车辆间的合作也有助于提高SLAM的性能。

云帆VR元宇宙创新中心前身云帆VR数字孪生研发中心，成立于2016年8月，致力于3D可视化数字科技探索，3D互联网、AR&VR互联网的市场应用。吸引、集聚、整合全球相关资源和优势力量，推进以数字科技为核心的全面创新，以人类愿景为驱动力，开展应用科学和创新性技术研究。

云帆VR元宇宙创新中心，计划在以下范畴拓展对数字世界的应用研究：

1：三维计算应用：AR、VR、数字孪生、3D可视化、三维全息、智慧园区、虚拟仿真、BIM可视化、智慧楼宇、智慧交通、智慧水务、智慧城市、AR商城、VR商城、3D商城、线上云展、VR看房。

2：三维云应用：5G云计算、轻量化云计算、多媒体云传输、GPU云渲染集群。

云帆VR元宇宙创新中心，旨在整合计算机科学和三维、图形图像计算等相关领域，面向实际行业场景和未来世界的前沿研究。建立产研合作平台，促进大众科技创新应用，打造产业、研究中心深度融合的生态圈。云帆VR数字孪生研发中心秉承“所见即所得”为使命，专注未来数字世界的三维科学研究，为全球数字科技和数字经济的进步，添砖加瓦。