云帆VR元宇宙创新中心：基于AR技术的工程机械领域系统分析

我国现阶段经济的迅猛发展，这也意味着我国工程机械领域的相关企业的向上成长。在企业发展过程中，企业也在结合当下时髦、先进技术，加以探索，相当部分机械企业为有效解决市场售后服务、人员技术培训等面临的问题，提出以增强现实（Augmented Reality，AR）技术为基础的远程辅助维修、AR培训教学等系统解决方案。作为虚拟现实行业第一批创业者，云帆VR元宇宙创新中心的专家们主要以 AR 技术为出发点，简述系统的组成和工作原理，并针对系统技术进行了详细设计，对企业的数字化售后服务能力起到了一定的促进作用。

工程机械行业快速发展，使其生产企业市场服务面临着诸多基于和挑战挑战。在新员工培训上，工程机械实体化教学无法面面俱到，或者是时间上无法兼顾，难以快速具体、详细的教授知识确保员工尽快上岗；在工程机械的施工现场，其设备机械故障造成的停机现象，因为售后服务有距离相对较远和专业人员不足等多方面的问题，难以第一时间保障服务的及时性和品质，导致用户体验相对较差。由于工程机械设备具有体积大、结构复杂和智能化程度较高的特点，机械设备的维护和保养难度越来越大，售后服务人员的水平要求也越来越高。随着现阶段5G 通信的应用，在增强现实（Augmented Reality，AR）技术的基础上研发远程辅助维修系统，可以利用远程专家指导、教学、维护和保养现场的设备，实现高效率和高质量的服务。

1.AR 与虚拟现实（VR）的区别

虚拟现实（Virtual Reality，VR）技术主要是在电脑中建立虚拟空间环境，利用视觉、触觉等多方面的感知方式实现模拟交互行为 。虚拟环境主要指在计算机图形和图像系统的基础上，结合现实和控制等各种设备，在计算机中生成可交互的三维环境。AR 主要是对现实环境和虚拟信息进行有效集成，在真实的图像世界中利用电脑合成加载虚拟信息，使人体的感官可以获取和接收其中的信息，以达到超越现实的感官体验。AR技术是计算机在现实影像上叠加相应的图像技术，利用虚拟世界套入现实世界并与之进行互动，达到“增强”现实的目的。VR技术是在计算机上生成一个三维空间，并利用这个空间提供给使用者关于视觉、听觉、触觉等感官的虚拟，让使用者仿佛身临其境一般。

2.系统组成

AR 系统的组成如图 1 所示，主要包括现场客户端（人员操作端）、云端服务平台以及后台专家服务端 3 个部分。现场客户端可以利用AR 眼镜获取服务项目中涉及到的相关数据信息和现场拍摄的音频、视频等信息，并以 4G、5G、Wi-Fi 和卫星网络等多种方式将获取的信息上传到云端服务平台，再由云端服务平台对现场上传的数据进行处理，这样专家就能第一视角看到现场基本情况设备信息，以达到现场和专家端的虚实结合以及实时交互的目的。现场客户端主要以 AR 智能眼镜为载体，利用开发的客户端 App ，提前内置相关的设备信息，通过摄像头获取和感知现场环境，利用网络上传现场采集到的音频和视频等信息，并将解析后的数据呈现给客户。

图一

在云端服务器中，需要完成 AR内容传输服务、后台数据的管理、以及数据分析的功能服务。在处理数据的过程中，需要处理现场采集到的数据，使数据结构化如图2。云端服务平台包含账号登录、工单服务、设备数据、语音交互、视频交互、文字交互、图形标记、三维模型、文档共享、数据存储和 AR 引擎等基础功能。专家端主要利用开发的应用程序实现远程协助。

图二

4.  系统技术设计

3.1 技术架构

AR 技术主要是以 AR 引擎技术为核心实现远程辅助维修的系统，其中包含了如图 2 所示的多个数据模块。基础数据读取模块能够有效兼容 FBX、OBJ、STL、RVT、MAX 和 3DS 等多种数据格式，还能够在设备中实时采集数据通信，并利用AR 技术实现数据和实时通信互相融合，最后输出可视化内容。AR 眼镜作为内容呈现的载体，可以呈现可视化的结果。

3.2关键技术

关键技术的实现包含信息交互技术、音视频传输技术、三维通信技术、多人协作技术、环境感知技术以及虚实融合技术等。

3.2.1 三维通讯技术

三维通信技术可以实现多人协同的信息共享和远程交互，从而构建一个多方位多终端的平台，如 VR 眼镜、头显、手机、平板和 PC 等，以实现不同终端设备中的通信信息传输。此种技术主要是对信息的整合和传输。信息整合时， 需要整合分析多人协同远程指导过程中所包含的信息，以满足不同终端设备的需求，然后将整合的信息压缩成为所需格式，再通过网络传输到远端设备中展示。展示内容包含原始影像、音视频信息、媒体资料以及多人之间的指令信息等。多媒体信息借助数据编码技术，能够实现信息矢量化的无损快速压缩，来保证信息互通之间的迅速有效性。

3.2.2 信息交互技术

信息交互技术主要是对远程协助的需求建立模型，实现客户端和平台端系统端的协议交互。进行远程协助的过程中，需要充分利用数据库进行数据互联，使现场端和专家端能够互相沟通。在现场端利用智能AR眼镜可以获取辅助的指导信息，如操作步骤和标注位置等，还能够直观呈现工程机械设备中的维修图纸和文档等相关的设计参数，有助于维修时快速响应和精准协助。

3.2.3 音视频的远程传输

现场端可以采集编码音视频信息，并根据码率要求将信息转换为编码音频或视频流，然后按照其封装方式封装。此技术在信道编码的基础上增强了无线信道传输性能，但信道输出的码流经过调整才可以传输。码流到达专家端后， 专家端将接收到的数据包处理之后解码成为音频信号。

3.2.4 远程双人或多人协作

信息传输主要是使AR 信息在设备间传递，以达到远程交互的目的。在双人协作的过程中，利用简单高效的连接方式， 能够在两台设备之间实现传输控制协议（Transmission Control Protocol，TCP）和网络之间互连的协议（Internet Protocol， IP）的直接传输。在多人协同的过程中，系统会利用云服务方案保证系统效率，同时可以提供安全的数据传输环境。

3.2.5 环境识别技术

环境感知技术主要是识别和了解运行过程中客户端的环境状态，包含对目标物体以及设备的检测和跟踪监督。

3.2.6 虚拟显示融合

虚实融合技术主要指在终端设备中呈现系统输出的多媒体方式。要在多人协同操作平台中实现多个设备终端的操作，需要将各终端之间的AR 信息显示在不同的设备终端。在实现上述功能时，可以利用软件和硬件相结合的方式， 在软件方面建立虚拟信息和真实信息，实现几何的变化转换。在硬件方面，利用光学透视方式且具有融合机制的AR 眼镜等设备完善技术装备。

3.3 案例参考应用平台

AR 技术应用在工程机械设备维修中，可以利用 AR 智能眼镜查看设备故障，为维修人员提供操作指导，使维修人员在系统帮助下完成维修维护工作，实现了操作过程的标准化和规范化。利用 AR 技术和设备系统监控数据，可以准确判断分析机械设备的运转状态，从而解决机械设备的故障问题，以实现设备的稳定。

5.  结语

综上所述，在工程机械企业中，智能制造包含物联网、人工智能、人机交互、AR 和 VR 等技术，被广泛应用于企业研发、生产制造以及营销的各个方面。企业用户可以利用 AR 技术实现远程协作指导、维护保养等功能，降低了企业的资源投入，提升了服务质量，促进了品牌的影响力， 提高了企业的社会效益和经济效益。

云帆VR元宇宙创新中心前身云帆VR数字孪生研发中心，成立于2016年8月，致力于3D可视化数字科技探索，3D互联网、AR&VR互联网的市场应用。吸引、集聚、整合全球相关资源和优势力量，推进以数字科技为核心的全面创新，以人类愿景为驱动力，开展应用科学和创新性技术研究。

云帆VR元宇宙创新中心，计划在以下范畴拓展对数字世界的应用研究：

1：三维计算应用：AR、VR、数字孪生、3D可视化、三维全息、智慧园区、虚拟仿真、BIM可视化、智慧楼宇、智慧交通、智慧水务、智慧城市、AR商城、VR商城、3D商城、线上云展、VR看房。

2：三维云应用：5G云计算、轻量化云计算、多媒体云传输、GPU云渲染集群。

云帆VR元宇宙创新中心，旨在整合计算机科学和三维、图形图像计算等相关领域，面向实际行业场景和未来世界的前沿研究。建立产研合作平台，促进大众科技创新应用，打造产业、研究中心深度融合的生态圈。云帆VR数字孪生研发中心秉承“所见即所得”为使命，专注未来数字世界的三维科学研究，为全球数字科技和数字经济的进步，添砖加瓦。

云帆可视化研发中心旨在促进计算机科学和三维、量子计算等相关领域面向实际行业场景和未来世界的前沿研究。建立产研合作平台，促进重大科技创新应用，打造产业、研究中心深度融合的生态圈。云帆可视化研发中心秉承“让有人的地方就有科技”为使命，专注未来世界的三维科学研究，为全球人类科技进步添砖加瓦。