云帆VR元宇宙创新中心：基于增强情境的交互在沉浸式虚拟现实环境中的作用

虚拟现实技术最早出现在20世纪60年代，由于硬件和软件技术的限制，早期的VR技术由大型VR设备生成的简单图形构成的虚拟空间组成。VR的早期形式是通过鼠标和键盘提供交互并在2D显示器上呈现出虚拟环境。因此，用户在这种环境中的沉浸感总是低于现实世界。

计算机技术的进步确保了HMD设备的发展，并可以为用户提供一种高度沉浸于虚拟环境中的体验，因为当他们把显示器戴在头上时，会有一种身处真实世界的感觉。各种传感器技术和信息处理技术的发展使得VR环境中的互动更加多样化，比可能发生在现实世界中的更自然和多样化。作为虚拟现实行业第一批创业者，云帆VR元宇宙创新中心的专家们就增强情境的交互在沉浸式虚拟现实环境中的作用展开深入研究。研究发现虚拟现实使用户可以通过专门的显示屏幕或投影仪和其他设备，如头戴显示器(HMDs)与这个空间以及空间中描述的任何物体进行交互。

虚拟现实(VR)是指利用软件生成真实的图像、声音和其他感觉来复制真实环境或创造虚拟场景，并模拟用户在该环境中的物理存在的计算机技术。信息通信技术(ICT)和相关基础设施的进步实现了VR系统的快速发展，如窗口系统，镜像系统，车载系统，沉浸式VR系统和增强现实系统。在这些系统中，基于HMD的沉浸式VR系统最近获得了大量的关注，因为HMD可以潜在的作为一个使用智能手机就能实现的内容平台。随着计算技术的进步，HMD设备已经有了显著的发展，给VR环境产生了更具沉浸感的特性。

1、  功能可见性设计

由于用户与计算机在如HMD产生的沉浸式VR环境中互动时，所有的外部视觉都被阻挡了，通过以用户为导向的自然交互功能可见性是很重要的。在一些沉浸式VR环境中，用户无法与他们在真实世界中习惯的东西进行交互，因为这些环境中的互动只能通过VR环境中赋予的感官进行，而不是像现实世界中那样通过开放的视觉和触摸进行。因此，为了解决这一问题，提出了一种利用手势、视觉和声音实现虚拟环境中的有效交互的基于内容情境的交互方法。

2、  增强情境

在工作中，作者会根据故事和周围的环境提出自适应情境，如使用手势，视觉和声音。这指的是为用户提供与情境相关的超出了人们在现实世界中所能体验到的不同的增强信息。增强信息被用来加强在基于HMD的沉浸式VR环境中的自然交互。这项研究将复制现实世界的界面与基于增强情境的界面进行比较，从而验证增强情境的效果。

3、可用性与用户体验的对比分析

3.1 参与者

30名男性和女性(年龄23-38岁，平均29岁)参加了两种不同VR界面的评估。他们被分成两组，每组15人：A组参加更接近真实世界的界面环境，B组参加基于增强情境的界面环境。每个参与者花20到30分钟完成一份问卷，熟悉虚拟界面。首先，进行了一个初步的调查，以确定是否有参与者体验过基于HMD的VR内容。30名参与者中有10人表示有HMD的经验，其中三人也表示他们经常性地使用HMD。相反, 剩下的参与者回答说他们以前从未使用过HMD。大多数有HMD经验的参与者表示，他们只体验了简单虚拟环境中的视觉效果。只有一名参与者与虚拟对象有过交互的经验。为了增强参与者在HMD VR空间新界面和新互动的适应能力，在实际测试前让他们进行了10分钟的练习。

3.2测试内容

在测试场景中，参与者必须做一个抚摸孩子的头的手势来安抚一个迷路了在街上哭的孩子。参与者必须去做捡起掉在地上的玩具，并交给孩子。对于A组，做抚摸手势、捡起玩具并把它递过去是随着孩子的呜咽声音进行的。对于使用基于增强情境的虚拟环境的B组，则使用音频叙述解释了为什么孩子在哭，并在参与者抚摸孩子的时候，添加了一个背景颜色从蓝色变成暖粉色的视觉效果，以及在孩子安慰后，添加了一个表达神奇时刻的声音效果。这些效果和故事都是增强信息，用来帮助用户获得一个基于内容的故事和情境的增强经验，而这些是在真实世界中没有体验到的。使用专业软件创造了一个用于测试的三维数字女孩。数字角色通过用户在沉浸式虚拟环境中的手势交互做出回应。

3.3技术描述

为了开发这个测试，这项研究使用了一个基于图像的手势界面。提出的交互需要使用用户的手势识别技术，并使用某传感器。使用摄像头拍摄的图像由于被转换成点的形式而被识别出来，它通过识别用户的腰、肩、肘、腕的位置，从而保持对手的位置的记录，并从背景图像中分离出最接近用户的图像，然后送入摄像机以跟踪运动。为了识别这项研究中提出的手势，作者使用手的垂直，水平，左，右与旋转运动以及3D深度距离值等信息记录交互。另外，使用某SDK来识别手势，以及驱动程序来跟踪手。

3.4 测试结果

为了定量评估经历两种不同交互界面的A组和B组参与者的体验，对内容体验的总体时间、手势的准确性和手势表现的时间长度分别进行观察。对内容体验进行计时，以评估每个参与者在给定的虚拟现实环境中沉浸的程度。观察手势的准确性和手势的时间以便评估增强信息对用户交互效率的影响。手势准确度的评估包括了用户在抚摸走失儿童头部时手的位置和在捡起掉落的玩具时手的位置，以及进行交互所花费的时间。此外，为了对交互定性评估，被参与者要求完成一份问卷。调查问卷的问题包括他们对内容的满意程度以及他们是否沉浸在内容中。

测试结果表明，基于增强情境的手势交互伴随着丰富的信息，提高了VR环境的共鸣、效率和情感效应。与复制现有世界的现有交互相比，这项研究的结果利用更丰富的增强信息实现更有效的交互。这也将有助于HMD的VR内容交互的设计。

云帆VR元宇宙创新中心前身云帆VR数字孪生研发中心，成立于2016年8月，致力于3D可视化数字科技探索，3D互联网、AR&VR互联网的市场应用。吸引、集聚、整合全球相关资源和优势力量，推进以数字科技为核心的全面创新，以人类愿景为驱动力，开展应用科学和创新性技术研究。

云帆VR元宇宙创新中心，计划在以下范畴拓展对数字世界的应用研究：

1：三维计算应用：AR、VR、数字孪生、3D可视化、三维全息、智慧园区、虚拟仿真、BIM可视化、智慧楼宇、智慧交通、智慧水务、智慧城市、AR商城、VR商城、3D商城、线上云展、VR看房。

2：三维云应用：5G云计算、轻量化云计算、多媒体云传输、GPU云渲染集群。

云帆VR元宇宙创新中心，旨在整合计算机科学和三维、图形图像计算等相关领域，面向实际行业场景和未来世界的前沿研究。建立产研合作平台，促进大众科技创新应用，打造产业、研究中心深度融合的生态圈。云帆VR数字孪生研发中心秉承“所见即所得”为使命，专注未来数字世界的三维科学研究，为全球数字科技和数字经济的进步，添砖加瓦。