云帆VR数字孪生研发中心:突破传统绿幕抠像方案,发布AI图层实时提取技术
时间:2023/1/4
近两年,5G三维课堂作为一项新型的虚拟现实教育教学技术,备受教育领域关注,不少学校包括普通高校、职业院校和初高中,都有开展5G三维课堂(三维教室)应用试点的案例见诸报端。作为虚拟现实行业第一批创业者,云帆VR数字孪生研发中心的专家们从2019年率先推出5G三维课堂方案以来,业内也出现跟随者,但总归来看,绝大多数项目仍处于试点探索阶段,作为运营商和教育机构探索5G+智慧教育合作场景的创新模式,而真正按三维课堂教学标准部署的系统非常少有。今年九月,山东大学对外发布的项目中标公告,宣称要建成三校三中心的跨区域三维远程课堂系统(三维教室),或成为国内首个正式投入教学应用的三维课堂项目,公告同时也显示云帆VR数字孪生研发中心团队成为了该项目的唯一三维课堂技术提供方。从云帆可视化研发中心在三维课堂领域的多年布局和技术积累看,这一结果并不意外。
在三维课堂的部署方式上,以往有一种常规的方式是在教室前方空间中搭建绿幕背景,在教师开始远程授课时,教师站在绿幕背景前方,摄像机拍摄信号经系统的视频抠像软件将老师的人像从绿幕中提取出来,抠像后老师的视频通过网络传输到远端,从技术路径上看十分类似当下流行的网络直播。
用绿幕去除背景保留人像的方式,俗称抠像,最早从影视后期制作中得来,也称“Key”,意思是吸取画面中的某一种颜色作为透明色,将它从画面中抠去,从而使背景透出来,形成二层画面的叠加合成。虽然抠像方式能够实现一些图像叠加后的AR视觉效果,但由于是应用在教学场景中,绿幕的影视化特征始终与教学场景无法很好的匹配。由于图像识别和提取技术研发的限制,部分三维课堂服务商只得无奈沿用绿幕抠像方式来组织三维教学。
但从云帆VR数字孪生研发中心得知,其最新的AI图层实时提取技术已经对外发布,在自然场合和任意背景下,都可以实现效果完美的人像提取。据云帆可视化研发中心研发工程师介绍,该技术采用了AI神经网络技术,基于大量的人像数据集进行模型识别训练和验证,因此可智能识别到前景画面中的人像数据,并进行快速计算处理。相比传统的单色绿幕抠像技术,云帆VR数字孪生研发中心发布的AI图层实时提取技术确实领先了不止一个维度,某种程度上宣告了绿幕抠像技术的落后。
从应用前景上看,云帆VR数字孪生研发中心这项技术不止在三维课堂领域,对广播电视制作和影视后期行业,都将带来深远的变革。不过云帆VR数字孪生研发中心工程师表示,虽然他们的图像提取技术已经达到了全高清60Hz画质的实时输出,同时4K实时输出也已研发成功,但在8K超高清图像的实时识别和提取上,还存在某些技术难题,后续将在硬件和软件算法层面持续优化。此外,云帆VR数字孪生研发中心有也表示在技术条件完备后,将考虑将该技术平台化并与领域内其他公司共享。如此看来,在课堂上用绿幕抠像进行三维远程授课或录播的方式有望退出历史舞台了。
云帆VR数字孪生研发中心,成立于2016年8月,致力于3D可视化数字科技探索,3D互联网、AR&VR互联网的市场应用。吸引、集聚、整合全球相关资源和优势力量,推进以数字科技为核心的全面创新,以人类愿景为驱动力,开展应用科学和创新性技术研究。
云帆VR数字孪生研发中心,计划在以下范畴拓展对数字世界的应用研究:
1:三维计算应用:AR、VR、数字孪生、3D可视化、三维全息、智慧园区、虚拟仿真、BIM可视化、智慧楼宇、智慧交通、智慧水务、智慧城市、AR商城、VR商城、3D商城、线上云展、VR看房。
2:三维云应用:5G云计算、轻量化云计算、多媒体云传输、GPU云渲染集群。
云帆VR数字孪生研发中心,旨在整合计算机科学和三维、图形图像计算等相关领域,面向实际行业场景和未来世界的前沿研究。建立产研合作平台,促进大众科技创新应用,打造产业、研究中心深度融合的生态圈。云帆VR数字孪生研发中心秉承“所见即所得”为使命,专注未来数字世界的三维科学研究,为全球数字科技和数字经济的进步,添砖加瓦。