面向博物馆的XR+展览交互系统设计与实现

汪

萍1，胡学钢2，王荣荣3，王

3.芈炀科技研发部，上海201203；

4.广播电视总台播出与传送中心，北京100859）

乐4

（1.安徽新闻出版职业技术学院新闻传播系，安徽合肥230601；

2.合肥工业大学计算机与信息学院，安徽合肥230601；

摘要：在科技高速发展的今天，博物馆的传统展览形式已不能满足社会需求，通过分析虚拟现实、增强现实和混合

现实等不同技术的优点和关键技术，提出一种基于扩展现实技术的博物馆展览交互方案。实验表明，采用扩展现实技术可以实现虚实无缝融合，再现历史情景、延伸观赏空间、拓展文物内涵，让文化遗产焕发新的生命力，使观众有更深层次的交互体验，使博物馆能更好地发挥其教育和传播职能。

关键词：扩展现实；虚拟现实；增强现实；博物馆；展览中图分类号：TP391

文章标识码：A

DOI：10.13757/j.cnki.cn34-1328/n.2019.04.011

文章编号：1007-4260（2019）04-0045-08

DesignandImplementationofMuseumExhibitionInteractiveSystemBasedonExtendedRealityTechnology

WANGPing1,HUXuegang2,WANGRongrong3,WANGLe4

(1.DepartmentofJournalismandCommunication,AnhuiVocationalandTechnicalCollegeofPressandPublication,Hefei230601,China;

2.SchoolofComputerandInformation,HefeiUniversityofTechnology,Hefei230601,China;3.DepartmentofResearchandDevelopment,MiyangTechnology,Shanghai201203,China;4.BroadcastingandTransmissionCenter,ChinaCentralTelevision,Beijing100859,China)

Abstract:Recently,withtherapiddevelopmentofscienceandtechnology,thetraditionalexhibitionformsofmuseumscannolongermeettheneedsofthesociety.Byanalyzingtheadvantagesandkeytechnologiesofdifferenttechnologies,suchasvirtualreality,augmentedrealityandmixedreality,aninteractiveprogramofmuseumexhibitionbasedonextenteclreality(XR)technologyisproposed.Theexperimentshowsthattheuseofextendedrealitytechnologycanrealizetheseamlessinte-grationofvirtualandreal,reproducethehistoricalscene,extendtheviewingspace,andexpandtheconnotationofculturalrel-ics.Italsotomaketheculturalheritagerenewitsvitality,sothattheaudiencecanhaveadeeperinteractiveexperience,andmuseumscanbetterplaytheireducationalandcommunicationfunctions.

Keywords:extendedreality;virtualreality;augmentedreality;museum;exhibition

博物馆基于保护目的，其展览基本以静物形式陈列在橱窗中，辅以简单的文字简介，随着科技的不断发展，特别是5G（第五代移动通信技术）的到来，媒体的传播方式已经开始由2D（2Dimension）交互向3D（3Dimension）交互转变，传统的展览形式已无法满足观众的需求，针对此问题国内外学者做了一些研究[1-3]，但大部分都集中在VR（virtualreality）的应用上，部分涉及AR（augmentreality）和VR的同步应

收稿日期：2019-03-27

基金项目：教育部科技发展中心高校产学研创新基金“北创助教”基金（2018C01042），安徽高校人才社会科学研究重点项目

（SK2017A0919）和安徽省质量工程教学研究项目（2017jyxm0830）

作者简介：汪萍（1985—），女，湖南怀化人，硕士，安徽新闻出版职业技术学院讲师，研究方向为虚拟现实技术、影音后期技术。

E-mail：andilyna-521@163.com

·46·

安庆师范大学学报（自然科学版）2019年

用。从应用研究中发现，将VR、AR或MR（mixedreality）某项单一的技术应用于博物馆展览存在形式单

一和内容局限的问题，长时间或全程只用一种视角或模式去观看会让观众产生视觉疲劳或兴趣渐减。为解决这一问题，本文基于最新提出的XR（extendedreality）技术，给出一种面向博物馆的新型展览交互方案，其融合了VR、AR和MR这3种技术的优点[4]，观众在参观过程中可通过应用终端自主选择或切换观赏模式，提升了参观的交互性、趣味性和多感知性。

1

1.1

开发工具与框架设计

开发工具

本系统基于IOS操作系统，用Objective-C语言基于苹果公司的iossdk（苹果系统软件开发工具包）开发“博物馆XR+展览交互”App（移动端应用软件），其演示内容通过“三维建模”“图像标识”和“交互实现”这3大流程来实现[5]。

本系统以Unity3D为主要开发引擎，通过3DMax或Maya软件完成三维模型和动画创作，输出.fbx格式文件导入到虚拟引擎中，利用图片标识技术、数据库调用技术和网络传输技术实现观众与文物之间的交互，通过C#程序编译语言加入计算机指令实现VR、AR与MR这3个模块内容之间的切换，最终观众可通过显示终端实现展览交互系统的虚拟漫游与实时交互，开发实现流程如图1所示。

图1XR+展览交互系统的开发实现流程图

1.2系统框架设计

XR+展览交互系统分为3个模块：虚拟交互模块、增强交互模块和混合交互模块，分别实现“基于VR技术的虚拟漫游”“基于AR技术的增强交互”和“基于MR技术的混合交互”这3个功能。在手持终端上安装“博物馆展览交互系统”APP后，观众可根据自己的喜好任意选择一种观赏模式，也可以综合VR、AR混合成MR形式输出，可随意切换观赏模式，系统框架设计如图2所示。

2系统开发实现

2.1VR漫游模块开发

VR漫游模块的实现是利用宽视野立体显示技术，借助实时动作捕捉、跟踪定向技术、触觉、力觉、嗅觉等反馈技术，通过手柄、语音或动作等传达指令来实现虚拟漫游。该模块的核心技术为虚拟场景搭建和漫游交互功能开发。其中，虚拟场景搭建是虚拟漫游模块开发中非常重要的部分，模型的质量决定了博物馆VR漫游体验的真实感。本系统所有历史古迹场景模型均在3DMax里搭建，文物三维模型和动画在Maya中创建，因这两个软件存在坐标系方位和单位比例不同问题，且最后都要在Unity平台里开发，故在3DMax里搭建的模型在导出时应选择ExportSelected模式导出，并修改单位为Metres（米）以匹

第4期汪萍，胡学钢，王荣荣，等：面向博物馆的XR+展览交互系统设计与实现

·47·

配Unity里的单位，最终导出.fbx格式文件至Unity项目中的Assets文件夹下，通过Unity自带Shader（着

色器）与Material（材质球）对三维模型进行颜色和材质的设置。本文以故宫博物院为例搭建模型与布局，如图3所示。

图2XR+展览交互系统框图

图3在Unity引擎中重贴材质后的故宫博物院三维场景鸟瞰图

虚拟场景搭建完成后，首先应为所有的墙体和地面添加碰撞属性（MeshCollider组件），防止出现人物角色穿透建筑物的不真实感；其次添加第一人称视角，加入漫游交互功能；最后连上头盔测试以第一人称在故宫场景中虚拟漫游的情况。其中，通过计算机命令控制手柄的上下左右键以实现观众在场景中的自由漫游（见图4）。

2.2AR交互模块开发

AR增强交互模块相比VR漫游模块而言，可以使博物馆展览交互系统实现更丰富的互动方式，可以在真实环境中叠加虚拟内容，赋予藏品“生命力”，构建出一系列观众无法在现实中见到的“鲜活”历史和场景，其交互实现愿望：首先需要用到AR的核心技术三维注册，即事先将现实世界中的二维或三维物体设定为标识物（Marker，即图像标识），其次通过移动终端（智能手机或AR眼镜）的摄像头对Marker进行识别和姿态评估（PoseEstimation），确定其位置，然后将其采集到的信息发送给增强工作站进行信息分析和处理，以Marker在现实场景中的中心为原点坐标系，即模板坐标系（MarkerCoordinates），建立模板坐标系和屏幕坐标系的映射关系，并将虚拟信息与现实场景信息进行对位匹配，即虚拟物体的位置、大小、运动路径等与现实环境进行完美匹配，最终实现三维虚拟模型与真实世界叠加呈现在现实终端。

·48·

安庆师范大学学报（自然科学版）2019年

图4基于脚本设置左手柄的漫游功能属性

实现以上交互技术的基础是图像标识技术和图像识别技术。本系统首先运用AKAZE算法，基于

Unity平台开发整合一套VuforiaSDK（对图片、物体、文本和标记进行识别和追踪的软件开发工具包）导入至已开发完成的Unity项目中；其次，创建ARCamera（AR采集摄像头）对平面图像或展品进行采集，在Vuforia（让应用拥有视觉的软件平台）中新建并上传关于博物馆项目的图片至网络端Database（数据库）；再次，为图片添加ImageTarget标识，在Unity引擎的Inspector窗口选项中粘贴LicenseKey（许可证密钥），设置与Database中上传图片的关联，将其链接到网络数据库端（见图5）；最后，把第一步中已建好的Prefabs（预制模型）导入至Hierachy窗口中的ImageTarget下面，调整模型位置、角度和大小，用C#程序语言设置交互预设，调试并发布.exe格式的程序至移动终端，即完成了图像的标识。当观众选择AR交互模块时，摄像头会将采集到的信息与网络Database中的图片进行匹配，若匹配就会立刻调用系统中对应的三维模型通过显示终端呈现。

图5在Unity中设置采集信息与网络Database的链接匹配关系

2.3MR交互模块开发

混合交互模块融合了VR技术的沉浸性和AR技术的交互性，由VR和AR两个输出模块叠加而成。利用三维建模技术可以将古建筑从整体架构到内部装饰以虚拟数字化的形式与现实世界融合，通过多传感器融合技术可放大、缩小展品细节，还可以通过实时跟踪及三维定向技术围绕展品360°观看，它不会因观众位置和角度的变化而发生位置的变化或形态的扭曲，可拓展现有博物馆的展出空间和文化内涵。通过三维动画和交互控制技术可以让文物在真实世界里“活”起来、古迹场景“动”起来、字画人物“走”出来，重现历史情节、拓展文化内涵。当观众选择MR模式输出时，系统会将VR和AR两个模块的

第4期汪萍，胡学钢，王荣荣，等：面向博物馆的XR+展览交互系统设计与实现

·49·

内容进行优化运算和输出，通过更精细的三维注册算法合并现实场景和虚拟世界，从而生成新的可视化

环境，实现物理环境和数字对象更真实的共存。

3

3.1

交互实现

人与设备交互

本系统通过“XR+展览交互APP”来控制整个操作，本文以故宫博物馆为例，启动XR+展览交互系统，程序首先进入欢迎界面，界面上有3个观赏模式供观众自主选择，分别为VR虚拟漫游、AR增强交互

系统会调用预先和MR混合交互，观众可自由选择任意一种观赏模式[6]。若观众选择VR虚拟漫游模块，

制作好的三维场景开启虚拟漫游模式，通过佩戴HTCVIVE头显、操控手柄，观众可在虚拟博物馆视景中进行前、后、左、右的漫游。

当观众想从一种观赏模式切换至另一种模式时，点击显示屏左侧的“VR”、“AR”或“MR”按钮即可完成观赏模式的互换（如图6所示）。AR增强交互或MR混合交互模块都需通过调用终端设备的摄像头来捕获真实环境或进行图像识别。采用计算机视觉跟踪注册技术可算出摄像头采集到的位置数据，将位置数据持续的传递给渲染处理器即可实现将虚拟展品叠加到真实场景中的效果。

图6可随意切换的交互界面

AR或MR部分可直接在Pad上观看，也可以通过HoloLens眼镜来呈现。其原理是将HoloLens和arkit（苹果的AR开发平台）同时连接上局域网，HoloLens把虚拟空间的信息也实时传给arkit一份，保证HoloLens和arkit在虚拟空间上同步，即眼镜端和手持终端设备的数据实时同步，这样观众既可以通过MR眼镜观看，又可以同步使用手机观看，从而实现了观赏模式的无缝切换以及设备的自由交互[7]。

3.2

人与空间环境交互

人与空间环境的交互主要通过VR漫游模块来实现，效果如图7、8所示。该模块观众通过佩戴头显可以自由漫游在整个场景中，通过手柄操控可以抓取数字展品观看细节，转动头显还可以以720°的视角上下左右观看场景内的各个角落。

图7仰视室外建筑效果图8俯视室内陈设效果

·50·

安庆师范大学学报（自然科学版）2019年

3.3人与展品交互

XR+展览交互系统中的AR交互和MR交互模块均可通过手机、平板或头显的摄像头来识别图像标

识，调用系统数据库中链接的三维模型，通过三维注册定向技术可实时的将其定位在真实的三维世界中，在手机、平板电脑或头显眼镜上生成三维“数字展品”，从而实现交互体验。

本功能通过AKAZE算法基于opencv（跨平台计算机视觉库）技术进行图片识别与追踪，用slam（即时定位与地图构建）技术和opengl（开放图形库）实现三维实时渲染和显示[8]。

观众可用显示终端扫描提前做好标识的AR卡片，调出系统中事先链接的三维文物模型进行近距离地观摩与研究（见图9）。

图9通过图像识别触发生成数字展品

4实验结果与分析

本实验基于Unity3D引擎，在处理器为2.9GHzIntelCorei5，内存为8GB1867MHzDDR3，图形卡为IntelIrisGraphics61001536MB的MAC电脑上，连接视场角为110°、刷新率为90Hz的HTCVIVE上，划定5m×5m的跟踪区对VR漫游模块进行仿真测试。

系统启动后选择VR漫游模块，观众可从端门往里自由行走参观，既可欣赏故宫博物院的外景，又可进入宫殿内部观赏室内陈设，它解决了故宫博物院由于历史地位特殊性所导致的只能远观的问题，漫游效果如图10所示。

图10故宫内景漫游效果

为验证系统性能，保证漫游体验的真实感，本文做了3方面的实验对比：建好的Unity场景添加碰撞性能前后漫游效果；场景设置限行区域前后漫游效果；人物模型比例调整前后漫游效果。进行分别测试后发现，在Unity建好的场景中未加碰撞组件时，人物角色会坠落和穿墙，上不了台阶，不受任何建筑或墙体的阻碍；当给所有的建筑包括地面加上Collider（碰撞）组件后，人物角色可以正常走上台阶，不会再掉入模型内部，且墙体和建筑不会再被穿破。在场景中未添加限行区域前，人物比例也没有调小前，人物可直接跨过屋顶或踩在建筑物上行走，其视角高于建筑，无法从门洞下通过，不符合自然规律；当将人

第4期汪萍，胡学钢，王荣荣，等：面向博物馆的XR+展览交互系统设计与实现

·51·

物角色的Scale数值全部调成0.2，且给场景设置Nabigation限行区域后，人物只能在地面上漫游，也只能

从门洞下通过，实现了与现实世界一样的交互体验。测试对比结果如图11~14所示。

图11未加碰撞性能漫游效果图12加碰撞性能后的漫游效果

图13未设定限行区域和未调角色比例前视角

图14设置限行区域和调小角色比例后视角

当观众切换到AR或MR模式后，系统需要调用显示终端的摄像头，本实验通过摄像头采集标识物的不同角度测试其对生成的数字三维图形是否有影响，取极端的0°和90°进行注册性能验证。故宫博物院历史地位特殊，受保护程度较高，不方便去现场进行AR和MR模块的测试，故采用小象图片进行性能测试。经实验发现，当采集角度为90°时，系统可以采集到标识图像中所包含的特征信息；当跟踪角度调整为0°时，系统也可采集到标识图像中的特征信息，可即时实现实时跟踪功能。测试结果如图15、16所示。

图15采集角度为90°时渲染呈现的数字三维模型图16采集角度为0°时渲染呈现的数字三维模型

通过上述实验得出，基于扩展现实技术的博物馆展览交互系统具有真实的漫游体验和交互功能，观众可以根据自己的需求自由切换视角或观赏模式。对标识物采用特征检测及绘制的方法来进行跟踪注册，其不受采集角度和复杂环境影响，当观众需要观看展品承载的历史背景和文化时可切换至AR或MR模式，它会生成数字化的三维内容叠加在真实环境之中，让场景动起来、展品“活“起来，与真实世界无缝融合。

·52·

安庆师范大学学报（自然科学版）2019年

5结束语

本文基于扩展现实技术，综合虚拟现实、增强现实和混合现实这3大技术的优点，提出了一种基于扩

展现实技术的展览交互系统，经反复测试表明，该方法能够在显示终端连续移动，且角度发生变化时它能自适应显示虚实叠加的效果。XR技术是虚拟现实技术发展的未来，将其应用到博物馆展览交互系统可让观众自由选择和切换观赏模式，增加参观的交互性和趣味性，也延伸和丰富了展览内容，解决了博物馆展品的“三高四难”问题，即高成本、高难度、高风险，难还原、难再现、难拆解、难描述的展品展览问题，为参观者带来了强烈的现场感和参与感，让传统展览形式中“沉睡的”文物古迹重获新生，为博物馆的发展注入新活力，其作为传统展览的补充能更好地发挥博物馆的社会教育和文化传播职能。参考文献：

[1]MARQUESD,COSTELLOR.Concernsandchallengesdevelopingmobileaugmentedrealityexperiencesformuseumexhibitions[J].TheMuseumJournal,2018,61(4):1-558.

[2]CAPUANON,GAETAA,GUARINOG,etal.Enhancingaugmentedrealitywithcognitiveandknowledgeperspectivesacasestudyinmu-seumexhibitions[J].Behaviour&InformationTechnology,2016,35(11):968-979.

[3]ZHUANGZY.Theapplicationstrategyofaugmentedrealityinthemuseumexhibition[C].第十六届亚太科技中心协会年会论文集.北京:中国科学技术馆,2017.

[4]秦胜伟,李重,李金锋,等.校园漫游互动AR系统设计与实现[J].系统仿真学报,2019,31(7):1367-1376.[5]唐婕.基于iOS平台的智能衣柜管理APP的设计与实现[D].北京：北京邮电大学,2017.

[6]李婷婷,王相海.基于AR_VR混合技术的博物馆展览互动应用研究[J].计算机工程与应用,2017，53(22):185-1.

[7]郁有建,汪萍,陈子辉.基于虚拟现实与互联网的三维数字化园区安防监控系统:中国专利，ZL201720220505.8[P].2017-3-8.[8]林思源,何汉武,朱腾,等.基于方形边框标识的增强现实三维注册方法[J].传感器与微系统,2019(4):62-65.