展览是博物馆的核心业务,是体现博物馆社会效益和经济效益的主要方式。目前中国博物馆的快速发展,需要大量优秀的专业人才。我们进行博物馆虚拟仿真实验教学的目的:
1、适应博物馆展示技术的发展,提升学生进行数字化展示设计的学习兴趣、培养实践设计的能力。现有教学方式以课堂讲授为主,不能给予学生更多实践训练;且全部的专业修读学生到博物馆进行实地教学会受到人数和场地条件限制,又会影响博物馆的正常工作,虚拟仿真实验教学在此就非常有必要,能弥补这一不足,让学生能通过大量的实验模拟训练,掌握多媒体设计技术与工作方法,体现对于学生的“创新创意”教学要求。
2、培养学生掌握“数字博物馆”多媒体技能,能广泛运用于各家博物馆实践(如文博系已有的上海历史博物馆、世博会博物馆、中共一大纪念馆、杭州G20博物馆、苏州博物馆等教学实践单位)。并且,能将此实验技术延伸运用于博物馆领域的专业培训,有明确、丰富的现实作用。
3、通过虚拟仿真技术,更好地展示博物馆内容、做好配套的教育活动,正是学习和响应习近平总书记就传承中华优秀传统文化、“让文物活起来”作出的一系列重要论述,讲好博物馆文物背后的故事,服务社会,有重要的社会意义。
(1)实验原理
伴随着互联网和人机交互方面的技术突破,教育工作者、医学家、科学家等都在研究虚拟仿真方法和技术在其学科领域内的潜力,以实现更有效的、沉浸式的和引人入胜的学习或培训。
虚拟仿真实验室是指在web环境下的,可供学生进行实验操作的三维实验场景。过去的虚拟实验室仅仅是针对高技术科研员,将高危、现实情况下难以实现、高成本的实验作为建设标准。但随着数字化技术的飞速发展,艺术数字化技术手段已经深入到了各行各业,艺术数字化已经成为当今的潮流。要培养具有国际视野,有创新精神和能力的精英型人才,必须掌握艺术设计数字化技术。目前针对高校学生,为了普及实验教育所建立共享型虚拟实验。学生可以在虚拟三维环境中进行多项任务,如学理论,做测试,做实验,进行创新训练等。
虚拟仿真实验室通过开展以下拟仿真实验子项目:
1、虚拟现实实验项目
虚拟现实项目通过VR、AR、MR实际项目的开发。利用计算机模拟产生一个三维空间的虚拟世界,提供使用者关于视觉、听觉、触觉等感官的模拟,可以及时、没有限制地观察三度空间内的事物。
2、人机交互设计实验项目
人机交互设计实验项目通过设计人造系统的行为,打造两个或多个互动的个体之间交流的内容和结构,使之互相配合,共同达成某种目的。旨在在虚拟环境中培养学生的对于交互行为的理解与把握。
3、影音互动设计实验项目
影音互动设计实验项目通过人体形体测量尺、人体测高计、知觉深度测试仪、视觉反应时测试仪、空间知觉测试仪、多项反应时测试仪等仪器来测量人体感知与反应、信息与信息传输、工作空间与环境系统等基础性数据,以此构建虚拟影音交互空间,打造沉浸式互动环境。
知识点:共10个
1.掌握常用平面软件的使用,如:Adobe Photoshop、Adobe Illustrator、Adobe XD、Axure RP9等,掌握基本平面软件使用方法,制作贴图。
2.掌握常用三维软件的使用:3DMax、Maya、Rhino3D 、C4d、Zbrush、Sketch Up、Blander等,掌握曲面建模和多边形建模方法等立体造型方法。
3.掌握常用的开发引擎,如:Unity3D,Unreal engine 4、Xcode等,掌握基本的开发逻辑,制作出简单的VR漫游交互。
4.掌握基本的编程语言如:Python、C/C++、C#、Java等。
5.掌握资料搜集整理的能力,从考古报告中搜集数据,以便今后的开发制作。
6.掌握色彩原理、色彩搭配原理。
7.掌握空间运动规律。
8.掌握烘焙过程中的贴图、灯光系统、材质系统。
9.掌握基本的计算机图形学知识,如颜色模式、图像模式等
10.掌握平面软件、三维软件、开发引擎软件之间资源的导入导出。
11.了解三维扫描设备,获取三维数据采集的一些知识。
12.了解常用的VR眼镜设备,分析设备之间的性能性能差异,选择合适的设备,以及了解其使用方法和相关开发文件
(2)核心要素仿真设计(对系统或对象的仿真模型体现的客观结构、功能及其运动规律的实验场景进行如实描述)
以VR漫游“打虎亭墓室”为例
1.场景漫游:
在基于真实环境的扫描与还原的3D仿真模型中,可在“漫游模式”中通过 “漫游观察”完成认知实习,包括试验场景、试验对象、试验设备等;掌握所有测试设备的布置情况,与实际测试时完全一致。
2.基于真实设计资料及测试数据的数值仿真:
包括试验对象(墓室)、体验者(游客)、其中包括开门、声音传输、震动反馈、凝视功能等都基于真实数据仿真。
3.面向实际方案设计及组织实施流程中:
在场景漫游、开门、凝视等功能的体验中完成对墓室的体验与认知,通过“虚拟仿真”和“真实感受”两者的结合,完成数据获取、虚拟还原、认知模态实现、体验反馈整个实验流程。
(一)实验教学过程
该实验教学过程中以学生自主探索为主,老师及其它人员相辅助。以“自主课题+小组活动+作品展示”的方式进行,此方式分为以下几个过程:
1.创意构思
各小组自选课题或来源于其它老师研究课题,对其课题进行充分的调研,查找相关的国内外文献资料,案例资料等。形成初级资料库,并对其进行数据分析、分型、分类。小组成员之间进行充分的讨论,进行头脑风暴,最后选出多种设计方案。
2.草图绘制
各小组根据得出的创意方案进行草图阶段的绘制,此过程是完善创意阶段,要对已形成创意进行充分的论证,并考虑创意的可执行性、小组成员能力分配问题等,最终完成2-3幅创意草图。
3.虚拟环境的搭建
此环节是针对已形成的创意草图进行软件和硬件两方面的环境搭建,此阶段要充分考虑创意实现的技术路线、所需硬件、工作流程、资源配置等方面。虚拟环境主要以软件搭建为主,硬件环境主要是以所需设备为主。
4.实施实验阶段
此阶段根据创意草图和搭建完成的虚拟仿真实验环境来进行,对草图所表达的内容,通过个种不同的方式把所需的资源进行数字化,可以利用数字绘画、三维扫描、数字建模等手段来实现。此阶段基本实现草图所表达内容。
5.内容深化阶段
针对搭建好的数字资源进行艺术深加工,此阶段要充分考虑画面构成、颜色搭配、灯光效果、呈现形式等方面。此阶段属于能力提升阶段,需要大量补充相关知识,并训练艺术审美能力。
6.作品完成及展示
针对已完成的作品,此阶段主要目标是把作品分享出去,这个阶段需要通过不通形式将作品展示出去,可以利用社交媒体,网页,实物展览等形式来实现。还需要有较强的文字组织能力,要能把自己的创意言简意赅的让受众知晓,让自己的作品能够得到受众的认可。
(二)具体实验方法:
步骤一:项目介绍。
1.介绍项目的内容和功能,说明仿真实验平台的实验分数构成。
步骤二:资料采集。
1.文字资源获取。阅读《密县打虎亭汉墓》考古报告获取各个墓室和甬道的长宽及高度,各个墓门的长宽高以及门楣门柱的长宽高和造型,以及墓室每面墙、每扇石门所对应的壁画图案。
在实验中拉动右侧虎头,了解虎头工具栏功能;学习点击虎头返回首页功能;长按鼠标划动《密县打虎亭汉墓》的右下角和左下角,翻阅考古报告,获取文字资源。
2.图片资源获取。采集墓室二维影像资源,将分块拍摄的影像资料在Photoshop中拼合。使用Photomerge工具,可以将连续拍摄的两张照片自动拼合,在此基础上进行调整,制作可以使用的贴图资源。
在实验中下拉虎头,将工具箱中图片拼合工具拖入方框,体验Photomerge工具的功能。
3.三维资源获取。对墓室进行三维扫描,利用光学测距的原理,通过记录被测物体表面大量的密集的点的三维坐标、反射率和纹理等信息,可快速复建出被测目标的三维模型及线、面、体等各种制图数据,获取墓室三维点云。
步骤三:模型搭建。
1.平面图绘制。根据打虎亭汉墓考古报告中的准确数据绘制草图,找到东南西北所对应的方位,在3DMAX软件中原比例划线得到墓室精准的平面图,对平面图中每个墓室命名,为后续建模做准备工作。
在实验中点击虚线框耳室名称,获取对应三间耳室的数据和功能。
2.粗模搭建。在精确地划线后,根据书中记载的墙体厚度,在3DMAX中绘制样条线,用box搭建粗模。
3.细化模型。根据考古报告中对券顶高度和墓道宽度的记载求出券顶半径和墙体高度。墓道宽度的一半为券顶半径,券顶高度减去券顶半径得到墙体高度。在box的基础上为墓道修建墙体和券顶。细化模型,加入门柱、门楣、门槛、墓门等部件。
在实验中下拉虎头,将工具箱中建模工具拖入方框,获得墓室的三维模型后可以使用鼠标拖动,旋转观看三维模型。
步骤四:贴图拼贴。
1.UV拆解。模型建造好后对模型进行UV拆解。将每个模型部件UV展开,导出PNG文件,正确命名方便后续贴图。
2.制作贴图。根据考古笔记中的文字资料和前期进入墓室考察的视频,明确每块贴图所在的位置。在Photoshop中,调整大小,和前期拆解的UV素材对应,注意需要完全覆盖UV拆解的绿线。
在实验中拖动壁画碎片到壁画空缺位置,将东耳室壁画复原。
步骤五:调试导出。
1.模型和贴图制作完成后需要对模型和贴图进行调整。将一些零散模型合并重建,调整模糊贴图的分辨率。
2.导出fbx文件。将制作好的模型成组,调整坐标轴到中心点,z轴为零。打包好贴图文件。
步骤六:导入引擎。
1.将带有贴图的fbx格式的模型导入游戏引擎Unity中,拖入场景面板。
2.导入结合SteamVR插件,实现打虎亭二号墓的基础VR漫游功能。深入学习SteamVR插件后,编辑和修改部分代码,添加teleporting预制体配合teleport area脚本实现基础的手柄交互,让体验者除了物理空间的移动,还可以操控手柄实现位移,解决现实空间不足的问题
3.制作触摸交互,体验者可以自主推开墓室中的门,给墓门添加碰撞体,手柄触碰墓门触发墓门打开的动画。
4.添加注视交互,体验者注视壁画1秒后,会出现相应的文字介绍,向体验者传递打虎亭汉墓的相关知识。
5.调整灯光环境,在墓室中增添了三盏点光灯,并调整到合适的色彩以及影响范围后,设置烘焙参数,对场景进行贴图烘培,让场景效果更好。
步骤七:发布打包。
在unity中选择电脑平台的打包方式,设置好应用名称和应用图标,在指定路径生成exe文件,双击exe文件运行整个应用。
在实验中回答问题:unity在电脑平台发布时的文件运行格式是什么?
步骤八:设备连接。
1.连接HTC的VR眼镜设备,打开手柄和定位器,观察steamVR上设备是否正常连接。
2.利用steamVR的房间设置定位服务,经行眼镜的定位识别,保证位置初始准确。
在实验中下拉虎头,将工具箱中图片VR设备拖入方框,进入打虎亭二号墓中室的VR漫游,通过键盘上w、a、s、d按键移动,移动鼠标旋转视角。
步骤九:漫游体验。
戴上眼镜,手持手柄,打开之前准备好的exe文件
1.眼镜中的画面会随着体验者的位置移动而移动。
2.长按手柄圆盘按钮前端唤出绿色目标圈,左右移动手柄操作目标圈至您想去的位置,松开按钮即可传送。
3.长时间注视壁画或墓门即可获取相应文字介绍。
4.移动至墓门前,持手柄向前做推门动作。
步骤十:视频观看。
完成实验步骤后,进入视频观看界面,播放视频,欣赏实验成果。
(三)实验方法与教学内容的结合:
1、虚拟仿真技术助力博物馆数字内容建设(技术开发)(1)Unity3D技术对博物馆展品三维数字化的再现
(2)PBR技术对数字展品展示效果的提升
(3) VR技术对博物馆展示沉浸体验的实现
(4)Html5技术对数字博物馆展示的传播
2、新兴媒体助力博物馆的传播与服务(实践应用)
(1)AR与交互展示在文化遗产数字化展示中的应用
(2)数字博物馆的App应用
3、数字博物馆的创意设计与融合发展(论文主题)
(1)新兴媒体在博物馆公众服务中的创新发展研究
(2)虚拟仿真技术在文化遗产数字化展示中的研究
4、数字博物馆的价值挖掘与应用(研究报告)
博物馆的新浪潮:人工智能时代智慧博物馆的想象与远景
(1)学生交互性操作步骤,共10步
步骤序号 |
步骤目标要求 |
步骤合理用时 |
目标达成度赋分模型 |
步骤满分 |
成绩类型 |
1 |
项目介绍 |
0.5学时 |
调研报告 |
5 |
R操作成绩 R实验报告 R预习成绩 R教师评价报告 |
2 |
资料采集 |
0.5学时 |
创意报告 |
5 |
|
3 |
模型搭建 |
1学时 |
创意方案 |
10 |
|
4 |
贴图拼贴 |
1学时 |
草图方案 |
10 |
|
5 |
调试导出 |
1学时 |
开发文档 |
10 |
|
6 |
导入引擎 |
2学时 |
汇报ppt |
20 |
|
7 |
发布打包 |
0.5学时 |
汇报ppt |
5 |
|
8 |
连接设备 |
0.5学时 |
汇报ppt |
5 |
|
9 |
漫游体验 |
0.5学时 |
作品 |
5 |
|
10 |
视频观看 |
0.5学时 |
作品 |
5 |
(2)交互性步骤详细说明
1.认知课题
对所选的课题进行充分了解,其中包括国内外发展现状,现有案例实施情况等。
2.头脑风暴
对已了解的课题进行充分的创意构思,并运用不同的创意方法进行讨论,此步骤需以小组形式进行展开,充分调动想象力,形成初步创意方案。
3.创意提炼
对已有的初步创意方案进行深化处理,进行理性分析,论证其可行性,最终确定3种及以上创意方案。
4.草图绘制
草图绘制之前对已形成创意方案进行再次论证,草图会丰富创意方案的细节,此步骤可以细化创意方案,最终选出一种最优方案进行下一步。
5.环境搭建
针对草图所形成的创意方案进行数字环境搭建,包括功能实现的技术路径,所需软件及硬件等。
6.数字转化
仿真实验需要数据来源于真实生活,此步骤需要对所需的实验数据进行数字化转译,将实物数据转化为数字数据。
7.资源建设
针对得来的数字数据进行资源建设,此步骤包括,数字形象设计、三维模型设计、数字场景搭建、灯光系统的搭建、材质系统的搭建、动作资源的搭建等。
8.艺术加工
针对已经形成的数字资源进行艺术深加工,使其呈现出良好效果,此步骤需要大量补充相关知识,提升审美能力。
9.打包输出
此步骤是属于作品完成阶段,要针对不同的平台要求进行数据转译。打包输出不同的格式。
10.展览展示
此步骤是一个欣赏提升交流的环节,各小组将自己的作品进行分享,相互学习,相互交流。
实验以小组形式进行,每一个小组的课题不同,所涉及的主题不同,最后所呈现的实验结果也不尽相同,反映了学生各自的创意与表现形式。