实验(二期)在实验(一期)的“算法场景矩阵”虚拟仿真项目基础上,着力搭建新的上海45公里滨江贯通不同区段场景库,旨在突出虚拟仿真系统能实不虚、虚实结合、以虚补实的特征,增强平台在支持实验操练和知识点教学方面的功能。具体而言,二期建设的滨江场景库具有以下几方面特征。
首先,积累包括选项、交互、眼动等多重体验在内的数据,优化仿真场景与使用者之间评估反馈,展开交互的算法。实验(一期)搭建了算法驱动场景调试的雏形,即:采集眼动(VR眼镜)、交互(鼠标)、选项记录(程序)等数据,根据实时数据对各个作为“算法场景矩阵”的融媒体作品进行排行。但由于第一年累积的数据量还远远不到大数据的量,所以,各个场景中的“算法模型”是否科学,还无法确定。实验(二期)拟通过“媒介融合”选课学生观看作品时采样数据,结合学生作品在澎湃上观等主流新媒体上的发布,通过用户大数据积累后生成“算法模型”,并对不同的场景类型的用户数据特征进行画像,推动实验平台与用户交互,提供评估反馈的算法能不断优化,整个平台系统“越用越灵”。
其次,据45公里滨江贯通不同区段本身特点(如杨浦滨江的公共艺术场景,徐汇的商业传播场景等),制定明确的十个实验步骤,设置针对具体场景的实验任务,并将实验设计的融媒体知识点测试和算法对作品的评估结合,与用户互动,实现平台教学目的。学生通过在滨江场景底图操练大屏幕地理媒介运作;数字广告在公共空间设置;传统大众媒介内容在城市的“布展”;数据可视化的公共展示和空间移动中的媒介接触等知识点,在底图嵌入包括大屏、监视摄像头、二维码、无人机等元素,超出将“媒介”简单化地定性在报纸、电视、网络等大众传播媒介上的局限,营造“万物皆媒”的新传播环境。
其实用性包括:一方面,滨江贯通空间是时下上海城市建设的重点,被称为“世界级滨水公共空间”,其西岸学习塞纳河左岸,着力打造公共文化,有诸多公园、美术馆、博物馆、咖啡馆等可供新媒体作品布展的空间,与实验教学项目“媒介融合”的主题相切合;另一方面,实验教学项目与“上海双年展”“上海城市空间艺术季”保持合作关系,实验(一期)的部分学生作品将在相关展览上展示,而2021年第十三届上海双年展的主题即为“水体”,使搭建相关空间非常实用,能用于学生实验作品。
第三,实验二期将在滨江场景建设中,为用户提供包括动漫,手绘,动态地图等更体现“以虚补实”的元素。增强上述元素一方面是第一期教学过程中涌现出的教学需求,同时也体现了媒介传播在数字时代发生的实际变化。实验(一期)是与澎湃新闻合作,考虑到新闻真实性的需要,其仿真作品的底图是全景采样而得,强调真实性。目前实验(二期)已初步约定与B站合作,在“B站嬉游记”上展示“二次元仿真场景”。需要增加包括动漫虚拟场景构筑的教学内容,也让学生增加一种融媒体生产能力,这是合理的。
第二期实验平台的设计,其背后核心理念具有引领性,设计合理,实验系统先进。实验项目由复旦大学新闻学院与复旦大学信息与传播研究中心(教育部人文社会科学重点基地)联合申报与共同建设,体现了复旦新闻将学术研究与教学实验紧密结合的鲜明特色。实验在虚拟仿真的应用上将突破新闻传播学的学科边界,以“数字人文”的跨学科视域,向不同学科背景的研究者敞开共通的算法传播现象。该实验包含的重要理念“算法情境”,是复旦大学信息与传播研究中心于2019年6月在与伦敦国王学院数字人文系、巴黎政治大学拉图尔媒介实验室联合主办的工作坊上提出的,旨在聚合新闻传播、视觉艺术、文化研究、计算机科学、建筑设计等多学科理论资源,探索“数字人文”的传播应用创新。本实验就是对以“算法情境”为代表的“算法场景矩阵”理念的具体探索。
实验教学目标(实验后应该达到的知识、能力水平)
在一期基础上,二期实验旨在帮助不同学生更深入理解和操练地理媒介环境中的媒介融合,以“算法场景矩阵”为切入点,试图让学生理解:
一方面,媒介融合语境中的虚拟仿真场景,不应该是断裂的场景,而应强化场景与场景间的连接关系,即“场景矩阵”;另一方面,“矩阵”的连接方式是算法驱动的,需要通过虚拟仿真技术与大数据、云计算、人工智能等新技术的融合,由数据和算法构建媒体内容的生产,包括分发、可视化、效果追踪等,这样才能符合当下媒体融合生产的实际情况。
通过实验,学生能够分析传播过程中数字媒介对空间中人的行为的影响,并进一步探索公共政策决策中“算法决策”的科学性;追溯分析信息生产过程中影响算法的核心要素,分析平台算法对传播效果的影响,从而培养学生及其他用户根据算法定制内容,从而相应进行内容生产的能力,帮助学生及其他用户理解算法机制,为将来成为“算法新闻记者”打下扎实的基础。
实验(二期)新增教学目标:
操练课程教学中十个具体的媒介融合知识点,通过模拟在现实中无法实现的实验操练场景,让学生掌握包括动漫虚拟场景构筑的融媒体生产能力,生产更为虚拟的仿真场景,并通过与算法交互,获得不断改进优化作品的能力。
(1)实验原理(限1000字以内)
按照融媒体打通实体空间与信息网络的特性,在虚拟仿真的实体空间中采集数据信息,根据获取的信息生产算法新闻等融媒体产品,并将产品发布于虚拟仿真的实体空间中,并通过仿真眼镜测量人类观看这些媒介的注意力分布,从而得出媒介对空间影响关系的算法模型,用以驱动机器计算空间中媒介设置的最佳位置。
知识点:共15个
A.实验(一期)知识点共 12 个
a.“实体空间的算法场景”实验知识点数量: 6 (个)
1)媒介融合(Media convergence):学习掌握不同传播维度、不同传播文化、不同传播技术、不同传播要素的融合,尤其是虚实融合;
2)地理媒介(Geomedia):学习理解地理媒介的无处不在(Ubiquity)、地理定位(Positionality)、实时反馈(Real-time feedback)、多元融合(Convergence)等特点;
3)仿真(Simulation):学习掌握“鲍德里亚式仿真”、“基特勒式仿真”、“海勒式仿真”等不同维度的仿真;
4)空间的可沟通性(Spatial communicativeness):培养运用大屏、监视摄像头、二维码、无人机等实体空间中的媒介建构空间可沟通性的能力;
5)注意力分布(Attention distribution):学习测量人类观看虚拟仿真场景的注意力分布,探究空间与注意力强度、映射、类型等的关系;
6)算法模型(Algorithm model):学习制作媒介对空间影响关系的算法模型,用以计算空间中媒介设置的最佳位置。
b.“信息空间的算法场景”实验知识点数量: 6 (个)
1)全媒体内容生产中的算法运用:培养算法新闻生产中文字、图像、音频、视频、互动形式等全媒体要素生产的能力;
2)数字媒介融合:学习掌握不同传播维度、不同传播文化、不同传播技术、不同传播要素的数字媒介融合;
3)算法与实时数据:学习算法对数据进行实时呈现的技术;
4)算法推送:学习媒介平台进行智能推送的算法规则(以“今日头条”“抖音”等媒介平台为例);
5)数据新闻生产:培养不同类型的数据采集、挖掘、分析及其新闻生产的能力;
6)沉浸式信息可视化:学习掌握沉浸式、交互式、传统图表式等不同类型、形式的信息可视化方式。
B.实验(二期)新增知识点10个
1)动漫生产:运用木疙瘩等软件制作以动漫为核心要素的虚拟仿真场景。
2)算法优化:学习积累包括选项、交互、眼动等多重体验在内的数据,以大数据的方式优化场景算法。
3)地理媒介(包括位置敏感的媒介装置、公共空间大屏幕、二维码等)元素在城市空间中的设置及其效果;
4)数字广告(包括手机广告、社区网站和互动游戏等)在公共空间设置;
5) 大众媒介形式(包括书、刊、报纸、、广播、电视等)在城市的“布展”;
6) 数据可视化(包括沉浸式、交互式、传统图表式等)的公共展示;
7) 空间移动中的媒介接触(包括手机、可穿戴设备、彩车等);
8) 网络化公共交互媒介(包括自动售卖机、智能机器人、人际互动活动等)在城市空间的设置
9) 公共艺术作品(包括装置艺术、雕塑艺术、灯光艺术等)的场景设置
10)公共宣传作品对公共空间的融媒体设置(包括海报、宣传栏、留言区、宣传片等)
(2)核心要素仿真设计(对系统或对象的仿真模型体现的客观结构、功能及其运动规律的实验场景进行如实描述,限500字以内)
实验(一期)的核心要素(空间要素、媒介素材、数据等)来源于全景采样,仿真度较高,之后搭建的“算法场景矩阵”同样来源于真实素材,观看效果较好。
实验(二期)加入动漫元素,加入虚拟场景元素,使仿真场景呈现更多元的虚实互嵌。通过导入3D虚拟场景实验模版,让学生按照各自的想法在虚拟场景中叠加新闻要素,包含图片资源、视频资源、3D动漫形象元素、二维码信息、事件触发逻辑交互点等元素,通过不同的场景形态汇总虚拟场景中所反馈出的相关数据,通过学生内部相互体验各自实验作品,获得小样本数据,再通过反复虚拟场景中元素的变化,得到一份相对准确的实验数据,并得出实验报告,从而锻炼学生在不同的场景下更换不同的新闻要素所带来的传播反馈差异,进而丰富了以“数据场景矩阵”为目的的实验效果。
1.教学过程
在本实验中,采取理论分析、效果演示、仿真练习、实务操作等多种方式相结合,让学生能在“实体空间的算法场景”中理解“地理媒介”的沟通与传播不同于传统大众信息传播媒介的特点,并对大数据驱动传播的算法场景矩阵有深入体验与理解。
以“观视距离”实验为例:
1)理论假设:在“观视距离”总体假设(数字媒介植入空间生产的“观视距离”将重新定义传统人类人际交互行为中的“观视距离”)下,定义实验的具体理论假设:如,数字媒介植入的状态下,传统人类人际交互行动中“纵向观视距离”远弱于“横向观视距离”的现象将不再明显。
2)模拟场景:模拟“视平层面的城市”(扬·盖尔)与“低空之眼的城市”(无人机装置的设置),将虚拟仿真的数字媒介设置在与用户不同的位置关系上,量化模拟在传统人类交互行为中难以自然测量的“观视距离”。
3)实验测试:让用户在沉浸式体验中,对仿真场景的交互行为进行感知、体验与评价,尤其形成对不同纵向距离与横向距离的评价。通过现有的生理指标测试系统(眼动等一系列指标)记录用户在模拟环境中的体验。通过生理指标测量,完成对“观视距离”理论的修正与完善。并建立新的“观视距离”算法模型,用以计算空间中媒介设置最佳距离的位置。
通过以上虚拟仿真实验,使学生们对实体空间中的沟通行为(尤其是传统传播研究中难以自然量化的人际传播行为)重新理解,并能深入思考当下算法场景对传统人际传播理论的突破。
2.实验方法
“算法”实验包含3个层面的测试:1)“内置算法”的测试,包括“今日头条”、“抖音”等当下媒介平台算法模拟的接入,方便学生完成作品的测试;2)实体空间传播要素的控制变量测试,包括实体空间仿真场景中大屏、二维码、监视摄像头、无人机等不同媒介要素的单独或组合调试,从而便于真实人类交互行为中难以自然量化的实验得以进行;3)对算法场景矩阵的传播再生产,如同一场景的多个媒介作品叠加在同一场景上形成矩阵,并根据算法模型形成最优的数字媒介设置方案,等等。
以“数据分析与信息可视化”模块为例:
1)创作、运行代码:撰写数据可视化作品呈现的代码,运行代码,获取作品的沉浸式、交互式、传统图表式呈现场景。
2)仿真练习:将可视化作品,借由系统实现不同可视化表达形式之间切换,随后佩戴虚拟现实观看设备测评不同可视化表达形式的优劣,生成沉浸式可视化作品。
3)融媒体专家点评:融媒体专家比对静态可视化和动态可视化两大类的作品,并重点分析由实验设备制造的5G时代沉浸式的数据可视化。
通过以上虚拟仿真实验,使学生们能够熟练掌握信息可视化的方式(包括沉浸式、交互式、传统图表式等不同类型、形式的信息可视化方式)。
学生交互性操作步骤,共10步
步骤序号 |
步骤目标要求 |
步骤合理用时(单位: 分钟) |
目标达成度赋分模型 |
步骤满分 |
成绩类型 |
1 |
选择实验活动主题 |
2 |
正确操作 |
5 |
■操作成绩 ■实验报告 £预习成绩 £教师评价报告 |
2 |
选择公共空间虚拟场景 |
3 |
正确操作 |
5 |
|
3 |
设置媒介装置大屏幕在公共空间的摆放位置 |
5 |
正确操作,达到理想效果 |
10 |
|
4 |
设置数字广告在公共空间的展示位置 |
10 |
正确操作,达到理想效果 |
10 |
|
5 |
设置公共艺术品在公共空间中的摆放位置 |
5 |
正确操作,达到理想效果 |
10 |
|
6 |
设置其他素材在公共空间中的摆放位置 |
5 |
正确操作,达到理想效果 |
10 |
|
7 |
设置海报的摆放位置 |
5 |
正确操作,达到理想效果 |
10 |
|
8 |
选择大屏幕播放的视频内容 |
10~15 |
设定并达到理想效果 |
10 |
|
9 |
选择数字广告的展示内容 |
10~15 |
设定并达到理想效果 |
10 |
|
10 |
选择海报的文字图片内容 |
10~15 |
设定并达到理想效果 |
10 |
|
11 |
检查全局并提交实验作品 |
5 |
正确操作 |
10 |
不同的实验条件和操作包括:
(1)不同的算法模型,可能产生对媒体与场景交互关系的不同评价。
(2)不同的场景类型,可能产生对媒体与场景交互关系的不同评价。
(3)不同的媒体要素,可能产生对媒体与场景交互关系的不同评价。
对实验结果的要求如下:
(1)是否记录每步实验结果:■是
实验结果与结论要求:■实验报告
(1)说明客户端到服务器的带宽要求(需提供测试带宽服务)需要10M以上带宽
(2)说明能够支持的同时在线人数(需提供在线排队提示服务)
支持150名学生同时在线并发访问和请求,如果单个实验被占用,则提示后面进行在线等待,等待前面一个预约实验结束后,进入下一个预约队列。
开发技术 |
■VR ■AR £MR ■3D仿真 £二维动画£HTML5 其他 |
开发工具 |
■Unity3D ■3D Studio Max ■Maya£ZBrush £ SketchUp £Adobe Flash£Unreal Development Kit £Animate CC£Blender ■Visual Studio £其他 |
服服务器
CPU 8 核、内存 64 GB、磁盘 32 T、
显存 2 GB、GPU型号 无
操作系统
■Windows Server £Linux £其他 具体版本
数据库
■Mysql £SQL Server £Oracle
其他
备注说明 (需要其他硬件设备或服务器数量多于1台时请说明)
是否支持云渲染:○是 ●否