游戏中背景音乐和音效的视听同步研究

元二 • 来源：煤矿工厂 • 2022年8月4日上午11:12 • 技术文章

本文主要介绍了游戏中背景音乐和音效的视听同步研究，通过实验探索研究了人们对视听同步的感知能力和个体差异，以及影响视听同步的主要因素。

谈及游戏中的视听研究，很容易想到的就是在游戏过程中经常出现的听觉延迟，但是我们的工作扩大了视听研究的内涵，不仅包括声源和媒体的匹配性问题，还有网络传输导致的问题、硬件性能的问题以及游戏的编码协议等。研究这些视听效果对人们的主客观影响。

实验

除了最直观的音频和视频以外，还有很多因素会影响人们的游戏体验，我们设计了两个阶段来进行实验研究。

第一阶段

第一阶段是探索影响人类的视听和其他内容和对不同个体的影响差异，在这一阶段，我们专注于研究时间延迟和内容之间的关系。在这阶段，我们避免游戏动作，仅提供视听内容供实验人员观看。实验试听内容为 11 个包含不同语种的剪辑片段，实验任务是调整音轨以与视频轨道同步。

上图是实验平台截图，主要部分是视频片段播放部分。测试分为四部分：第一部分：判断是否存在视听异步，找出原因；第二部分：调整音轨使得随机时间间隔内视听同步；第三部分：调整音轨以使视听与之前的最终间隙同步；第四部分：再次调整音轨以使视听与之前的间隙同步。

这样操作，可以得到该实验人员的主观视听同步结果。第一阶段的实验结果如图所示：

总共收集到 577 组实验数据，我们预留了充足的时间，这样不会给参加实验人员以时间压力。样本基本呈现峰值在 0 附近的正态分布，这意味着大多数参与者可以将视听调整为同步，但是每个人对于视听的敏感度是不同的，特别是在某些特定时间点，通常乐器演奏是参与者最难同步的类型。通过上述实验我们能够认识到影响人类区分音视频异步能力的内容。

第二阶段

第二阶段从主客观角度研究异步感知是如何影响人类的。这次所选择的实验数据需要具备高准确度、单一性的特点，因此我们选择了Rhythm Dungeon 作为实验素材，研究分为三步:

2-1：SFX 的时域延迟，任务是控制 SFX 的时间延迟在 0.2s 时间间隔内为 [0,0.8]s; 2-2：BGM 的异步节奏，保持 SFX 140 BPM，改变 BGM 为84，112，168，196 BPM。2-3：BGM 的异步本质，适用 140 BPM，但是不同风格，改变 BGM 为140，采用不同风格的音乐。

我们记录了这个游戏动作vlog，并进行了赛后问卷调查。实验数据如下图所示，右图显示了每个会话的平均时间间隔。可以看到改变节奏的表现最糟，时间差距远高于其他两个。