IEEE VR2022 安全部分上：三种VR在安全领域研究的应用

虚拟现实技术(缩写为VR)是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术，其基本实现方式是以计算机技术为主，利用并综合三维图形技术、多媒体技术、仿真技术、显示技术、伺服技术等多种高科技的最新发展成果，借助计算机等设备产生一个逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世界，从而使处于虚拟世界中的人产生一种身临其境的感觉。然而虚拟现实技术不仅仅可用于娱乐方面，其也可以帮助研究者们进行安全部分的研究。本文将先介绍三种VR在安全领域研究的应用。

来源：https://www.youtube.com/watch?v=8nGeD9jLdCs&list=PLmkIPPvcHLZgWaBGqwiAe52PLDNnMtIA5&index=54
主持人：Sab Babu
内容整理：桂文煊

利用虚拟现实增强的肩窥研究

所谓肩窥，就是趁他人不注意在身后窥探隐私信息的一种行为。例如图1中所示，男子在背后偷窥女人在ATM机前输入密码的行为就是一类肩窥行为。而对于这类隐私性极强的敏感问题，受限于法律和伦理的限制，其在社会上研究往往是不可行的。因此一种通常的做法是邀请实验者们来到实验室观察提前录制好的实验视频进行判定。然而在电脑上观看2D视频并不能很好地呈现实际场景中发生的肩窥事件，更重要的是，实验者们并不能深入了解窥视者们的偷窥行为，从而研究者们就很难了解窥视者们的偷窥机制而无法设计实用的隐私保护系统。

VR 在肩窥研究中的应用

由于2D视频的局限性，VR被引入用于安全研究之中，如图2所示。VR有两种种类：一种如图2左侧所示，实验人员利用传统键鼠来进行虚拟现实的体验；另一种如图2右侧所示，实验人员可以通过穿戴特定设备进行沉浸式的互动。

VR 肩窥实验流程

受试人员将在三种不同的场景下（如图3所示）使用不同的观察方法。研究者们将比较在VR下实验者们的存在感和工作量，并且指出与比较在VR中与在实际生活中体验的不同。

VR 肩窥实验结果

研究者对实验者成功判断出密码的成功率进行了测试。以窥视手机密码的结果为例，实验结果如图4所示。

结果可见沉浸式VR观察的成功是三种观察方式中成功率最高的，然而3D观察(非沉浸式VR)的成功率低于2D视频观察的成功率。这表明利用沉浸式VR能够更好的帮助研究者们评估并且设计安全系统，而3D观察(非沉浸式VR)并不适合用于对于安全系统的评估。研究者也给出了对于受试者存在感的实验结果，结果如图5所示。

实验结果表明沉浸式VR相较于其他两种方式（传统2d视频和非沉浸式VR）能够给受试者最好的观察体验，换句话说，沉浸式VR能够给出最接近实际观察中的实验结果，从而可以解决受限于法律和伦理的限制而不能在实际生活中进行实验的问题。

对于 VR 生物信息采集

随着vr在医疗、教育和金融等领域的扩展，确保个人数据的安全至关重要。传统的凭据（如密码）已扩展到vr，然而，如果恶意用户获得这些凭据，他们就可以对你的系统随意地攻击。所以近年来研究者们把vr中人的行为作为一种生物信息凭据。之前的工作中使用随机树算法以及最近邻方法来进行生物信息的采集。鉴于深度学习在近些年来的卓越表现，最近的工作中引入了深度学习算法。然而大部分数据集基本都是小数据集，如何进行小数据集上的深度学习是问题的关键所在。

数据集的预处理

对于小数据集上的稀疏数据，必须对数据进行预处理，研究者使用表示设备关系的位移矢量来进行数据增强。如图6所示，研究者在原有数据集的基础上计算了左右控制器的位移矢量、右控制器-头戴设备位移矢量、左控制器-头戴设备位移矢量。这种数据增强策略能够更好地理解用户的行为模式从而更好地训练神经网络。

神经网络结构图

作者使用了两种神经网络结构。如图7所示，一种是Simese Network对两种输入经过神经网络的embedding进行作差操作获得两者的欧氏距离，第二种网络结构是一种简单的分类器。

实验结果

实验结果如图8所示。结果表明研究者的这种数据增强策略远远优于其他的数据增强策略，能够针对于小数据集给出良好的实验结果。

未来工作

1、对于神经网络来说，数据集过小仍然会影响训练效果。因此未来进行大规模数据采集是必要的。2、在不同VR使用场景下采集数据。

混合现实头戴式显示器的按键推断攻击

混合现实（MR）将计算机生成的数字对象与物理对象实时合并。随着MR技术的发展，各种各样的应用相继而生，如在线支付、电子邮件以及社交媒体。在使用这些应用的过程中，各种敏感信息将会被输入，如银行卡号、账户密码、聊天记录等等。为了保障MR系统的安全性，我们必须理解敏感MR数据的潜在漏洞。

按键推断攻击

按键推断攻击通过分析用户的计算机交互数据来推断用户的输入，这是一种对MR系统的潜在威胁所在。用户利用头部运动和手部运动与MR系统交互，而用户的姿势是暴露的，按键推断攻击正是通过捕捉用户或者设备的移动以进行攻击的，攻击方式有视频录制或者无线信号攻击。然而这类攻击通常来说需要额外的硬件设备支持，比如相机或者无线接收器，而这些设备必须在用户不发觉的情况下安装在用户附近。研究者提出了一种基于恶意软件的按键推断攻击，这种攻击能够在不经过用户许可的情况下获取用户的移动数据，因而这种攻击可用于任何的良性应用程序之中以推断用户输入。

攻击模型

攻击模型示意图如图10所示。用户在私人空间内输入敏感信息，恶意软件伪装成一个良性应用程序，安装在用户的设备中，恶意软件可以在没有用户许可的情况下检测头戴设备的移动并且攻击者知道虚拟键盘的布局。

面临的困难

首先，用户在MR设备中的移动是六自由度的，而虚拟键盘在物理世界中，因而相同的头部方向可能指向不同的按键，同样的，不同的头部位置也可能产生同样的按键结果。另一个挑战是按键时刻没有明确的指示。用户可能在按键时只会做出细微的手部动作，这类动作并不能引起明显的设备移动。

全息记录仪系统结构

研究者对于设计中存在的困难提出了如图11所示的结构。如图所示，攻击过程分为两个模块。第一个模块将六自由度头部运动映射到目标关键点，第二个模块通过分析按压虚拟按键过程中的行为模式来识别按键时刻，随即校准推断结果。

实验结果

研究者针对于攻击系统进行了三种实验，第一个实验测量了攻击系统对于单个字母推断的准确度，第二个实验测量了用户移动对于攻击系统判别的影响，第三个实验测量了重复按键对于攻击系统判别的影响。

实验结果如图12所示，由实验结果可见，攻击系统不仅对用户单个按键的判别有着比较准确的判别，而且攻击系统对于用户移动以及重复按键两种行为有着较好的鲁棒性。