KBS 2022｜基于多视角子空间学习的 RGB-D 情绪识别

简介：多视角子空间学习（Multiview subspace learning, MSL）已广泛应用于各种实际应用，包括情绪识别。尽管 MSL 取得许多进展，仍有两个挑战需要解决。首先，大多数现有的 MSL 方法不加区别地利用了不同的视角。其次，现有的方法多是线性方法，在具有弱线性可分性的情感数据集上效果并不显著。因此，在本研究中，我们引入了一个新的情感识别框架：多视角非线性判别结构学习。

论文标题：Multiview nonlinear discriminant structure learning for emotion recognition
来源：Knowledge-Based Systems 2022
作者：Shuai Guo, Li Song, Rong Xie, Lin Li and Shenglan Liu
论文链接：https://www.sciencedirect.com/science/article/pii/S0950705122011352

引言

多视角学习的目标是综合利用各个视角的信息，使得各个视角之间互相补充，得到比任一单一视角更好的效果，这里的视角可以指对同一样本从不同数据源得到的数据，可以是不同特征提取方式得到的特征，等等。现有的以识别为目标的多视角学习方法大多是线性方法，在线性不可分的数据如情绪数据上效果并不显著。而且现有方法大致可分为基于判别性的方法和基于局部性的方法，判别性希望以类别区分样本，局部性希望保持样本局部关系，鲜有将二者结合起来的方法。多视角子空间学习（MSL）是多视角学习中研究最多的一类方法，目标是为各个视角的样本寻找一个公共子空间，并且得到各个样本在公共子空间中的投影。针对识别任务，本文提出一种非线性MSL方法，将二者结合，通过局部信息保存和判别，利用每个输入视角中的有用信息重建特征，并使用多视角度判别方法获得多个视角的公共潜在子空间。此外，还引入了样本外扩展方法以满足要求并获得新样本在子空间的投影。下图是本文方法的总体思路。

基于局部保护与判别的特征重构

在得到每个输入视角的特征后，本文首先对特征进行重构以去除无效信息。方法是对每个样本及其若干个近邻范围内，通过最小化每个视角同类样本之间距离的同时最大化非同类样本间的特征，尽量使重构之后的类内样本距离仍然比较近，而类间样本的距离散开，并且减少离散点的影响，如下图所示。

该问题被归结为优化问题：

多视角判别子空间学习

然后是将多个视角的特征进行融合的过程。目标仍然是在子空间中使得同类样本距离较近，非同类样本距离较远。为了保存更多的局部近邻关系且保持判别性，我们使用不同的方式度量同类和非同类样本之前的权重，基于非线性的拉普拉斯特征映射的框架，希望使得在一定的局部范围内，对所有视角的所有样本在子空间中都能实现同类样本距离更近，非同类样本距离更远。由于非同一视角的样本特征维度可能不一样，本文提出基于全局权重向量来衡量二者之间的距离。与此同时，还采用非相关约束来提高模型效果。模型的优化和求解过程采用迭代法。整体思路如下图所示。

在子空间的第一个维度（主成分）上，该问题归结为：

其中 D 是拉普拉斯矩阵计算得到的度矩阵。这个问题可以基于主成分的解和数学归纳法得到解决。文中也介绍了不放宽约束条件时的迭代法求解步骤。

样本外扩展

由于本方法是非线性方法，无法像传统线性方法一样，使用显性映射关系将新样本映射到子空间中，因此本文提出样本外扩展方法来进行这个过程。主要思路是寻找每个新样本在重构特征之后的对应视角的样本分布中的近邻关系，然后求解近邻关系，认为新样本在原始空间和子空间中都应该等于这些近邻使用同一组权重关系进行组合的结果。思路如下图所示。