ASPECT: HTTP自适应流的实时盲质量评价

在HTTP自适应视频流中，提出了兼具高性能、低延迟、盲评估于一身的质量评价模块，为Adaptive-BitRate算法提供实时指导。

作者：Chunyi Li, May Lim, Abdelhak Bentaleb, and Roger Zimmermann
来源：ICME 2023
论文题目：A REAL-TIME BLIND QUALITY-OF-EXPERIENCE ASSESSMENT METRIC FOR HTTP ADAPTIVE STREAMING
论文链接: https://arxiv.org/pdf/2303.09818
代码链接: https://github.com/lcysyzxdxc/ASPECT
内容整理：李春一

引言

Cisco公司调研显示，视频服务已占据当前互联网带宽的80％以上，且仍在增长。为了应对大量视频数据传输带来的挑战，流媒体提供商通常使用HTTP Adaptive Streaming (HAS)作为Video on Demand (VoD)业务的解决方案，以适应不同网络条件和设备分辨率。Adaptive-BitRate (ABR)算法为每个视频段选择合适的比特率级别，由此最大限度提高用户的Quality of Experience (QoE)。

因此，有效的客观QoE指标在HAS系统中至关重要。上海交通大学在 LiveVideoStack 的报告指出，它既可以作为“裁判”，在会话结束评估ABR算法的性能，也可以作为“教练”，在播放期间指导ABR算法，为下一个视频段选择最合适的比特率。然而，“教练”比“裁判”任务具有更大挑战性，原因如下：

高一致性：QoE需要与人眼视觉机制保持一致，从而准确预测用户的感知质量。
低延迟：QoE的计算时间不能超过视频本身的时长，因此应降低其复杂性，以确保实时反馈。
盲质量评价：QoE模型仅可获取客户端压缩/扭曲后的视频，而缺乏服务器端未压缩的源视频，是较为困难的No Reference (NR)任务。

现有的HAS QoE模型可以分为三种，基于QoS (Quality of Service)的，基于内容的，以及混合模型。QoS模型复杂度最低，但忽略了视频内容，与主观评分一致性低；内容模型利用Video Quality Assessment (VQA)方法分析QoE，性能优越，但过高的复杂度违背了实时性需求；混合模型在两者中取得了均衡，但现有的混合模型往往针对Full Reference (FR)场景，在NR上表现不佳。

由于上述现有模型不能同时满足“教练”任务的三个要求，我们在混合模型的基础上，提出了一个新的QoE评估模型ASPECT (Adaptive Streaming Performance Evaluation and Control Tool)，主要贡献如下:

我们将视频内容纳入混合模型的Penalty，表征用户在卡顿、码率切换时的不利体验，给出更准确的预测分数。
我们提出了一套非均匀采样机制，避免全部采样或均匀采样带来的复杂度，保证模型性能的同时，大幅降低时间开销。
我们将QoS纳入混合模型的Reward,由于NR与FR/RR相比，在混合模型中表征感知质量的能力不足，QoS信息可以帮助模型在NR任务中表现得更好。

方法

本QoE模型包括采样、特征提取、质量回归三部分，框架如下：

非均匀采样

因此，在总采样帧数一定时，该问题可抽象为凸优化模型：

由拉格朗日乘子法，两部分的采样帧数在0.33 : 0.67时，模型的评估性能最佳。

特征提取

1. QoS奖励特征

视频比特率、量化参数(QP)、帧率、分辨率(高/宽)对用户的QoE有正向影响。研究以上因素的相关表现后，我们发现视频高度与QoE相关度最大，由此表征QoS特征r₁：

2. 内容奖励特征

结构特征可分为空间特征和纹理特征。空间特征，是指图像中不同元素的相对位置，本模型利用ResNet50作为空间特征骨干：

提取部分帧的空间特征后，利用GRU捕获空间特征的时间关系，得出r_2~5：

纹理特征，对视频编码中第j个宏块，ASPECT计算其灰度图g与各自方向(水平、垂直和对角线)平均值之间的差值。取最小值作为每个宏块的纹理，并将其组合成纹理特征r₆：

3. QoS惩罚特征

QoS特征中的缓冲事件，对QoE不利影响最大，分为初始缓冲和卡顿。视频开头，用户即使承受初始缓冲(少于2秒)，QoE也不会明显下降。然而，对于卡顿事件，QoE的下降与卡顿时长线性相关。因此，ASPECT将初始缓冲和卡顿作为惩罚特征p1和p2：

4. 内容惩罚特征

缓冲会给用户带来较差的体验，其具体影响取决于两个因素，包括:(i)比特率切换：比特率下降对QoE的不利影响，远大于同等比特率上升对QoE的有利影响，而长时间的缓冲会进一步放大此负面影响。(ii)视频内容:对于物体移动缓慢且场景变化最小的视频，比特率切换或缓冲事件的影响有限；而在动作电影中，如果切换/再缓冲发生在剧烈运动或场景刚刚改变时，通常会导致用户QoE大幅下降。因此，结合缓冲时间、比特率切换、视频帧间差异，有惩罚特征p3：

质量回归

将以上特性组映射到f_1~36，通过支持向量回归与RBF核，构建质量预测模型，生成总体QoE评分。

实验

实验设置

提出的方法主要在Waterloo sQoE 3和LIVE NFLX 2数据集上验证，共包含870个主观评分的流媒体视频，这些视频来自不同的源内容、视频编解码器、网络条件和ABR算法。人眼给出的的Single Stimulus (SS)评分被用作ground truth。模型的性能参考VQA中的3个常用标准，即SRoCC、KRoCC、PLCC，以及计算时长。对于盲质量评价任务，我们将计算2010年至2022年的18个主流盲评价模型进行了比较，包括基于QoS的、基于内容的和混合模型，并与ASPECT展开对比，验证本模型的优越性。

结果分析

在基于内容的模型中，v-bliinds的预测性能最好，但所需的计算时间比视频本身长40倍以上，导致其无法提供比特率指导的实时反馈。基于QoS的模型的计算时间则要快得多，不到视频本身时长的1%，但预测的QoE与主观评分的相关性相对较差。大多数Hybrid模型在一致性和延迟之间实现了更好的平衡。然而，它们通常是针对FR特征设计的，但当切换到NR时，它们的预测性能则不理想。