AR增强打造世界杯全新观赛体验

虚拟现实 • 来源：青榴实验室 • 2023年1月24日上午10:32 • 技术文章

世界杯赛事的持续推进引发了全民观赛热潮，相关平台的世界杯赛事直播关注度呈现爆炸式增长，用户对于平台的直播观赛体验也有了新需求。不同于传统的电视直播观赛，中国移动咪咕公司技术团队利用人工智能技术处理赛事直播流，实时识别球员跑位、传导配合、核心球员身份及数据统计，结合视频渲染技术，展示核心球员数据，传球路线，传切配合等信息，为观众带来趣味化、专业化的增强观赛新体验。

AR增强观赛的实现主要依托于场景分类、目标检测、人脸识别、多目标跟踪、高维特征匹配等多维度的计算机视觉算法，主要的技术难点在于多维度算法融合与场景创新，以及提升复杂场景下算法效果的稳定性，对此技术团队做了诸多调研和对比实验。首先，将足球比赛划分为中近景和远景。针对中近景，识别核心球员身份，展示核心球员的信息以及数据统计；针对远景场景，识别场上的球员、教练、裁判等人员分组，以及足球的实时位置，并跟踪球员目标的连续位置变化。

在球星身份识别方面，采用人脸识别算法识别球员身份，为了进一步提升人脸检测效率，降低计算资源占用，对人脸检测算法模型做了进一步剪枝优化，在不损失人脸识别召回率的前提下，人脸检测性能提升10%~20%，720p分辨率单帧检测耗时13ms左右。同时，应用超大规模高维向量索引工具加速人脸识别过程，在保证人脸识别准确性的同时，大幅提升人脸特征匹配的检索效率。在多目标跟踪方面，采用了业界主流的detect-by-track跟踪方法，并在此基础上提出了一种基于特征匹配校准的多目标跟踪方法。在中近景的人脸目标跟踪场景中，综合考虑目标检测框和跟踪轨迹之间的相似性，预测框和被跟踪框之间的重合度，以及目标特征之间的相似性，提高跟踪结果的稳定性和准确性。在远景的球员多目标跟踪场景中，采用了一种可扩展、易泛化的特征匹配方法来区分赛场上的双方球员、守门员、教练、替补球员等，基于人员之间衣服样式、颜色的差异，使用余弦相似度完成人员的分组。在球员目标的跟踪方面，基于场上人员分组结果，将球员所属球队的先验信息融合到多目标的检测框匹配计算中，可以有效避免由于人员交叉带来的跟踪ID切换，提高多目标球员跟踪的连续性和准确性。