腾讯云音视频 PaaS 平台与 NVIDIA 团队合作，利用 CV-CUDA™ 加速视频增强 AI 工作管线中的前后处理模块，结合 NVIDIA TensorRT™，将视频增强 AI 全流程置于 GPU 上进行加速，前后处理部分效率提升 16% – 38%。
客户简介
腾讯云音视频 PaaS 平台（以下简称腾讯视频云）专注技术产品，构建了行业中极速高清智能转码、超低时延快直播的音视频解决方案，已连续四年居于市场份额和解决方案首位[1]，在音视频领域已有超过 21 年的技术积累，腾讯云音视频已持续支持国内 90% 的音视频客户。其中腾讯云 MPS 媒体处理服务为海内外客户提供全场景极速高清转码，音视频增强，专有云 codec SDK 等服务，在近期全球 MSU 云端编码大赛及 SLC 评测中，所参评项目均取得了第一名的好成绩[2]。
使用 GPU 加速视频增强 AI 全流程
本案例中，腾讯云音视频 PaaS 平台与 NVIDIA 团队合作，利用 CV-CUDA 加速视频增强 AI 工作管线中的前后处理模块，结合 NVIDIA TensorRT，将视频增强 AI 全流程置于 GPU 上进行加速。集成 CV-CUDA 后相比加速前，前后处理部分效率提升 16% – 38%，端到端效率提升 6% – 10%。
加速画质增强全链路工作管线的挑战
画质增强是腾讯视频云提供的主要视频类云服务之一，其通过 3D 去噪、色彩增强、超分辨率、插帧等处理技术，有效处理噪点、马赛克、抖动、顿挫感等问题，提高画面清晰度，让画质重生。该服务的工作管线基于 ffmpeg filter 构建，整体工作流如下图所示：
该服务中应用了三种主要的 AI 模型，包括：去噪模型、色彩增强模型以及超分辨率模型。这些模型的工作管线中，除模型推理外，还包含了一系列前后处理操作，包括：yuv2rgb、copyMakeBorder、normalize、hwc2chw、chw2hwc、float2uint8、rgb2yuv 等。
此前，这些前后处理操作使用自定义的 CUDA 算子在 GPU 上处理或使用 OpenCV 在 CPU 上处理，计算效率并不理想。一方面，这使得前后处理在整个工作管线中占据了可观的开销；另一方面，前后处理可能增加 CPU 负载，影响 CPU 上其他任务的执行效率。因此，如何尽可能地节省前后处理引入的开销，缓解 CPU 负载，成为了加速画质增强全链路工作管线的挑战。
视频增强 AI 前后处理效率提升 16% – 38%
腾讯视频云与 NVIDIA 合作，将 CV-CUDA 集成进去噪模型、色彩增强模型和超分辨率模型的工作流中，替换原有的 CUDA 算子及 OpenCV CPU 算子，从而加速前后处理部分的计算效率，提升 AI 任务端到端的推理效率。下表展示了对于 1080p 输入图像，应用 CV-CUDA 前后，上述三种模型工作管线的处理速度（单位：ms）:
1080p 输入图像的效率提升效果
可以观察到，使用 CV-CUDA 后，三种模型的前后处理部分的计算效率有了不同程度的加速，模型整体性能也得以提升。此种性能提升尤其在前后处理耗时占比大的任务中将更加明显。
持续合作，实现视频 AI 全链路 GPU 加速
腾讯视频云未来将持续与 NVIDIA 合作，对提升视频增强服务处理效率方面进行不断地探索。例如，双方将共同尝试引入 TensorRT 最新的特性，进一步加速视频增强各类模型的推理性能；另外，双方将继续推动利用 CV-CUDA 加速更多视频类工作管线的处理，实现视频 AI 全链路 GPU 加速。
版权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供信息存储空间服务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至1393616908@qq.com 举报，一经查实，本站将立刻删除。
