如何打造音视频极致消费体验

在观看视频时，用户最看重的是什么呢？清晰度？流畅度？还是播放时的稳定性？作为视频厂商，不仅要考虑到常见的指标，一些关乎用户体验的隐藏性指标也需要重点关注。如何持续升级优化代码并在成本和用户体验之间找到平衡，这需要技术团队不断地尝试。LiveVideoStackCon 2022北京站邀请到快手播放技术中心负责人苍鹏为我们分享快手如何打造极致的音视频消费体验。

文/苍鹏
编辑/LiveVideoStack
原文：https://mp.weixin.qq.com/s/FY3LfbG8Xv0a5py8k7X-zw

大家好，我是苍鹏，目前在快手音视频技术部任播放技术中心负责人。我们团队主要负责播放器、下载器和图片库，是快手音视频消费体验的入口。在今天的分享中，我将重点探讨从端侧播放的角度如何优化消费体验。

-01-

“链”——音视频点播链路

首先将从快手音视频链路出发展开介绍。

如何打造音视频极致消费体验

上图是关于快手的点播云基建。快手的点播链路包括生产、处理、分发和消费四个环节，从用户的角度来看，则包括拍摄、编辑和上传视频，最终在端上播放视频。用户能够感知到的是生产和消费。快手是一个以视频为核心载体的平台，整个链路规模庞大，但设计非常精巧。

快手支持4K视频的拍摄、编辑和上传，保障视频上传时的原始质量。此外，媒资上传管理平台可实现视频的智能分析，而媒体智能处理平台可以进行视频增强、音频增强、质臻影音和内容感知转码等操作。融合CDN管理实现多CDN的调度。终端播放可从多个清晰度档位中调用多家CDN，结合端上所有优化，最终呈现给用户。整个链路实现了端到端的全链路优化，既保障清晰度和流畅度，又实现了成本的最优化。

-02-

“眼”——音视频播放数据与指标体系

快手设计了全链路的质量保障体系，其中播放数据体系和指标体系是最为重要的环节。

在从事流媒体工作时，我们常常会接到用户反馈起播速度慢、播放卡顿等问题。仅仅针对某一个用户的情况进行分析并不能完全反映所有用户的体验状况。因此，我们引入了音视频消费指标体系的概念。

如何打造音视频极致消费体验

优化用户体验的关键在于量化，因此我们通过QoE指标来评估用户体验质量，并基于视频设计QoS指标来保证质量。通过这些指标，我们可以分析用户的痛点并提出相应的优化方案，在上线之前使用A/B Test来验证优化方案对用户的影响。此外，我们还设置了日常监控、自动报警和自动归因的功能。

如何打造音视频极致消费体验

快手设计了一套完整的消费指标，覆盖常规维度、播放维度和业务维度。

如何打造音视频极致消费体验

播放是整个用户体验的入口，也是最贴近用户的环节。所有的QoE和QoS指标都基于播放的埋点建立。举个例子，播放器首屏和用户体验是有着紧密联系的。基于播放器首屏的指标，我们在播放器这一端设计了30+埋点。通过对这些埋点进行分析，我们最终设计出了各种深入优化方案。目前，快手的首屏体验均值在百毫秒。

如何打造音视频极致消费体验

埋点指标体系是基于快手音视频大数据体系建立的。此外，底层还有多个域的基础建设，实现了自动化报警和自动归因等服务。基于这些基础能力，我们制定了流畅度优化、清晰度优化和成本控制等策略，并将这些能力应用到快手的各个业务中。

-03-

“核”——音视频播放核心技术优势

如何打造音视频极致消费体验

在集成播放器时，不仅仅只是提供内核，也提供了完整的服务。通过中间件隔离业务和内核，并提供核心而简单的抽象接口。复杂的实现都在内部完成，并将通用的能力（如埋点上报、配置管理等）封装到中间件中。这样做的目的是为了降低业务的接入成本，让底层内核可以专注于各自的核心能力。

如何打造音视频极致消费体验

在设计播放器内核框架时，我们将抽象作为核心理念。整体架构分为三层，即业务接入层、处理框架层和组件支撑层。为应对复杂的策略消息，我们针对其进行了相应的抽象，并将其处理过程放置于各自的处理中心。中间的核心部分是一套基于Node抽象的完整pipeline。我们也实现了插件系统能力，基于插件系统，客户端任何私有化定制都可以快速集成到播放器内部，性能上实现了全局线程池方案，可以为多个不同的播放器提供服务。

如何打造音视频极致消费体验

基于整体抽象架构，快手实现了播放器的全链路。除了通用的基础协议，链路还支持AAS 点播协议、LAS直播协议等。此外，对于一些非常核心的模块，快手还进行了进一步的抽象和优化。

如何打造音视频极致消费体验

我们以视频渲染框架为例说明。视频渲染在整个播放环节中扮演着重要且复杂的角色。该框架对复杂的视频渲染抽象出GPU Frame实现封装的输入、抽象出GPU Interface实现API的渲染、抽象出Device Interface实现设备的桥接。基于此架构，视频后期处理团队只需实现对应VPP的Unit即可。这套独立的架构完全脱离播放器，因此图片、弹幕等需要视频渲染能力的服务都可轻松接入到该架构中。

如何打造音视频极致消费体验

快手的下载器也是完全独立，不依赖于播放器。下载器能够为播放器提供服务，具有边下边播和缓存等功能。此外，在下载器内部，所有静态资源都通过下载器实现。根据不同需求，下载器还实现了缓存管理、网络控制和任务调度等功能。

如何打造音视频极致消费体验

为了满足对网络性能的极高要求，快手依托自研的网络库来实现网络传输，并在此基础上进行了全链路的优化，包括HTTP/3、预解析和预建立连接等操作。

如何打造音视频极致消费体验

目前，快手的硬解码覆盖率在95%以上，为用户带来了非常好的体验。安卓的硬解码器非常复杂，并且国内的厂商经常进行魔改，因而存在上万种安卓设备和数百种手机芯片。为此快手通过线下测试和线上检测，一次性完成了所有存量设备的硬解码适配。

解决存量问题还不够，还要解决增量问题。因此，快手与芯片和ROM厂商建立了一套完整的对接体系。在芯片发布之前，快手会与厂商进行芯片级硬解能力测试。同时，在新机型上市之前，快手还会与ROM厂商联合进行验证硬解码的适配。一旦新机型上市后，快手会进行线上监控，以继续对其进行优化。

如何打造音视频极致消费体验

虽然硬解码体系已经能够覆盖95%以上主流手机厂商和芯片，但仍然可能存在一些小厂商的手机和芯片。为此我们设计了机型画像平台。该平台可以动态收集机型的性能信息，并建立完整的机型画像数据仓库。这些数据可以被用来反向调整多码率和硬解码的配置。无论是机型画像平台还是硬解码体系，我们都已经将其集成在快手的线上服务当中。

如何打造音视频极致消费体验

多码率自适应可以自动识别短视频和长视频，达到清晰度和流畅度的最佳平衡。

如何打造音视频极致消费体验

除了基础优化之外，快手还进行了一些针对性的场景优化。在上下滑的场景中，用户的需求非常明确，他们需要在上下滑屏幕时实现快速起播，实现无缝播放。为了满足用户的需求，快手实现了播放器的预加载。当用户观看当前视频时，系统会自动创建下一个播放器，提前进行资源的下载、解码和预渲染。当然，这种预加载也会带来网络竞争和系统资源竞争的问题。为了解决这些问题，快手的应对策略是在保证当前视频播放流畅度的前提下，才会进行播放器的预加载。

快手还实现了视频的预下载功能。当观看当前视频时，会预先将后面几个视频缓存在本地，这样即使网络状况不佳或者滑动速度很快，也可以保证无缝起播的体验。当然，这样做也会存在一些制约项，比如增加了下载量，会带来更高的带宽成本。此外，同时进行的下载任务会导致各种网络竞争，有可能影响到当前正在播放的视频。为了避免这些问题，快手提供了不同的策略，通过预测下载速度和用户行为，在不同的场景中控制下载数量和下载视频的大小。无论是视频下载还是资源下载，都可以在下载器内部实现网络避让，从而达到良好的流畅度和成本平衡。

如何打造音视频极致消费体验