音视频消费侧各组件框架

本文分享内容来自公众号——关键帧Keyframe。

1、音视频消费框架

音视频消费侧各组件框架
音视频消费侧框架
  • 播放组件层,是对接音视频消费业务层的各种组件。
  • 播放内核层,是播放器的内核。包括资源加载、音视频解封装、解码、缓冲区控制及渲染等模块。
  • 底层能力层,对播放内核层各能力的垂直扩展,用于支持更丰富的、定制化的能力。

音视频下载模块是负责音视频数据加载,这里可以对底层的传输协议做优化,来优化数据加载速度。

音视频解封装模块则是负责各种音视频格式的解析。

音视频解码模块负责音视频数据的解码,这里除了依赖设备的硬解能力,还可以依赖软解模块,并针对性做优化。

音视频渲染模块负责音视频的渲染。这里可以结合音视频后处理端侧智能特效等模块来提升音质、画质,优化消费侧的体验。

1.1、播控组件框架

音视频消费侧各组件框架
播控组件框架

播控组件主要是对播放资源进行管控,选择适合当前设备性能、能力及网络状态的资源进行播放。

这其中就包括 H.264/H.265、码率、分辨率、DNS、服务端接入点等方面的择优。

1.2、多实例组件框架

音视频消费侧各组件框架
多实例组件框架

多实例组件主要是对播放过程中可复用的资源使用复用池的方式进行管理,这样可以优化内存使用,同时也能优化播放性能。

这里面,播放器实例、解码器实例、TCP 连接等模块都是可以使用复用池管理起来的。

1.3、预加载组件框架

音视频消费侧各组件框架
预加载组件框架

预加载组件主要是在播放列表业务场景下对待多个播放资源进行预加载管理的组件,这样的目的是尽量优化带宽的使用,降低用户在观看视频时的卡顿。

为了支持这个目标,则需要设计下载任务优先级队列,结合下载模块带宽预测网络请求控制能力和播放器的缓冲区状态播放状态对多路资源下载逻辑进行控制,以确保把网络资源分配给最需要的下载任务。

1.4、缓存组件框架

音视频消费侧各组件框架
缓存组件框架

缓存组件是为了实现对已加载音视频数据的缓存,这样可以在用户再次播放该资源时提升快速打开、播放流畅的体验。

1.5、播放内核框架

音视频消费侧各组件框架
播放内核框架

播放内核是播放器的内核 Pipeline,其中包括网络模块协议解析封装解析缓存控制音视频解码音视频同步以及音视频渲染等模块。

… …

更多干货和全文见知识星球

音视频消费侧各组件框架

版权声明:本文内容转自互联网,本文观点仅代表作者本人。本站仅提供信息存储空间服务,所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1393616908@qq.com 举报,一经查实,本站将立刻删除。

(0)

相关推荐

发表回复

登录后才能评论