什么是音视频解码?音视频解码流程图

本文分享音视频解码基本概念、解码的大体流程图以及音视频解码的难点，普及音视频开发的基础知识，希望对大家有用。

一什么是音视频解码

音视频解码，顾名思义就是把已经压缩过后的音视频(视频:H264/H265，音频：AAC、MP3)数据还原成原始数据(视频原始数据：YUV，音频原始数据：PCM)的过程。

二音视频解码的流程图

2.1：读取流媒体地址:并进行解封装操作先读取音视频的流媒体地址，并把流媒体获取到的音视频进行解封装处理。所谓解封装处理就相当于把flv、mpegts等复合流分割成视频裸流(H264/H265视频流)和音频裸流(AAC音频流)。并把每个裸流分别存放到不同的队列，视频裸流存放到VideoPacket Queue,音频裸流存放到Audio Queue。(注：这里的队列名称都是自己命名的)

2.2：把队列的裸流数据取出来，进行每一帧的解码操作把视频裸流队列和音频裸流队列的数据取出来，并一帧一帧送到解码器进行视频解码和音频解码。并把解码后的数据分别进入视频解码队列和音频解码队列。

2.3：从解码队列拿数据，并进行音视频同步处理把第二步解码队列的音视频拿出来，分别进行音视频同步的算法处理。目前的话音视频同步，基本上都是基于音频作为参考时钟，而视频基于音频的节奏进行同步操作。音视频同步处理后，音视频基本上可以做到声音和画面完全同步了。

2.4：把音视频同步过后的数据分别播放出来

经过音视频同步处理后，视频数据(YUV数据)就直接送到SDL或者drm显示出来。而音频数据(PCM)则直接送到alsa框架进行音频播放。

三音视频解码的难点

音视频解码总体来说还是比较难的，其中最大的一个难点就是音视频同步的算法控制。很多音视频的初学者，对音视频的节奏总是把握不好。所以经常会出现视频比音频快十几个毫秒或者音频比视频快个十几个毫秒，这都会导致音视频不同步的重要原因。关于这部分如何控制好，还需要多去看看源代码才能更好地解决。