H.265是ITU-T VCEG继H.264之后所制定的新的视频编码标准，标准全称高效视频编码（High Efficiency Video Coding——HEVC），本文介绍一下H265/HEVC视频码流相关知识。
一、网络分层结构
和H264/AVC结构类似，H265/HEVC也采用了视频编码层（video code layer ，简称VCL）和网络适配层（network abstract layer，简称NAL）.VCL层包含了视频压缩的数据， NAL主要负责对数据的压缩数据进行划分和封装，保证数据在磁盘上保存和网络上进行传输。
和h264的码流结构一样，也是通过启始码（0x000001或者0x00000001）进行分割压缩数据，每一个称为NAL单元（NAL Unit，简称NALU）。NALU有不同的类型，主要是对数据内容进行区分。
对于一个码流文件来说，和h264一样，有一系列的NALU的类型定义，可以分为VPS,SPS,PPS,SEI,I帧,P帧 6种类型。码流结构如下所示：
- 启始码+VPS+启始码+SPS+启始码+PPS+启始码+SEI+启始码+I帧+启始码+P帧+启始码+P帧+…..
如上就是一个图像系列的组成，为什么这么说呢？一般我们在网络上发送数据，比如采集端一般在发送压缩数据的I帧前先发送VPS,SPS,PPS。解码端不可能先启动后等着发送端数据到来吧，只有解码器拿到VPS,SPS,PPS后才可以解码H265的数据。VPS，SPS,PPS，SEI，一个I帧，一个P帧都可以常委一个NALU。
从上面可以看到h265比h264多了一个VPS，VPS是视频参数集。
我们这里看一下经过h265编码器编码后的码流文件，截取文件开头的数据， 因为h265码流最开始永远是VPS，SPS,PPS，可能含有SEI，后面接着是I帧P帧数据。
16进制打开文件如下：
0000 0001 4001 0c01 ffff 0160 0000 0300 // 4001
b000 0003 0000 0300 5aac 0900 0000 0142 // 4201
0101 0160 0000 0300 b000 0003 0000 0300
5aa0 0442 00f0 77e5 aee4 c92e a520 a0c0
c05d a142 5000 0000 0144 01c0 e30f 0330 // 4401
840a 0000 0001 2601 af0b e075 8d53 b010 // 2601
af65 bfb4 0b53 823d e91c ad66 f973 ce21
5d92 9227 9159 3dc6 2cae 5adf 4cda f9b5
6105 3165 97cd 64cd f04d 09d5 5e10 d231
// ...省略其它数据
2f04 c9cc 1e01 700a 0000 0001 0201 d08f // 0201
// ...省略其它数据
二、单元NALU结构
可以看到上面的数据和h264一样，H265的NALU的结构也是：启始码+ NALU头+NALU数据。如果NALU对应的Slice为一帧的开始（即视频流的首个NALU）就用0x00000001，否则就用0x000001。
- 启始码：是一个固定值4个字节00 00 00 01（十六进制）或者3个字节00 00 01（十六进制）
- NALU的头大小为2个字节，第1为是0，第2-7位是NALU的类型，表示该NALU的数据内容是什么类型的，是VPS，SPS,PPS，SEI，I帧还是P帧。第8-15位是1
- NALU的数据就是编码器编出来的图像信息或者图像压缩数据了
NALU的nal_unit_type官方文档所示：
可以上面的文件数据片段中可以计算出6种NALU的头类型nal_unit_type，取2个字节的2-7位即可。计算方法：
// 0x7E的二进制的后8位是 0111 1110
int naluType = (byteOffset & 0x7E) >> 1
byteOffset就是00 00 00 01或者00 00 01后面的2个字节：
- VPS（视频参数集）NALU的头值为0x4001（十六进制），取出2-7位（40 & 0x7E）>>1 =32(十进制)
- SPS(序列参数集)NALU的头值为0x4201（十六进制），取出2-7位（42 & 0x7E）>>1 =33(十进制)
- PPS(图像参数集)NALU的头值为0x4401（十六进制），取出2-7位（44 & 0x7E）>>1 =34(十进制)
- SEI(补充增强信息)NALU的头值为0x4e01（十六进制），取出2-7位（4e & 0x7E）>>1 =39(十进制)
- I帧 NALU的头值为0x2601（十六进制），取出2-7位（26 & 0x7E）>>1 =19(十进制)
- P帧 NALU的头值为0x0201（十六进制），取出2-7位（02& 0x7E）>>1 =1(十进制)
NALU的类型官方文档所示：
RBSP的结构
H265的 RBSP（raw byte sequence payload）和H264的一样。
NAL根据送压缩数据的规则，可以封装称不同的NALU, NALU包含VPS,SPS,PPSl类型信息，还包含视频片（Slice）的压缩数据，包含压缩的NALU被称为VCLU(VCL NALU)，包含其它信息的压缩数据的NALU,则被称为non-VCLU(non-VCL NALU)。
H265下的NALU包含两部分数据结构：NALU头（header）和负载（payload），NALU头长度为固定的2字节，反应NALU的内容特征，而NALU的负载长度为整数字节，包含视频压缩后的原始字节序列负载RBSP（raw byte sequence payload）。RBSP是对视频 编码后的原始比特流片段SODB（string of data bits）进行添加尾部（添加比特1，以凑足整字节）的包装。
同样在H265中，为了避免字节流片段和NALU的启起码及结束码发生冲突，需要对RBSP的字节流进行冲突处理0x3，经过处理后的RBSP才可以直接作为NALU的负载信息，才可以进程磁盘保存和网络传输。
文章参考：http://t.csdn.cn/9iPQe
版权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供信息存储空间服务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至1393616908@qq.com 举报，一经查实，本站将立刻删除。
