h264的基本原理-ag真人游戏

h264 是 mpeg-4 标准所定义的编码格式，标准写法应该是h.264。

h264 视频格式是经过有损压缩的，但在技术上尽可能做的降低存储体积下获得较好图像质量和低带宽图像快速传输。 

h264压缩技术主要采用了以下几种方法对视频数据进行压缩。包括：

• 帧内预测压缩，解决的是空域数据冗余问题。
• 帧间预测压缩（运动估计与补偿），解决的是时域数据冗余问题。
• 整数离散余弦变换（dct），将空间上的相关性变为频域上无关的数据然后进行量化。
• cabac压缩。

h264结构中，一个视频图像编码后的数据叫做一帧，一帧由一个片（slice）或多个片组成，一个片由一个或多个宏块（mb）组成，一个宏块由16x16的yuv数据组成。宏块作为h264编码的基本单位。

在h264协议内定义了三种帧，分别是i帧、b帧与p帧。i帧就是之前所说的一个完整的图像帧，而b、帧与p帧所对应的就是之前说的不编码全部图像的帧。p帧与b帧的差别就是p帧是参考之前的i帧而生成的，而b帧是参考前后图像帧编码生成的。

经过压缩后的帧分为：i帧，p帧和b帧:

• i帧：关键帧，采用帧内压缩技术。你可以理解为这一帧画面的完整保留；解码时只需要本帧数据就可以完成（因为包含完整画面）
• p帧：向前参考帧，在压缩时，只参考前面已经处理的帧。采用帧间压缩技术。p帧表示的是这一帧跟之前的一个关键帧（或p帧）的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。（也就是差别帧，p帧没有完整画面数据，只有与前一帧的画面差别的数据）
• b帧：双向参考帧，在压缩时，它既参考前而的帧，又参考它后面的帧。采用帧间压缩技术。b帧记录的是本帧与前后帧的差别（具体比较复杂，有4种情况），换言之，要解码b帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。b帧压缩率高，但是解码时cpu会比较累~。

还有一个概念是，idr帧：

一个序列的第一个图像叫做 idr 图像（立即刷新图像），idr 图像都是 i 帧图像。h.264 引入 idr 图像是为了解码的重同步，当解码器解码到 idr 图像时，立即将参考帧队列清空，将已解码的数据全部输出或抛弃，重新查找参数集，开始一个新的序列。这样，如果前一个序列出现重大错误，在这里可以获得重新同步的机会。idr图像之后的图像永远不会使用idr之前的图像的数据来解码。idr 图像一定是 i 图像，但i图像不一定是 idr 图像。一个序列中可以有很多的i图像，i 图像之后的图像可以引用 i 图像之间的图像做运动参考。

还有一点注意的，对于 idr 帧来说，在 idr 帧之后的所有帧都不能引用任何 idr 帧之前的帧的内容，与此相反，对于普通的 i 帧来说，位于其之后的 b- 和 p- 帧可以引用位于普通 i- 帧之前的 i- 帧。从随机存取的视频流中，播放器永远可以从一个 idr 帧播放，因为在它之后没有任何帧引用之前的帧。但是，不能在一个没有 idr 帧的视频中从任意点开始播放，因为后面的帧总是会引用前面的帧。

继续再多补充一个概念，图像组（gop）：

一个序列就是一段内容差异不太大的图像编码后生成的一串数据流。当运动变化比较少时，一个序列可以很长，因为运动变化少就代表图像画面的内容变动很小，所以就可以编一个 i 帧，然后一直 p 帧、b 帧了。当运动变化多时，可能一个序列就比较短了，比如就包含一个 i 帧和 3、4个p帧。

gop是画面组，一个gop是一组连续的画面。
gop一般有两个数字，如m=3，n=12。m指定i帧与p帧之间的距离，n指定两个i帧之间的距离。那么现在的gop结构是：

​

i 帧、b帧、p帧还有一些特点，如下：
i帧特点:
1)它是一个全帧压缩编码帧。它将全帧图像信息进行jpeg压缩编码及传输;
2)解码时仅用i帧的数据就可重构完整图像;
3)i帧描述了图像背景和运动主体的详情;
4)i帧不需要参考其他画面而生成;
5)i帧是p帧和b帧的参考帧(其质量直接影响到同组中以后各帧的质量);
6)i帧是帧组gop的基础帧(第一帧),在一组中只有一个i帧;
7)i帧不需要考虑运动矢量;
8)i帧所占数据的信息量比较大。

p帧特点:
1)p帧是i帧后面相隔1~2帧的编码帧;
2)p帧采用运动补偿的方法传送它与前面的i或p帧的差值及运动矢量(预测误差);
3)解码时必须将i帧中的预测值与预测误差求和后才能重构完整的p帧图像;
4)p帧属于前向预测的帧间编码。它只参考前面最靠近它的i帧或p帧;
5)p帧可以是其后面p帧的参考帧,也可以是其前后的b帧的参考帧;
6)由于p帧是参考帧,它可能造成解码错误的扩散;
7)由于是差值传送,p帧的压缩比较高。

b帧特点：
1）b帧是由前面的i或p帧和后面的p帧来进行预测的;
2）b帧传送的是它与前面的i或p帧和后面的p帧之间的预测误差及运动矢量;
3）b帧是双向预测编码帧;
4）b帧压缩比最高,因为它只反映并参考帧间运动主体的变化情况,预测比较准确;加大b帧的数量可以有效地提高视频数据的压缩比，但是在实时互动的环境下，过多的b帧会引起延时，因为b帧会过分的依赖于前后帧，在网络好的环境下，可以正常的传输帧，这样没有什么问题，但是在网络不好的时候，b帧会等待其他帧到来，会引起延时。
5）b帧不是参考帧,不会造成解码错误的扩散。

注:i、b、p各帧是根据压缩算法的需要，是人为定义的,它们都是实实在在的物理帧。一般来说，i帧的压缩率是7（跟jpg差不多），p帧是20，b帧可以达到50。可见使用b帧能节省大量空间，节省出来的空间可以用来保存多一些i帧，这样在相同码率下，可以提供更好的画质。

备注：

视频传输中会出现连个比较常见的现象，花屏 和 卡顿

(1)如果在gop分组中的p帧丢失，会造成解码端的图像发生错误。这就是花屏。gop一组帧呈现出的连贯效果，由于p帧丢失，它需要更新的部分就没有，所以无法正常呈现。故出现花屏现象。

(2)为了解决花屏的问题发生，我们可以将丢失 p帧 或是 i帧 的 gop 丢掉（包含其中的所有帧），直到下一个i帧再重新刷新图像。但是由于这一帧丢掉了，所以会出现卡顿。

h264的基本原理其实非常简单，我们就简单的描述一下h264压缩数据的过程。通过摄像头采集到的视频帧（按每秒 30 帧算），被送到 h264 编码器的缓冲区中。编码器先要为每一幅图片划分宏块。

h264采用的核心算法是帧内压缩和帧间压缩，帧内压缩是生成i帧的算法，帧间压缩是生成b帧和p帧的算法。

帧内（intraframe）压缩也称为空间压缩（spatialcompression）。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法，由于帧内压缩是编码一个完整的图像，所以可以独立的解码、显示。帧内压缩一般达不到很高的压缩，跟编码jpeg差不多。

帧间（interframe）压缩的原理是：相邻几帧的数据有很大的相关性，或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之间具有冗余信息,根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压缩量，减小压缩比。帧间压缩也称为时间压缩（temporalcompression），它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。帧差值（framedifferencing）算法是一种典型的时间压缩法，它通过比较本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，这样可以大大减少数据量。

压缩方式说明

step1：分组，也就是将一系列变换不大的图像归为一个组，也就是一个序列，也可以叫gop（画面组）；

step2：定义帧，将每组的图像帧归分为i帧、p帧和b帧三种类型；

step3：预测帧， 以i帧做为基础帧,以i帧预测p帧,再由i帧和p帧预测b帧;

step4：数据传输， 最后将i帧数据与预测的差值信息进行存储和传输。

1. 1. 划分宏块

h264默认是使用 16x16 大小的区域作为一个宏块，也可以划分成 8x8 大小。

划分好宏块后，计算宏块的象素值。

以此类推，计算一幅图像中每个宏块的像素值，所有宏块都处理完后如下面的样子。

1. 1. 划分子块

h264对比较平坦的图像使用 16x16 大小的宏块。但为了更高的压缩率，还可以在 16x16 的宏块上更划分出更小的子块。子块的大小可以是 8x16､ 16x8､ 8x8､ 4x8､ 8x4､ 4x4非常的灵活。

上幅图中，红框内的 16x16 宏块中大部分是蓝色背景，而三只鹰的部分图像被划在了该宏块内，为了更好的处理三只鹰的部分图像，h264就在 16x16 的宏块内又划分出了多个子块。

这样再经过帧内压缩，可以得到更高效的数据。下图是分别使用mpeg-2和h264对上面宏块进行压缩后的结果。其中左半部分为mpeg-2子块划分后压缩的结果，右半部分为h264的子块划压缩后的结果，可以看出h264的划分方法更具优势。

宏块划分好后，就可以对h264编码器缓存中的所有图片进行分组了。

1. 1. 帧分组

对于视频数据主要有两类数据冗余，一类是时间上的数据冗余，另一类是空间上的数据冗余。其中时间上的数据冗余是最大的。下面我们就先来说说视频数据时间上的冗余问题。

为什么说时间上的冗余是最大的呢？假设摄像头每秒抓取30帧，这30帧的数据大部分情况下都是相关联的。也有可能不止30帧的的数据，可能几十帧，上百帧的数据都是关联特别密切的。

对于这些关联特别密切的帧，其实我们只需要保存一帧的数据，其它帧都可以通过这一帧再按某种规则预测出来，所以说视频数据在时间上的冗余是最多的。

为了达到相关帧通过预测的方法来压缩数据，就需要将视频帧进行分组。那么如何判定某些帧关系密切，可以划为一组呢？我们来看一下例子，下面是捕获的一组运动的台球的视频帧，台球从右上角滚到了左下角。

h264编码器会按顺序，每次取出两幅相邻的帧进行宏块比较，计算两帧的相似度。如下图：

通过宏块扫描与宏块搜索可以发现这两个帧的关联度是非常高的。进而发现这一组帧的关联度都是非常高的。因此，上面这几帧就可以划分为一组。其算法是：在相邻几幅图像画面中，一般有差别的像素只有10%以内的点,亮度差值变化不超过2%，而色度差值的变化只有1%以内，我们认为这样的图可以分到一组。

在这样一组帧中，经过编码后，我们只保留第一帧的完整数据，其它帧都通过参考上一帧计算出来。我们称第一帧为idr／i帧，其它帧我们称为p／b帧，这样编码后的数据帧组我们称为gop。

1. 1. 运动估计与补偿

在h264编码器中将帧分组后，就要计算帧组内物体的运动矢量了。还以上面运动的台球视频帧为例，我们来看一下它是如何计算运动矢量的。

h264编码器首先按顺序从缓冲区头部取出两帧视频数据，然后进行宏块扫描。当发现其中一幅图片中有物体时，就在另一幅图的邻近位置（搜索窗口中）进行搜索。如果此时在另一幅图中找到该物体，那么就可以计算出物体的运动矢量了。下面这幅图就是搜索后的台球移动的位置。

通过上图中台球位置相差，就可以计算出台球运行的方向和距离。h264依次把每一帧中球移动的距离和方向都记录下来就成了下面的样子。

运动矢量计算出来后，将相同部分（也就是绿色部分）减去，就得到了补偿数据。我们最终只需要将补偿数据进行压缩保存，以后在解码时就可以恢复原图了。压缩补偿后的数据只需要记录很少的一点数据。如下所示：

我们把运动矢量与补偿称为帧间压缩技术，它解决的是视频帧在时间上的数据冗余。除了帧间压缩，帧内也要进行数据压缩，帧内数据压缩解决的是空间上的数据冗余。下面我们就来介绍一下帧内压缩技术。

1. 1. 帧内预测

人眼对图象都有一个识别度，对低频的亮度很敏感，对高频的亮度不太敏感。所以基于一些研究，可以将一幅图像中人眼不敏感的数据去除掉。这样就提出了帧内预测技术。

h264的帧内压缩与jpeg很相似。一幅图像被划分好宏块后，对每个宏块可以进行 9 种模式的预测。找出与原图最接近的一种预测模式。

下面这幅图是对整幅图中的每个宏块进行预测的过程。

帧内预测后的图像与原始图像的对比如下：

然后，将原始图像与帧内预测后的图像相减得残差值。

再将我们之前得到的预测模式信息一起保存起来，这样我们就可以在解码时恢复原图了。效果如下：

经过帧内与帧间的压缩后，虽然数据有大幅减少，但还有优化的空间。

1. 1. 对残差数据做dct

可以将残差数据做整数离散余弦变换，去掉数据的相关性，进一步压缩数据。如下图所示，左侧为原数据的宏块，右侧为计算出的残差数据的宏块。

将残差数据宏块数字化后如下图所示：

将残差数据宏块进行 dct 转换。

去掉相关联的数据后，我们可以看出数据被进一步压缩了。

做完 dct 后，还不够，还要进行 cabac 进行无损压缩。

1. 1. cabac

上面的帧内压缩是属于有损压缩技术。也就是说图像被压缩后，无法完全复原。而cabac属于无损压缩技术。

无损压缩技术大家最熟悉的可能就是哈夫曼编码了，给高频的词一个短码，给低频词一个长码从而达到数据压缩的目的。mpeg-2中使用的vlc就是这种算法，我们以 a-z 作为例子，a属于高频数据，z属于低频数据。看看它是如何做的。

cabac也是给高频数据短码，给低频数据长码。同时还会根据上下文相关性进行压缩，这种方式又比vlc高效很多。其效果如下：

现在将 a-z 换成视频帧，它就成了下面的样子。

从上面这张图中明显可以看出采用 cacba 的无损压缩方案要比 vlc 高效的多。

h264的主要目标是为了有高的视频压缩比和良好的网络亲和性，为了达成这两个目标，h264的ag真人游戏的解决方案是将系统框架分为两个层面，分别是视频编码层面（vcl）和网络抽象层面（nal），如图；

h.264原始码流(裸流)是由一个接一个nalu组成，它的功能分为两层，vcl(视频编码层)和 nal(网络抽象层).

vcl(video coding layer)   nal(network abstraction layer).

1. vcl：包括核心压缩引擎和块，宏块和片的语法级别定义，设计目标是尽可能地独立于网络进行高效的编码；
2. nal：负责将vcl产生的比特字符串适配到各种各样的网络和多元环境中，覆盖了所有片级以上的语法级别。

因为h264最终还是要在网络上进行传输，在传输的时候，网络包的最大传输单元是1500字节，一个h264的帧往往是大于1500字节的，所以需要将一个帧拆成多个包进行传输。这些拆包、组包等工作都在nal层去处理。

在vcl进行数据传输或存储之前，这些编码的vcl数据，被映射或封装进nal单元（nalu）。

h264码流是由一个个的nal单元组成，其中sps、pps、idr和slice是nal单元某一类型的数据。

1. h264的nal单元

一个nalu = 一组对应于视频编码的nalu头部信息 一个原始字节序列负荷(rbsp,raw byte sequence payload).

如图所示，下图中的nalu的头 rbsp 就相当于一个nalu(nal unit),每个单元都按独立的nalu传送。h.264的结构全部都是以nalu为主，理解了nalu，就理解了h.264的结构。
一个原始的h.264 nalu 单元常由 [startcode] [nalu header] [nalu payload] 三部分组成，其中 start code 用于标示这是一个nalu 单元的开始，必须是”00 00 00 01” 或”00 00 01”

3字节的0x000001只有一种场合下使用，就是一个完整的帧被编为多个slice的时候，包含这些slice的nalu使用3字节起始码。其余场合都是4字节的。

1. 1. nal header

nal单元的头部是由forbidden_bit(1bit)，nal_reference_bit(2bits)（优先级），nal_unit_type(5bits)（类型）三个部分组成的。

1、f(forbiden):禁止位，占用nal头的第一个位，当禁止位值为1时表示语法错误；

2、nri:参考级别，占用nal头的第二到第三个位；值越大，该nal越重要。

3、type:nal单元数据类型，也就是标识该nal单元的数据类型是哪种，占用nal头的第四到第8个位；

举例来说：

00 00 00 01 06:  sei信息  

00 00 00 01 67:  0x67&0x1f = 0x07 :sps

00 00 00 01 68:  0x68&0x1f = 0x08 :pps

00 00 00 01 65:  0x65&0x1f = 0x05: idr slice

       在具体介绍nal数据类型前，有必要知道nal分为vcl和非vcl的nal单元。其中sps、sei、pps等非vcl的nal参数对解码和显示视频都是很有用的。

        而另外一个需要了解的概念就是参数集（parameter sets），参数集是携带解码参数的nal单元，参数集对于正确解码是非常重要的，在一个有损耗的传输场景中，传输过程中比特列或包可能丢失或损坏，在这种网络环境下，参数集可以通过高质量的服务来发送，比如向前纠错机制或优先级机制。parameter sets与其之外的句法元素之间的关系如图9所示：

每种类型都有代表一种数据类型，比较重要的以下几种做个简单的介绍：

1、非vcl的nal数据类型：

1）、sps（序列参数集）：sps对如标识符、帧数以及参考帧数目、解码图像尺寸和帧场模式等解码参数进行标识记录。

2）、pps（图像参数集）：pps对如熵编码类型、有效参考图像的数目和初始化等解码参数进行标志记录。

3）、sei(补充增强信息)：这部分参数可作为h264的比特流数据而被传输，每一个sei信息被封装成一个nal单元。sei对于解码器来说可能是有用的，但是对于基本的解码过程来说，并不是必须的。

@：先标记一下，sps、pps内容是编码器给的。（出处的话，慢慢研究）

2、vcl的nal数据类型

1）、 头信息块，包括宏块类型，量化参数，运动矢量。这些信息是最重要的，因为离开他们，被的数据块种的码元都无法使用。该数据分块称为a类数据分块。

2）、 帧内编码信息数据块，称为b类数据分块。它包含帧内编码宏块类型，帧内编码系数。对应的slice来说，b类数据分块的可用性依赖于a类数据分块。和帧间编码信息数据块不通的是，帧内编码信息能防止进一步的偏差，因此比帧间编码信息更重要。

3）、 帧间编码信息数据块，称为c类数据分块。它包含帧间编码宏块类型，帧间编码系数。它通常是slice种最大的一部分。帧间编码信息数据块是不重要的一部分。它所包含的信息并不提供编解码器之间的同步。c类数据分块的可用性也依赖于a类数据分块，但于b类数据分块无关。

以上三种数据块每种分割被单独的存放在一个nal单元中，因此可以被单独传输。

1. 1. rbsp原始字节序列负荷

序列举例

sodb与rbsp
sodb 数据比特串 -> 是编码后的原始数据.
rbsp 原始字节序列载荷 -> 在原始编码数据的后面添加了 结尾比特。一个 bit“1”若干比特“0”，以便字节对齐。

（1）sodb ，string of data bits 原始数据比特流

        因为它是流的形式，所以长度不一定是8倍数，它是由 vlc 层产生的。由于我们计算机是以8倍数去处理数据所以计算机在处理h264时，就需要 rbsp。

（2）rbsp，sodb tailing bits （原始字节序列载荷）

        由于它是一个压缩流，sodb 不知道是在何处结束，所以算法在sodb最后一位补一个1，没有按字节对齐的则补 0。

（3）ebsp （扩展字节序列载荷）

        在生成压缩流之后，在每一帧的开头加一个起始位，这个起始位一般是 00 00 00 01 或者是 00 00 01。所以在h264码流中规定每有两个连续的00 00，就增加一个0x03。

补充：ebsp 和 rbsp的区别

        a、nalu的主体涉及到三个重要的名词，分别为ebsp、rbsp和sodb。其中ebsp完全等价于nalu主体，而且它们三个的结构关系为：ebsp包含rbsp，rbsp包含sodb。

        在h264的文档中，并没有ebsp这一名词出现，但是在h264的官方参考软件jm里，却使用了ebsp。nalu的组成部分为：

        nalu = nalu header rbsp

        其实严格来说，这个等式是不成立的，因为rbsp并不等于nalu刨去nalu header。严格来说，nalu的组成部分应为：

        nalu = nalu header ebsp

        其中的ebsp为扩展字节序列载荷（encapsulated byte sequence payload），而rbsp为原始字节序列载荷（raw byte sequence payload）。

         b、那为什么要弄一个ebsp呢？

        ebsp相较于rbsp，多了防止竞争的一个字节：0x03。

        我们知道，nalu的起始码为0x000001或0x00000001，同时h264规定，当检测到0x000000时，也可以表示当前nalu的结束。那这样就会产生一个问题，就是如果在nalu的内部，出现了0x000001或0x000000时该怎么办？

        所以h264就提出了“防止竞争”这样一种机制，当编码器编码完一个nal时，应该检测nalu内部，是否出现如下左侧的四个序列。当检测到它们存在时，编码器就在最后一个字节前，插入一个新的字节：0x03。

        这样一来，当我们拿到ebsp时，就需要检测ebsp内是否有序列：0x000003，如果有，则去掉其中的0x03。这样一来，我们就能得到原始字节序列载荷：rbsp。

1. 1. 1. sps 和 pps

sps即sequence paramater set，又称作序列参数集。sps中保存了一组编码视频序列(coded video sequence)的全局参数。存放包括：帧数、参考帧数目、解码图像尺寸、帧场编码模式选择标识等。所谓的编码视频序列即原始视频的一帧一帧的像素数据经过编码之后的结构组成的序列。而每一帧的编码后数据所依赖的参数保存于图像参数集中。一般情况sps和pps的nal unit通常位于整个码流的起始位置。但在某些特殊情况下，在码流中间也可能出现这两种结构，主要原因可能为：

解码器需要在码流中间开始解码；
编码器在编码的过程中改变了码流的参数（如图像分辨率等）；
h.264中另一重要的参数集合为图像参数集picture paramater set(pps)。和图像相关的参数集，存放包括：熵编码模式选择标识、片组数目、初始量化参数和去方块滤波系数调整标识等。通常情况下，pps类似于sps，在h.264的裸码流中单独保存在一个nal unit中，只是pps nal unit的nal_unit_type值为8；而在封装格式中，pps通常与sps一起，保存在视频文件的文件头中。

在一组帧之前，首先要收到sps 和 pps ，不然的话是无法解码的。这两组数据划分为i帧，是不能丢的。

1. 1. h264的nal单元与片，宏之间的联系

        其实到这里可能就比较难理解了，为什么数据nal单元中有这么多数据类型，这个slice又是什么东西，为什么不直接是编码后出来的原始字节序列载荷，所以我觉得在这里再讲述帧所细分的一些片和宏的概念应该是比较合适的，也是能够参照上下文更能理解这些概念的位置，又能给这些困惑做一个合理一点的解释，所以在此做一个描述：

1帧（一幅图像） = 1~n个片（slice）  //也可以说1到多个片为一个片组

1个片 = 1~n个宏块（marcroblock）

1个宏块 = 16x16的yuv数据（原始视频采集数据）

从数据层次角度来说，一幅原始的图片可以算作广义上的一帧，帧包含片组和片，片组由片来组成，片由宏块来组成，每个宏块可以是4*4、8*8、16*16像素规模的大小，它们之间的联系如图10所示。每个片都是一个独立的编码单位。

                                                图10

从容纳数据角度来说，nal单元除了容纳slice编码的码流外，还可以容纳其他数据，这也就是为什么有sps、pps等这些数据出现的原因，并且这些数据在传输h264码流的过程中起到不可或缺的作用，具体作用上面也是有讲到的。

那么也就可以对下面这些概念做一个大小的排序了：

                序列>图像>片>宏>像素（当然还有片组、亚宏块等等这些概念，初步了解就不了解这么深了，后面再慢慢研究）

同时有几点需要说明一下，这样能便于理解nal单元：

（1）、如果不采用 fmo（灵活宏块排序） 机制，则一幅图像只有一个片组；

（2）、如果不使用多个片，则一个片组只有一个片；

（3）、如果不采用 dp（数据分割）机制，则一个片就是一个 nalu，一个 nalu 也就是一个片。

   否则，一个片的组成需要由 三个 nalu 组成，也就是上面说到的a、b、c类数据块。

这时候在看下面这幅码流数据分层图11就比较能理解整体的码流结构组成了；

                                                       图11

    如我们所见，每个分片也包含着头和数据两部分，分片头中包含着分片类型、分片中的宏块类型、分片帧的数量以及对应的帧的设置和参数等信息，而分片数据中则是宏块，这里就是我们要找的存储像素数据的地方；宏块是视频信息的主要承载者，因为它包含着每一个像素的亮度和色度信息。视频解码最主要的工作则是提供高效的方式从码流中获得宏块中的像素阵列。宏块数据的组成如下图12所示：

                                    图12

    从上图中，可以看到，宏块中包含了宏块类型、预测类型、coded block pattern、quantization parameter、像素的亮度和色度数据集等等信息。

至此，我们对 h.264 的码流数据结构应该有了一个大致的了解。

1. 1. 1. slice(片)

如图所示，nalu的主体中包含了slice(片).

一个片 = slice header   slice data

片是h.264提出的新概念，通过编码图片后切分通过高效的方式整合出来的概念。一张图片有一个或者多个片，而片由nalu装载并进行网络传输的。但是nalu不一定是切片，这是充分不必要条件，因为 nalu 还有可能装载着其他用作描述视频的信息.

那么为什么要设置片呢?
设置片的目的是为了限制误码的扩散和传输，应使编码片相互间是独立的。某片的预测不能以其他片中的宏块为参考图像，这样某一片中的预测误差才不会传播到其他片中。

可以看到上图中，每个图像中，若干宏块(macroblock)被排列成片。一个视频图像可编程一个或更多个片，每片包含整数个宏块 (mb),每片至少包含一个宏块。
片有一下五种类型:

1. 1. 1. 宏块(macroblock)

刚才在片中提到了宏块.那么什么是宏块呢？
宏块是视频信息的主要承载者。一个编码图像通常划分为多个宏块组成.包含着每一个像素的亮度和色度信息。视频解码最主要的工作则是提供高效的方式从码流中获得宏块中像素阵列。

1

一个宏块 = 一个16*16的亮度像素   一个8×8cb   一个8×8cr彩色像素块组成。(ycbcr 是属于 yuv 家族的一员,在ycbcr 中 y 是指亮度分量，cb 指蓝色色度分量，而 cr 指红色色度分量)

图2.1句发元素的分层结构,在 h.264 中，句法元素共被组织成 序列、图像、片、宏块、子宏块五个层次。
句法元素的分层结构有助于更有效地节省码流。例如，再一个图像中，经常会在各个片之间有相同的数据，如果每个片都同时携带这些数据，势必会造成码流的浪费。更为有效的做法是将该图像的公共信息抽取出来，形成图像一级的句法元素，而在片级只携带该片自身独有的句法元素。

图2.2宏块的句法单元

1. 1. 1. 图像,场和帧

图像是个集合概念，顶 场、底场、帧都可以称为图像。对于h.264 协议来说，我们平常所熟悉的那些称呼，例如： i 帧、p 帧、b帧等等，实际上都是我们把图像这个概念具体化和细小化了。我们 在 h.264里提到的“帧”通常就是指不分场的图像；

视频的一场或一帧可用来产生一个编码图像。一帧通常是一个完整的图像。当采集视频信号时，如果采用隔行扫描(奇.偶数行),则扫描下来的一帧图像就被分为了两个部分,这每一部分就被称为 [场],根据次序氛围: [顶场] 和 [底场]。