用于对多层视频进行编码的方法和设备、用于对多层视频进行解码的方法和设备的制造方法
【技术领域】
[0001] 本发明构思设及多层视频的编码和解码，更具体地，设及一种管理存储解码画面 的解码画面缓冲器的方法。
【背景技术】
[000引一般地，图像数据由编解码器根据预定的数据压缩标准（例如，运动图像专家组 (M阳G)标准）进行编码，然后W比特流的形式存储在信息存储介质中或者经由通信信道发 送。
[0003] 作为视频压缩方法的可伸缩视频编码（SVC)根据各种通信网络和终端适当地调 整并发送信息量。多视点视频编码压缩诸如=维图像的多视点视频。
[0004] 运样的常规的SVC或多视点视频编码通过使用基于预定尺寸的宏块的有限编码 方法来对视频进行编码。
【发明内容】
[000引技术问题
[0006] 本发明构思提供一种高效地管理在对多层视频中所包括的画面进行解码时使用 的解码画面缓冲器的方法。本发明构思还提供一种高效地发送多层中所包括的参考画面信 息W便在对多层视频进行解码时高效地管理解码画面缓冲器的方法。
[0007] 技术方案
[0008] 根据本发明构思的示例性实施例，通过在层间预测期间用信号发送被多层的每个 画面参考的参考画面信息来管理解码画面缓冲器。
[0009] 有益效果
[0010] 根据本发明构思的示例性实施例，通过在层间预测期间用信号发送被多层的每个 画面参考的参考画面信息来管理解码画面缓冲器。根据本发明构思的示例性实施例，可通 过反映多层视频中所包括的画面的层间预测来高效地发送各个画面之间的参考关系。另 夕F，根据本发明构思的示例性实施例，可高效地管理在对多层视频进行解码时使用的解码 画面缓冲器。
【附图说明】
[0011] 图1是根据本发明构思的示例性实施例的基于具有树结构的编码单元的视频编 码设备的框图。
[0012] 图2是根据本发明构思的示例性实施例的基于具有树结构的编码单元的视频解 码设备的框图。
[0013] 图3是用于描述根据本发明构思的示例性实施例的编码单元的概念的示图。
[0014]图4是根据本发明构思的示例性实施例的基于编码单元的图像编码器的框图；
[0015] 图5是根据本发明构思的示例性实施例的基于编码单元的图像解码器的框图。
[0016] 图6是示出根据本发明构思的示例性实施例的根据深度和分区（partition)的编 码单元的示图。
[0017] 图7是用于描述根据本发明构思的示例性实施例的编码单元和变换单元之间的 关系的示图。
[0018] 图8是用于描述根据本发明构思的示例性实施例的与编码的深度相应的编码单 元的编码信息的示图。
[0019] 图9是根据本发明构思的示例性实施例的根据深度的编码单元的示图。
[0020] 图10至12是用于描述根据本发明构思的示例性实施例的编码单元、预测单元和 变换单元之间的关系的示图。
[0021] 图13是用于描述根据表1的编码模式信息的、编码单元、预测单元和变换单元之 间的关系的示图。
[0022] 图14是根据本发明构思的示例性实施例的多层视频解码设备的框图。
[0023] 图15是根据示例性实施例的多层视频编码方法的流程图。
[0024] 图16是示出根据示例性实施例的多层视频解码设备的框图。
[0025] 图17是根据示例性实施例的多层视频解码方法的流程图。
[0026] 图18示出根据示例性实施例的层间预测结构的示例。
[0027] 图19示出根据示例性实施例的用于解释RPS的编码结构。
[0028] 图20是根据示例性实施例的对WS信息进行解码和对当前画面进行解码的处理 的流程图。
[0029] 图21是用于解释根据示例性实施例的除了层间WS信息之外的WS子集的参考 示图。
[0030] 图22是用于解释层间RPS信息的参考示图。
【具体实施方式】
[0031] 最优模式
[0032] 根据本发明构思的一方面，提供一种多层视频解码方法，该方法包括：对第一层画 面进行解码，将第一层画面存储在解码画面缓冲器值PB)中，并将第一层画面标记为短期 参考画面；获得第二层画面的层间参考画面集（RP巧信息，其中，第二层画面具有与第一层 画面的画面顺序计数（POC)相同的第一P0C，并且是通过参考第一层画面而被层间预测的； 基于层间WS信息将被标记为短期参考画面的第一层画面标记为长期参考画面；通过参考 被标记为长期参考画面的第一层画面来对第二层画面执行层间预测。
[0033] 根据本发明构思的另一方面，提供一种多层视频解码设备，该设备包括：解码画 面缓冲器，被配置为存储解码画面；解析器，被配置为获得第二层画面的层间参考画面集 (RP巧信息，其中，所述第二层画面具有与先前解码的第一层画面的POC相同的第一P0C，并 且是通过参考第一层画面而被层间预测的；解码画面缓冲器控制器，被配置为将第一层画 面存储在解码画面缓冲器中，将第一层画面标记为短期参考画面，并基于层间WS信息将 被标记为短期参考画面的第一层画面标记为长期参考画面；W及视频解码器，被配置为对 多层中所包括的画面进行解码，并通过参考被标记为长期参考画面的第一层画面来对第二 层画面执行层间预测。
[0034] 根据本发明构思的另一方面，提供一种多层视频编码方法，该方法包括：通过对多 层中所包括的画面执行帖内预测、帖间预测和层间预测来确定所述多层中所包括的画面之 间的参考关系；并基于所述参考关系来产生关于其它层中所包括的画面的层间参考画面集 (RP巧信息，其中，层间WS信息指示具有相同的画面顺序计数（POC)且包括在不同层中的 画面之间的参考关系。
[0035] 根据本发明构思的另一方面，提供一种多层视频编码设备，该设备包括：视频编码 器，被配置为通过对多层中所包括的画面执行帖内预测、帖间预测和层间预测来确定所述 多层中所包括的画面之间的参考关系；W及参考画面集（RP巧信息产生单元，被配置为基 于所述参考关系来产生层间WS信息，其中，层间WS信息指示具有相同的画面顺序计数 (POC)且包括在不同层中的画面之间的参考关系。
[0036] 本发明构思的模式
[0037] 现在将参照附图更充分地描述本发明构思，在附图中，示出了示例性实施例。
[003引图1是根据本发明构思的示例性实施例的视频编码设备的框图。
[0039] 根据示例性实施例的视频编码设备100包括最大编码单元划分器110、编码单元 确定器120和输出单元130。
[0040] 最大编码单元划分器110可基于最大编码单元来对当前画面进行划分，其中，最 大编码单元是具有图像的当前画面的最大尺寸的编码单元。如果当前画面大于最大编码单 元，则可将当前画面的图像数据划分成至少一个最大编码单元。根据示例性实施例的最大 编码单元可W是尺寸为32X32、64X64、128X128或256X256等的数据单元，其中，该数据 单元的形状是宽度和长度均等于2次幕并且大于8的正方形。图像数据可根据所述至少一 个最大编码单元被输出到编码单元确定器120。
[0041] 根据示例性实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从最 大编码单元被空间划分的次数，并且随着深度加深，根据深度的较深层编码单元可从最大 编码单元被划分到最小编码单元。最大编码单元的深度为最高深度，最小编码单元的深度 为最低深度。由于随着最大编码单元的深度加深，与每个深度相应的编码单元的尺寸减小， 因此与更高深度相应的编码单元可包括多个与更低深度相应的编码单元。
[0042] 如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分成最大编码单 元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。由于根据深度对根 据示例性实施例的最大编码单元进行划分，因此可根据深度对包括在最大编码单元中的空 间域的图像数据进行分层地分类。
[0043] 可预先设置编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限 制对最大编码单元的高度和宽度进行分层划分的总次数。
[0044] 编码单元确定器120对通过根据深度对最大编码单元的区域进行划分而获得的 至少一个划分区域进行编码，并根据所述至少一个划分区域来确定用于输出最终编码结果 的深度。换言之，编码单元确定器120通过根据当前画面的最大编码单元W根据深度的较 深层编码单元对图像数据进行编码，选择具有最小编码误差的深度，来确定编码深度。确定 的编码深度和根据最大编码单元的图像数据被输出到输出单元130。
[0045] 基于与等于或低于最大深度的至少一个深度相应的较深层编码单元，对最大编码 单元中的图像数据进行编码，并且基于每个较深层编码单元来比较编码结果。在对较深层 编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个最大编 码单元选择至少一个编码深度。
[0046] 随着编码单元根据深度而被分层地划分并且编码单元的数量增加，最大编码单元 的尺寸被划分。另外，即使在一个最大编码单元中编码单元与同一深度相应，也通过分别测 量每个编码单元的数据的编码误差来确定是否将与同一深度相应的每个编码单元划分到 更低深度。因此，即使当数据被包括在一个最大编码单元中时，根据深度的编码误差也可根 据区域而不同，因此编码深度也可根据区域而不同。因此，可针对一个最大编码单元设置一 个或更多个编码深度，并且可根据所述一个或更多个编码深度的编码单元来对最大编码单 元的数据进行划分。
[0047] 因此，根据示例性实施例的编码单元确定器120可确定包括在当前最大编码单元 中的具有树结构的编码单元。根据本发明构思的示例性实施例的"具有树结构的编码单元" 包括在最大编码单元中所包括的与深度相应的所有编码单元中的与确定为编码深度的深 度相应的编码单元。可根据最大编码单元的相同区域中的深度来分层地确定编码深度的编 码单元，并且可在不同区域中独立地确定编码深度的编码单元。类似地，可与另一区域的编 码深度独立地确定当前区域中的编码深度。
[0048] 根据示例性实施例的最大深度是与从最大编码单元到最小编码单元执行划分的 次数有关的索引。根据示例性实施例的第一最大深度可表示从最大编码单元到最小编码单 元执行划分的总次数。根据示例性实施例的第二最大深度可表示从最大编码单元到最小编 码单元的深度等级的总数。例如，当最大编码单元的深度是0时，对最大编码单元划分一次 的编码单元的深度可被设置为1，对最大编码单元划分两次的编码单元的深度可被设置为 2。在运种情况下，如果最小编码单元是通过对最大编码单元划分四次而获得的编码单元， 则存在深度〇、1、2、3和4的5个深度等级，因此第一最大深度可被设置为4,第二最大深度 可被设置为5。
[0049] 可根据最大编码单元执行预测编码和频率变换。还根据最大编码单元，基于根据 等于或小于最大深度的深度的较深层编码单元来执行预测编码和变换。
[0050] 由于每当根据深度对最大编码单元进行划分时，较深层编码单元的数量增加，因 此对随着深度加深而产生的所有较深层编码单元执行包括预测编码和频率变换的编码。为 了便于描述，在至少一个最大编码单元中，现在将基于当前深度的编码单元来描述预测编 码和频率变换。
[0051] 根据示例性实施例的视频编码设备100可不同地选择用于对图像数据进行编码 的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、频率变换和赌编 码的操作，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数 据单元。
[0052] 例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，还可 选择不同于编码单元的数据单元，W便对编码单元中的图像数据执行预测编码。
[0053] 为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单元（即， 基于不再被划分成与更低深度相应的编码单元的编码单元）来执行预测编码。在下文中， 不再被划分且成为用于预测编码的基本单元的编码单元现在将被称为"预测单元"。通过划 分预测单元而获得的分区可包括预测单元或者通过对预测单元的高度和宽度中的至少一 个进行划分而获得的数据单元。
[0054] 例如，当2NX2N(其中，N是正整数）的编码单元不再被划分时，编码单元可成为 2NX2N的预巧U单元，并且分区的尺寸可W是2NX2N、2NXN、NX2N或NXN。分区类型的示 例包括通过对预测单元的高度或宽度进行对称地划分而获得的对称分区、通过对预测单元 的高度或宽度按照诸如1 :n或n: 1进行非对称地划分而获得的分区、通过对预测单元进行 几何地划分而获得的分区W及具有任意形状的分区。
[0055] 预测单元的预测模式可W是帖内模式、帖间模式和跳过模式中的至少一个。例如， 可对2NX2N、2NXN、NX2N或NXN的分区执行帖内模式或帖间模式。另外，可仅对2NX2N 的分区执行跳过模式。可对编码单元中的一个预测单元独立地执行编码，从而选择具有最 小编码误差的预测模式。
[0056] 根据示例性实施例的视频编码设备100不仅可基于用于对图像数据进行编码的 编码单元，还可基于与编码单元不同的数据单元，来对编码单元中的图像数据执行变换。
[0057] 为了在编码单元中执行频率变换，可基于具有小于或等于编码单元的尺寸的数据 单元来执行频率变换。例如，用于频率变换的数据单元可包括帖内模式的数据单元和帖间 模式的数据单元。
[0058] 在下文中，作为频率变换的基础的数据单元可被称为"变换单元"。类似于编码单 元，编码单元中的变换单元可被递归地划分成更小尺寸的变换单元，因此，可基于根据变换 深度的具有树结构的变换单元，对编码单元中的残差数据进行划分。
[0059] 还可在根据示例性实施例的变换单元中设置变换深度，其中，变换深度指示通过 对编码单元的高度和宽度进行划分来执行划分W到达变换单元的次数。例如，在2NX2N的 当前编码单元中，当变换单元的尺寸是2NX2N时，变换深度可W是0,当变换单元的尺寸是 NXN时，变换深度可W是1，当变换单元的尺寸是N/2XN/2时，变换深度可W是2。也就是 说，还可根据变换深度设置具有树结构的变换单元。
[0060] 根据与编码深度相应的编码单元的