支持多个层的图像编码和解码方法以及使用该方法的装置的制造方法
【技术领域】
[0001] 本发明总体上涉及视频压缩技术，并且更特别地涉及用于执行支持多层结构的视 频编码的方法和装置。
【背景技术】
[0002] 近来，在各应用领域中，对高分辨率、高质量视频例如HD(高清晰度)视频和UHD(超 高清)视频的需求不断增加。因为视频数据具有高分辨率、高质量图像，所以数据量高于现 有视频数据。因此，当使用诸如现有的有线和无线宽带线路等介质来传送视频数据或者将 视频数据存储于现有的存储介质中时，传送成本和存储成本增加。为了解决由高分辨率、高 质量视频数据引起的这些问题，可以使用高效视频压缩技术。
[0003] 作为视频压缩技术，存在例如下述的各种技术:帧间预测技术，其用于根据在当前 图片之前或之后的图片来预测包括在当前图片中的像素的值;帧内预测技术，其用于使用 与包括在当前图片中的像素有关的信息来预测当前图片中的像素的值;熵编码技术，在熵 编码技术中，对最频繁使用的值分配最短的码并且对最不频繁使用的值分配最长的码;等 等。可以使用这些视频压缩技术来有效地压缩视频数据，并且然后可以对视频数据进行传 送或存储。
【发明内容】
[0004] 技术问题
[0005] 本发明的实施方式的目的是提供一种用于针对当前要编码和解码的目标层来生 成包括另外的层的图片的参考图片列表的方法，以及使用该方法的装置。
[0006] 本发明的实施方式的另一目的是提供一种用于使用与参考层的参考图片集有关 的信息来生成参考图片列表的方法，以及使用该方法的装置。
[0007] 本发明的实施方式的又一目的是提供一种用于使用与在初始参考图片列表中参 考图片集要添加到的位置有关的信息来生成参考图片列表的方法，以及使用该方法的装 置。
[0008] 技术方案
[0009] -种根据本发明的实施方式的用于对支持多个层的视频进行解码的方法包括:在 构造当前图片的初始参考图片列表时，接收标记信息，该标记信息指示是否使用与当前图 片所参考的参考层的参考图片集有关的信息;基于标记信息来生成初始参考图片列表；以 及基于初始参考图片列表来执行当前图片的预测。
[0010]标记信息可以指示参考层的短期参考图片集和长期参考图片集是否被导出为当 前图片的短期参考图片集和长期参考图片集。
[0011]标记信息可以指示参考层的短期参考图片集是否被导出为当前图片的短期参考 图片集。
[0012]标记信息可以指示参考层的长期参考图片集是否被导出为当前图片的长期参考 图片集。
[0013] 参考层可以是基本层。
[0014] 标记信息可以指示在参考层的初始参考图片列表中参考层的层间参考图片集要 添加到的位置是否被用作在当前图片的初始参考图片列表中当前图片的层间参考图片集 要添加到的位置。
[0015] 标记信息可以指示参考层的层间参考图片集是否被导出为当前图片的层间参考 图片集。
[0016] 标记信息可以以该标记信息被包括在序列参数集中而被接收。
[0017] 视频解码方法还可以通过修改初始参考图片列表来生成最终参考图片列表。
[0018] 执行当前图片的预测可以被配置成将层间参考图片集中包括的参考图片用作当 前图片的参考图片。
[0019] 根据本发明的实施方式的用于对支持多个层的视频进行解码的装置包括:熵解码 单元，该熵解码单元用于解码信息，该信息是预测和解码经由位流接收的视频所需的；以及 预测单元，该预测单元用于在构造当前图片的初始参考图片列表时，基于标记信息来生成 当前图片的初始参考图片列表，该标记信息指示是否使用关于当前图片所参考的参考层的 参考图片集的信息；以及用于基于初始参考图片列表来执行当前图片的预测。
[0020] 有益效果
[0021] 根据本发明的实施方式，提供了一种用于针对当前要编码和解码的目标层来生成 包括另外的层的图片的参考图片列表的方法，以及使用该方法的装置。
[0022] 根据本发明的实施方式，提供了一种用于使用与参考层的参考图片集有关的信息 来生成参考图片列表的方法，以及使用该方法的装置。
[0023]根据本发明的实施方式，提供了一种用于使用与在初始参考图片列表中参考图片 集要添加到的位置有关的信息来生成参考图片列表的方法，以及使用该方法的装置。
【附图说明】
[0024] 图1为示意性地示出根据本发明的实施方式的编码装置的框图；
[0025] 图2为示意性地示出根据本发明的实施方式的解码装置的框图；
[0026] 图3为示出包括短期参考图片的参考图片集的示例的概念图；
[0027] 图4为示出用于导出长期参考图片的图片序列号(POC)的方法的概念图。
[0028] 图5为不出构造了参考图片列表的不例的图；
[0029] 图6为示出根据本发明的实施方式的构造了层间参考图片列表的示例的概念图；
[0030] 图7为示出根据本发明的实施方式来构造参考图片列表0的图；
[0031] 图8为示出根据本发明的另一实施方式的构造参考图片列表0的图；
[0032] 图9为示出根据本发明的实施方式的构造参考图片列表1的图；
[0033] 图10为根据本发明的另一实施方式的构造参考图片列表1的图；
[0034] 图11为根据本发明的实施方式的使用多视图参考图片所构造的参考图片列表的 图；
[0035] 图12示出根据本发明的另一实施方式的使用多视图参考图片所构造的参考图片 列表；
[0036] 图13示出根据本发明的实施方式使用时间子层的索引所构造的参考图片列表；
[0037] 图14是示出根据本发明的实施方式的用于对参考层的层间参考图片集要添加到 的位置进行参考的示例的图；以及
[0038] 图15为示出根据本发明的视频解码方法的控制流程图。
[0039]最优实施方式
[0040] 根据本发明的实施方式的用于对支持多个层的视频进行解码的视频解码方法包 括:在构造当前图片的初始参考图片列表时，接收标记信息，该标记信息指示是否使用与当 前图片所参考的参考层的参考图片集有关的信息；基于标记信息来生成初始参考图片列 表;以及基于初始参考图片列表来执行当前图片的预测。
[0041]标记信息可以指示参考层的短期参考图片集和长期参考图片集是否被导出为当 前图片的短期参考图片集和长期参考图片集。
[0042] 标记信息可以指示参考层的短期参考图片集是否被导出为当前图片的短期参考 图片集。
[0043]标记信息可以指示参考层的长期参考图片集是否被导出为当前图片的长期参考 图片集。
[0044] 参考层可以是基本层。
[0045] 标记信息可以指示在参考层的初始参考图片列表中参考层的层间参考图片集要 添加到的位置是否被用作在当前图片的初始参考图片列表中当前图片的层间参考图片集 要添加到的位置。
[0046] 标记信息可以指示参考层的层间参考图片集是否被导出为当前图片的层间参考 图片集。
[0047] 标记信息可以以该标记信息被包括在序列参数集中而被接收。
[0048] 视频解码方法还可以通过修改初始参考图片列表来生成最终参考图片列表。
[0049] 执行当前图片的预测可以被配置成将层间参考图片集中包括的参考图片用作当 前图片的参考图片。
[0050]根据本发明的实施方式的用于对支持多个层的视频进行解码的视频解码装置包 括:熵解码部，该熵解码部用于解码信息，该信息是预测和解码经由位流接收的视频所需 的；以及预测部，该预测部用于在构造当前图片的初始参考图片列表时，基于标记信息来生 成当前图片的初始参考图片列表，该标记信息指示是否使用关于当前图片所参考的参考层 的参考图片集的信息；以及用于基于初始参考图片列表来执行当前图片的预测。
[0051]本发明的实施方式
[0052]在本发明的实施方式和附图中描述的元件模块被独立示出以指示视频编码装置 的不同的和特有的功能。然而，这并不意味着元件模块中的每一个均由单独的硬件块或软 件块来形成。即，为了描述的方便来布置和包括元件模块，并且元件模块中的至少两个元件 模块可以形成一个元件模块，或者可以将一个元件模块划分成多个元件模块以执行它们自 己的功能。除非将元件模块集成的实施方式以及将元件模块分开的实施方式偏离本发明的 本质，否则其均包括在本发明的范围内。
[0053] 此外，本发明中所公开的一些元件并非用于执行本质功能的必要元件，而可以是 用于仅改善性能的可选元件。本发明可以在没有仅用于改善性能的元件的情况下，仅使用 用于实现本发明的本质的必要元件来实现，并且包括仅必要元件而非仅用于改善性能的可 选元件的结构包括在本发明的范围内。
[0054] 本发明可以用各种方式进行改变并且可以具有各种实施方式，以及下面将参考附 图来详细描述特定的实施方式。然而，应该理解的是，这些实施方式并不意图将本发明限于 特定的公开形式，而是它们包括包含在本发明的精神或范围内的所有改变、等价物或修改。 本说明书中使用的术语仅用于描述特定的实施方式，而并不意图限制本发明。除非在上下 文中特别指出相反的描述，否则单数表达包括复数表达。在本说明书中，应当理解的是，例 如"包括"或"具有"的术语仅意图指示特征、数目、步骤、操作、部件、部分或其组合的存在， 而不意图排除一个或更多个其它特征、数目、步骤、操作、部件、部分或其组合将存在或被添 加的可能性。
[0055] 在下文中，将参照附图来详细描述本发明的实施方式。在本发明的以下描述中，相 同的附图标记贯穿附图将被用于指定相同或类似的部件，并且将省略对于相同部件的重复 描述。
[0056] 支持位流中的多个层的视频编码和解码被称为"可伸缩编码"。因为在多个层之间 存在强相关，所以可以移除数据中的重复元素，并且如果基于这样的相关来执行预测，则可 以改善视频的编码性能。在下文中，使用与另一层有关的信息来对作为预测的目标的当前 层进行预测，这被称为"层间预测"。
[0057] 分辨率、帧速率和颜色格式中的至少一个可以在多个层之间不同，并且可以执行 上采样或下采样以在层间预测期间调整分辨率。
[0058] 图1为示意性地示出根据本发明的实施方式的编码装置的框图。
[0059]根据本发明的编码装置100包括用于上层的编码单元IOOa和用于下层的编码单元IOOb0
[0060]可以将上层称为当前层或者增强层，以及可以将下层称为参考层或基本层。分辨 率、帧速率和颜色格式中的至少一个可以在上层与下层之间不同。当对于层间预测需要改 变分辨率时，可以对层执行上采样或下采样。
[0061 ]用于上层的编码单元IOOa可以包括划分单元110、预测单元100、帧内预测单元 121、帧间预测单元122、层间预测单元123、变换单元130、量化单元140、重新布置单元150、 熵编码单元160、逆量化单元170、逆变换单元180、滤波器单元190、存储器195和复用器 (MUX)197〇
[0062]用于下层的编码单元IOOb可以包括划分单元111、预测单元125、帧内预测单元 126、帧间预测单元127、变换单元131、量化单元141、重新布置单元151、熵编码单元161、逆 量化单元171、逆变换单元181、滤波器单元191和存储器196。
[0063] 可以通过在下面将描述的本发明的实施方式中描述的视频编码方法来实现编码 单元，但是可以不执行一些单元的操作以便减小编码装置的复杂性或者实现快速实时编 码。例如，在预测单元执行帧内预测时，可以针对实时编码来执行从有限数目的帧内预测模 式中选择一个并且将所选的一个设置为最终的帧内预测模式的方法，而不是执行将所有帧 内预测模式方法用于选择最优的帧内编码方法的方法。在另一示例中，用于帧内预测或帧 间预测的预测块的形状可以具有有限的形式。
[0064] 在编码装置中处理的块的单元可以为用于执行编码的编码单元、用于执行预测的 预测单元或者用于执行变换的变换单元。可以将编码单元、预测单元和变换单元分别表示 为CU、PU和TU。
[0065] 划分单元110和划分单元111中每一个均可以将层图片划分成编码块、预测块和变 换块的多个组合，并且可以通过基于预定的参考(例如，成本函数)选择编码块、预测块和变 换块的一个组合来对层进行划分。例如，为了将层图片划分成编码单元，可以使用递归树结 构例如四叉树结构。在下文中，在本发明的实施方式中，编码块可以不仅指用于编码的块， 而且可以指用于解码的块。
[0066] 预测块可以是用于执行预测(例如帧内预测或帧间预测）的单元。用于帧内预测的 块可以是具有正方形的形式的块，例如2NX2N或NXN。作为用于帧间预测的块，存在下述 块:正方形形式的块，例如2NX2N和NXN;通过对具有正方形形式的预测块进行二等分而获 得的2NXN和NX2N形式的块；以及通过使用非对称运动划分(AMP)的预测块划分方法所获 得的具有不对称形式的块。变换单元115可以根据预测块的形式来使用不同的变换方法。
[0067] 编码单元IOOa和编码单元IOOb的预测单元120和预测单元125中的每一个可以包 括用于执行帧内预测的帧内预测单元121和帧内预测单元126以及用于执行帧间预测的帧 间预测单元122和帧间预测单元126。用于上层的编码单元IOOa的预测单元120还包括使用 与下层有关的信息对上层执行预测的层间预测单元123。
[0068] 预测单元120和预测单元125中的每一个可以确定对预测块执行帧间预测还是帧 内预测。被执行预测的处理单元可以不同于用于确定预测方法的处理块的单元。例如，在执 行帧内预测时，可以基于预测块来确定预测模式，以及可以基于变换块来执行预测处理。可 以将所生成的预测块与原始块之间的残差（残差块)输入变换单元130和变换单元131。此 外，用于预测的预测模式信息和运动矢量信息等连同残差一起由熵编码单元130进行编码， 并且然后可以被传送至解码装置。
[0069] 当使用脉冲编码调制（PCM)编码模式时，原始块可以在预测单元120和预测单元 125不执行预测的情况下被编码，并且然后可以被传送至解码部。
[0070] 帧内预测单元121和帧内预测单元126中的每一个均可以基于与当前块(预测目标 块)相邻的参考像素来生成经帧内预测块。在帧内预测方法中，帧内预测模式可以具有方向 性预测模式和非方向性模式，其中，方向性预测模式根据预测方向来使用参考像素信息，非 方向性模式在进行预测时不使用方向信息。用于预测亮度信息的模式可以不同于用于预测 色度信息的模式。通过对亮度信息进行预测所获得的帧内预测模式信息或与所预测的亮度 信号有关的信息可以用于预测色度信息。同时，如果参考像素不可用，则可以通过用其它像 素替换不可用的参考像素来生成预测块。
[0071] 预测块可以包括多个变换块。如果在执行帧内预测时预测块的大小与变换块的大 小相同，则可以基于预测块的左像素、左上像素和上像素来对预测块执行帧内预测。然而， 如果预测块因为在执行帧内预测时预测块的大小不同于变换块的大小而包括多个变换块， 则可以基于参考像素(该参考像素基于变换块而确定)来执行帧内预测。
[0072] 帧内预测方法可以在根据帧内预测模式将模式依赖的帧内平滑(MDIS)滤波器应 用于参考像素之后生成预测块。应用于参考像素的MDIS滤波器的类型可以变化。MDIS滤波 器是应用于通过执行帧内预测所生成的经帧内预测的块的附加滤波器，并且可以用于减小 在执行预测之后所生成的参考像素与经帧内预测的块之间的残差。在执行MDIS滤波时，可 以根据帧内预测模式的方向来对参考像素