描述， 通过使用基于按照树结构的编码单元的预测单元对视频解码的设备200被称为"视频解码 设备200"。
[0086] 用于视频解码设备200的各种操作的各种术语(诸如编码单元、深度、预测单元、变 换单元以及关于各种编码模式的信息）的定义与参照图1和视频编码设备100所描述的术语 的定义相同。
[0087]接收器210接收并解析已编码的视频的比特流。图像数据和编码信息提取器220从 解析的比特流中提取每个编码单元的编码的图像数据，并将提取的图像数据输出到图像数 据解码器230，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息 提取器220可从接收的比特流中关于当前画面的头、SPS和PPS中的至少一个提取关于当前 画面的编码单元的尺寸和可变深度的编码单元结构信息以及关于编码深度和编码模式的 fg息。
[0088]图像数据和编码信息提取器220可从编码信息中提取关于可变深度的信息以及关 于序列、画面、像条或G0P的每个数据单元的具有树结构的编码单元中的编码单元的可允许 的最大尺寸的信息和关于可允许的最小尺寸的信息中的一个。图像数据解码器230可通过 使用关于可变深度的信息、关于编码单元的最大尺寸的信息以及关于编码单元的最小尺寸 的信息中的至少两条来确定序列、画面、像条或GOP的每个数据单元的具有树结构的编码单 元中的编码单元的可允许的最大尺寸和可允许的最小尺寸。
[0089] 可从编码信息中提取针对每个画面、像条或G0P确定的关于可变深度的信息、关于 编码单元的最大尺寸的信息以及关于编码单元的最小尺寸的信息中的至少两条，并且可基 于读取的信息来确定当前数据单元的可允许的最大尺寸和可允许的最小尺寸。此外，图像 数据和编码信息提取器220从解析的比特流提取关于编码单元的编码深度和编码模式的信 息，其中，编码单元具有根据每个最大编码单元的树结构。提取的关于编码深度和编码模式 的信息被输出到图像数据解码器230。换句话说，比特流中的图像数据被分割为最大编码单 元，从而图像数据解码器230对每个最大编码单元的图像数据解码。
[0090] 可针对关于与编码深度对应的至少一个编码单元的信息设置关于根据最大编码 单元的编码深度和编码模式的信息，关于编码模式的信息可包括关于与编码深度对应的相 应的编码单元的的分块类型的信息、关于预测模式以及变换单元的尺寸的信息。另外，根据 深度的分割信息可被提取作为关于编码深度的信息。
[0091 ]此外，图像数据解码器230可从自解析的比特流提取的编码信息读取关于变换索 引的信息。图像数据解码器230可基于由图像数据和编码信息提取器220提取的图像数据和 变换索引信息来构造当前编码单元的变换单元，可基于变换单元执行当前编码单元的逆变 换，从而可对编码的数据解码。作为对编码单元解码的结构，可恢复当前画面。
[0092] 关于由图像数据和编码信息提取器220提取的根据每个最大编码单元的编码模式 和编码深度的信息是这样的信息，即：关于被确定为当编码器(诸如视频编码设备1〇〇)根据 每个最大编码单元针对根据深度的每个更深的编码单元重复执行编码时产生最小编码误 差的编码深度和编码模式的信息。因此，视频解码设备200可通过根据产生最小编码误差的 编码深度和编码模式对图像数据解码来恢复图像。
[0093] 因为关于编码深度和编码模式的编码信息可被分配给相应的编码单元、预测单元 和最小单元中的预定数据单元，所以图像数据和编码信息提取器220可根据预定数据单元 提取关于编码深度和编码模式的信息。被分配有相同的关于编码深度和编码模式的信息的 预定数据单元可被推断为是包括在同一最大编码单元中的数据单元。
[0094]图像数据解码器230通过基于关于根据最大编码单元的编码深度和编码模式的信 息，对每个最大编码单元中的图像数据解码来恢复当前画面。换句话说，图像数据解码器 230可基于针对包括在每个最大编码单元中的具有树结构的编码单元中的每个编码单元提 取的关于分块类型、预测模式和变换单元的信息，来对编码的图像数据解码。解码处理可包 括预测和逆变换，所述预测包括帧内预测和运动补偿。可根据逆正交变换或逆整数变换的 方法来执行逆变换。
[0095] 图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的预测模式 和分块类型的信息，根据每个编码单元的预测模式和分块执行帧内预测或运动补偿。
[0096] 此外，图像数据解码器230可通过读取根据树结构的变换单元以及关于根据编码 深度的编码单元的变换单元的尺寸的信息，根据编码单元中的每个变换单元来执行逆变 换，以根据最大编码单元执行逆变换。
[0097] 图像数据解码器230可通过使用根据深度的分割信息，确定当前最大编码单元的 至少一个编码深度。如果所述分割信息指示在当前深度中不再分割图像数据，则当前深度 是编码深度。因此，图像数据解码器230可通过使用关于预测单元的分块类型、预测模式、针 对与编码深度相应的每个编码单元的变换单元的尺寸的信息，对当前最大编码单元中的与 每个编码深度相应的至少一个编码单元的已编码的数据进行解码，并输出当前最大编码单 元的图像数据。
[0098] 换句话说，可通过观察为编码单元、预测单元和最小单元中的预定数据单元分配 的编码信息，聚集包含编码信息(所述编码信息包括相同的分割信息）的编码单元，并且聚 集的数据单元可被考虑为一个数据单元，从而通过图像数据解码器230以相同的编码模式 被解码。
[0099] 视频解码设备200可在对每个最大编码单元递归地执行编码时，获得关于产生最 小编码误差的至少一个编码单元的信息，并且视频解码设备200可使用所述信息来对当前 画面解码。换句话说，可以对在每个最大编码单元中被确定为最佳编码单元的具有树结构 的编码单元解码。此外，考虑图像数据的分辨率和数据量来确定编码单元的最大尺寸。 [0100]因此，即使图像数据具有高分辨率和大数据量，也可通过使用编码单元的尺寸和 编码模式对所述图像数据进行有效地解码和恢复，其中，通过使用从编码器接收的关于最 佳编码模式的信息，根据图像数据的特性来自适应地确定编码单元的尺寸和编码模式。
[0101] 现在将参照图3至图13描述根据本发明实施例的确定具有树结构的编码单元、预 测单元和变换单元的方法。
[0102] 图3是用于描述根据本发明实施例的编码单元的概念的示图。
[0103] 可以以宽度X高度来表示编码单元的尺寸，并且编码单元的尺寸可以是64 X 64、 32X32、16X16 和 8X8。
[0104]在视频数据310中，分辨率是1920 X 1080，编码单元的最大尺寸是64，最大深度是 2。在视频数据320中，分辨率是1920 X 1080，编码单元的最大尺寸是64，最大深度是3。在视 频数据330中，分辨率是352 X 288,编码单元的最大尺寸是16,最大深度是1。图3中示出的最 大深度表示从最大编码单元到最小编码单元的分割的总数。
[0105] 如果分辨率高或者数据量大，则编码单元的最大尺寸可能大，以便不仅提高编码 效率，还精确地反映图像的特性。因此，具有比视频数据330高的分辨率的视频数据310和 320的编码单元的最大尺寸可以为64。
[0106] 因为视频数据310的最大深度是2,所以视频数据310的编码单元315可包括具有64 的长轴（long axis)大小的最大编码单元，以及由于通过分割最大编码单元两次将深度加 深至两级而具有32和16的长轴大小的编码单元。同时，因为视频数据330的最大深度是1，所 以视频数据330的编码单元335可包括具有16的长轴大小的最大编码单元，以及由于通过分 割最大编码单元一次将深度加深至一级而具有8的长轴大小的编码单元。
[0107] 因为视频数据320的最大深度是3,所以视频数据320的编码单元325可包括具有64 的长轴大小的最大编码单元，以及由于通过分割最大编码单元三次将深度加深至3级而具 有32、16和8的长轴大小的编码单元。随着深度加深，详细信息可被精确地表示。
[0108] 具有64 X 64、64 X 32、32 X 64尺寸的分块类型可被设置到具有64 X 64尺寸的编码 单元。因为具有64X64尺寸的编码单元不是关于多条视频数据310、320和330的最小解码单 元，所以不会设置具有32X32尺寸的分块类型。
[0109] 具有32 X 32、32 X 16、16 X 32尺寸的分块类型可被设置到具有32 X 32尺寸的编码 单元。因为具有32X32尺寸的编码单元不是关于多条视频数据310、320和330的最小解码单 元，所以不会设置具有16X16尺寸的分块类型。
[0110] 具有16 X 16、16 X 8、8 X 16尺寸的分块类型可被设置到具有16 X 16尺寸的编码单 元。因为具有16X16尺寸的编码单元是关于视频数据310的最小解码单元，所以可设置具有 8 X 8尺寸的分块类型。然而，具有16 X 16尺寸的编码单元不是关于多条视频数据320和330 的最小解码单元，所以不会设置具有8X8尺寸的分块类型。 在这点上，因为具有8X8尺寸的编码单元是关于多条视频数据310、320和330的最 小解码单元，所以不仅可设置具有8\8、8\4、4\8尺寸的分块类型，而且可设置具有4乂4 尺寸的分块类型。
[0112] 图4是根据本发明实施例的基于编码单元的图像编码器400的框图。
[0113] 图像编码器400执行视频编码设备100的编码单元确定器120的操作，以对图像数 据编码。换句话说，在当前帧405中，帧内预测器410在帧内模式下对编码单元执行帧内预 测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495,在当前帧405中，在 帧间模式下对编码单元执行帧间估计和运动补偿。
[0114] 从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和 量化器440被输出为量化的变换系数。量化的变换系数通过反量化器460和逆变换器470被 恢复为在空间域中的数据，并且空间域中的恢复的数据在通过去块单元480和环路滤波单 元490进行后处理之后，被输出为参考帧495。量化的变换系数可通过熵编码器450被输出为 比特流455。
[0115] 为了在视频编码设备100中应用图像编码器400,图像编码器400的所有部件（即， 帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反 量化器460、逆变换器470、去块单元480和环路滤波单元490)在考虑每个最大编码单元的最 大深度的同时，基于具有树结构的编码单元中的每个编码单元执行操作。
[0116] 具体地讲，帧内预测器410、运动估计器420以及运动补偿器425在考虑当前最大编 码单元的最大尺寸和最大深度的同时，确定具有树结构的编码单元中的每个编码单元的分 块和预测模式，变换器430确定在具有树结构的编码单元中的每个编码单元中的变换单元 的尺寸。
[0117] 图5是根据本发明实施例的基于编码单元的图像解码器500的框图。
[0118] 解析器510从比特流505对将被解码的已编码的视频数据以及关于进行解码所需 的编码的信息进行解析。编码的视频数据通过熵解码器520和反量化器530被输出为反量化 的数据，并且反量化的数据通过逆变换器540被恢复为在空间域中的图像数据。
[0119] 帧内预测器550针对空间域中的图像数据，在帧内模式下对编码单元执行帧内预 测，运动补偿器560通过使用参考帧585,在帧间模式下对编码单元执行运动补偿。
[0120] 经过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过去块单元 570和环路滤波单元580进行后处理之后，被输出为恢复的帧595。另外，通过去块单元570和 环路滤波单元580进行后处理的图像数据可被输出为参考帧585。
[0121] 为了在图像解码设备200的图像数据解码器230中对图像数据解码，图像解码器 500可执行在解析器510之后执行的操作。
[0122] 为了在视频解码设备200中应用图像解码器500,图像解码器500的所有部件（即， 解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器560、去 块单元570以及