深度的 信息可被插入到比特流的头、SPS或PPS中。
[0235] 还可通过比特流的头、SPS或PPS来输出关于针对当前视频允许的变换单元的最 大尺寸的信息、以及关于变换单元的最小尺寸的信息。输出单元130可对与预测相关的参 考信息、预测信息和条带类型信息进行编码并输出。
[0236] 在根据最简单的示例性实施例的视频编码设备100中，较深层编码单元可以是通 过将更高深度的编码单元（更高一层）的高度或宽度划分成两份而获得的编码单元。换言 之，当当前深度的编码单元的尺寸是2NX2N时，更低深度的编码单元的尺寸是NXN。另外， 尺寸为2NX2N的具有当前深度的编码单元可包括最多4个具有更低深度的编码单元。
[0237] 因此，视频编码设备100可基于考虑当前画面的特征而确定的LCU的尺寸和最大 深度，通过针对每个LCU确定具有最优形状和最优尺寸的编码单元来形成具有树结构的编 码单元。另外，由于可通过使用各种预测模式和变换中的任意一个对每个IXU执行编码，因 此可考虑各种图像尺寸的编码单元的特征来确定最优编码模式。
[0238]因此，如果以传统宏块对具有高的分辨率或大数据量的图像进行编码，则每个画 面的宏块的数量极度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送 压缩的信息，并且数据压缩效率降低。然而，通过使用根据示例性实施例的视频编码设备 100,由于在考虑图像的尺寸的同时增加编码单元的最大尺寸，并同时在考虑图像的特征的 同时调整编码单元，因此可提高图像压缩效率。
[0239] 根据示例性实施例的视频编码设备100确定每个LCU的树结构的编码单元，并产 生作为对每个编码单元所执行的编码的结果的符号。根据示例性实施例的视频熵编码设备 10可对每个LCU的符号执行熵编码。具体地，针对通过划分画面而产生的每个并行块或条 带段，视频熵编码设备10可根据包括沿水平方向连续排列的LCU的一行LCU对每个LCU执 行熵编码。此外，视频编码设备10可同时对两行或更多行LCU执行并行熵编码。
[0240] 视频熵编码设备10可通过对经由对IXU执行编码而确定的符号执行二值化来产 生符号的比特串。可确定与LCU的符号相应的语法元素值的每个二进制位索引的上下文变 量，并且可基于语法元素的上下文变量来确定指示语法元素值的二进制位串。视频熵编码 设备10可采用由在用于当前语法元素值的上下文表中确定的当前上下文变量所指示的二 进制位串。
[0241] 在针对LCU形成所有语法元素的二进制位串之后，视频熵编码设备10可确定是否 存储在该LCU中确定的上下文变量。当语法元素是LCU中的最后一个语法元素，非独立条带 段可被包括在包括该IXU的画面中，并且该IXU是条带段中的最后一个IXU时，用于该IXU 的上下文变量可被存储。
[0242] 当非独立条带段可被包括在画面中时，不论条带段是独立条带段还是非独立条带 段，上下文存储单元16可存储用于LCU的上下文变量。
[0243] 当多个条带段被包括在画面中时，可将当前条带段中存储的上下文变量用于对在 当前条带段之后紧接着的非独立条带段中的第一个LCU的上下文变量的熵编码。
[0244]图9是根据本发明的示例性实施例的基于具有树结构的编码单元的视频解码设 备200的框图。
[0245] 根据示例性实施例的涉及基于具有树结构的编码单元的视频预测的视频解码设 备200包括接收器210、图像数据和编码信息提取器220和图像数据解码器230。为了便于 解释，在下文中，根据示例性实施例的涉及基于具有树结构的编码单元的视频解码设备200 被称为"视频解码设备200"。
[0246] 用于视频解码设备200的解码操作的各种术语（诸如编码单元、深度、预测单元、 变换单元和关于各种编码模式的信息）的定义与参照图8和视频编码设备100描述的定义 相同。
[0247] 接收器210接收和解析编码视频的比特流。图像数据和编码信息提取器220从解 析的比特流，针对每个编码单元提取编码图像数据，并将提取的图像数据输出到图像数据 解码器230,其中，编码单元具有根据每个IXU的树结构。图像数据和编码信息提取器220 可从关于当前画面的头、SPS或PPS提取关于当前画面的编码单元的最大尺寸的信息。
[0248] 另外，图像数据和编码信息提取器220从解析的比特流，根据每个LCU，提取关于 具有树结构的编码单元的编码深度和编码模式的信息。提取的关于编码深度和编码模式的 信息被输出到图像数据解码器230。换言之，比特串中的图像数据被划分为LCU，使得图像 数据解码器230针对每个LCU对图像数据进行解码。
[0249] 可针对关于与编码深度相应的至少一个编码单元的信息设置关于根据LCU的编 码深度和编码模式的信息，关于编码模式的信息可包括关于与编码深度相应的相应编码单 元的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。另外，根据深度 的划分信息可被提取为关于编码深度的信息。
[0250] 由图像数据和编码信息提取器220提取的关于根据每个LCU的编码深度和编码模 式的信息是关于这样的编码深度和编码模式的信息：该编码深度和编码模式被确定为在编 码器（诸如，视频编码设备100)根据每个IXU对根据深度的每个较深层编码单元重复地执 行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编 码深度和编码模式对图像数据进行解码来恢复图像。
[0251] 由于关于编码深度和编码模式的编码信息可被分配给相应的编码单元、预测单元 和最小单元中的预定数据单元，因此图像数据和编码信息提取器220可根据预定数据单 元，提取关于编码深度和编码模式的信息。如果关于相应LCU的编码深度和编码模式的信 息根据预定数据单元被记录，则可将被分配相同的关于编码深度和编码模式的信息的预定 数据单元推断为是包括在同一LCU中的数据单元。
[0252] 图像数据解码器230基于关于根据LCU的编码深度和编码模式的信息，通过对每 个LCU中的图像数据进行解码，来恢复当前画面。换言之，图像数据解码器230可基于提取 出的关于包括在每个LCU中的具有树结构的编码单元之中的每个编码单元的分区类型、预 测模式和变换单元的信息，对编码的图像数据进行解码。解码处理可包括预测（包含帧内 预测和运动补偿）和逆变换。
[0253] 图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的分区类 型和预测模式的信息，根据每个编码单元的分区和预测模式，执行帧内预测或运动补偿。
[0254] 此外，为了对每个LCU进行逆变换，图像数据解码器230可针对每个编码单元读取 关于根据树结构的变换单元的信息，以基于每个编码单元的变换单元来执行逆变换。经过 逆变换，可恢复编码单元的空间域的像素值。
[0255] 图像数据解码器230可通过使用根据深度的划分信息来确定当前LCU的编码深 度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是编码深度。因此， 图像数据解码器230可通过使用关于用于与编码深度相应的每个编码单元的预测单元的 分区类型、预测模式和变换单元的尺寸的信息，对当前LCU中的编码数据进行解码。
[0256] 换言之，可通过观察被分配给编码单元、预测单元和最小单元中的预定数据单元 的编码信息集来收集包含包括相同划分信息的编码信息的数据单元，并且收集的数据单元 可被认为是将由图像数据解码器230以相同编码模式进行解码的一个数据单元。因此，可 通过获得关于每个编码单元的编码模式的信息来对当前编码单元进行解码。
[0257] 接收器210可包括图2a的视频熵解码设备20。视频熵解码设备20可从接收到的 比特流解析多行IXU。
[0258] 当接收器210从比特流提取第一行IXU和第二行IXU时，第一熵解码器24可通过 对第一行LCU执行熵解码来顺序地恢复第一行LCU中的LCU的符号。
[0259] 视频熵解码设备20可确定用于从比特流获得的LCU的二进制位串和二进制位索 弓丨。视频熵解码设备20可存储关于上下文表的数据，其中，上下文表包含用于每个语法元 素的二进制位串与上下文变量之间的相互关系。视频熵解码设备20可通过将可基于上下 文表而被分配给当前上下文变量中的语法元素的二进制位串与当前确定的二进制位索引 中的二进制位串进行比较来确定由当前二进制位串指示的语法元素的值。
[0260] 当语法元素是LCU中的最后一个语法元素，非独立条带段可被包括在包括该LCU 的画面中，并且该LCU是条带段中的最后一个LCU时，视频熵解码设备20可存储用于该LCU 的上下文变量。当非独立条带段可被包括在画面中时，不论条带段是独立条带段还是非独 立条带段，可存储用于该LCU的上下文变量。
[0261] 当多个条带段被包括在画面中时，可将当前条带段中存储的上下文变量用于对在 当前条带段之后紧接着的非独立条带段中的第一LCU的上下文变量的熵编码。
[0262] 视频熵解码设备20可通过使用每个语法元素的值来恢复IXU的符号。
[0263] 因此，视频解码设备200可通过在编码处理期间对每个IXU递归地执行编码来获 得关于具有最小编码误差的编码单元的信息，并可使用所述信息来对当前画面进行解码。 换句话说，可对每个LCU的被确定为最优编码单元的具有树结构的编码单元的编码图像数 据进行解码。
[0264]因此，即使当图像具有高分辨率和大数据量时，也可根据编码单元的编码模式和 尺寸来有效地对图像数据进行解码和恢复，其中，所述编码单元的编码模式和尺寸是通过 使用从编码器发送的关于最优编码模式的信息，根据图像的特性而被自适应地确定的。
[0265] 图10是用于解释根据本发明的示例性实施例的编码单元的构思的示图。
[0266]编码单元的尺寸可被表示为宽度X高度，并且可以是64X64、32X32、16X16和 8X8。64X64的编码单元可被划分为64X64、64X32、32X64或32X32的分区，32X32的 编码单元可被划分为32X32、32X16、16X32或16X16的分区，16X16的编码单元可被划 分为16\16、16\8、8\16或8\8的分区，8\8的编码单元可被划分为8\8、8\4、4父8或 4X4的分区。
[0267]在视频数据310中，分辨率为1920X1080,编码单元的最大尺寸为64,最大深度为 2。在视频数据320中，分辨率为1920X1080,编码单元的最大尺寸为64,最大深度为3。在 视频数据330中，分辨率为352X288,编码单元的最大尺寸为16,最大深度为1。图10中示 出的最大深度表示从LCU到最小解码单元的划分总次数。
[0268]如果分辨率高或数据量大，则编码单元的最大尺寸可能较大，从而不仅提高编码 效率，而且准确地反映图像的特征。因此，具有比视频数据330更高分辨率的视频数据310 和320的编码单元的最大尺寸可以是64。
[0269] 由于视频数据310的最大深度是2,因此由于通过对IXU划分两次，深度加深至两 层，因此视频数据310的编码单元315可包括长轴尺寸为64的IXU和长轴尺寸为32和16 的编码单元。由于视频数据330的最大深度是1，因此由于通过对LCU划分一次，深度加深 至一层，因此视频数据330的编码单元335可包括长轴尺寸为16的IXU和长轴尺寸为8的 编码单元。
[0270]由于视频数据320的最大深度是3,因此由于通过对IXU划分三次，深度加深至3 层，因此视频数据320的编码单元325可包括长轴尺寸为64的IXU和长轴尺寸为32、16和 8的编码单元。随着深度加深，详细信息可被精确地表示。
[0271] 图11是根据本发明的示例性实施例的基于编码单元的图像编码器400的框图。
[0272]根据示例性实施例的图像编码器400执行视频编码设备100的编码单元确定器120的操作来对图像数据进行编码。换言之，帧内预测器410对当前帧405中的帧内模式下 的编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考 帧495,对当前帧405中的帧间模式下的编码单元分别执行帧间估计和运动补偿。
[0273]从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430 和量化器440被输出为量化后的变换系数。量化后的变换系数通过反量化器460和逆变换 器470被恢复为空间域中的数据，恢复的空间域中的数据在通过去块单元480和环路滤波 单兀490后处理之后被输出为参考帧495。量化后的变换系数可通过熵编码器450被输出 为比特流455。
[0274]为了将图像编码器400应用于视频编码设备100,图像编码器400的所有元件 (即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器 450、反量化器460、逆变换器470、去块单元480和环路滤波单元490)在考虑每个IXU的最 大深度的同时，基于具有树结构的编码单元中的每个编码单元执行操作。
[0275] 具体地，帧内预测器410、运动估计器420和运动补偿器425在考虑当前IXU的最 大尺寸和最大深度的同时确定具有树结构的编码单元中的每个编码单元的分区和预测模 式，变换器430确定具有树结构的编码单元中的每个编码单元中的变换单元的尺寸。
[0276] 具体地，熵编码器450可与根据不例性实施例的视频熵编码设备10相应。
[0277] 图12是根据本发明的示例性实施例的基于编码单元的图像解码器500的框图。
[0278] 解析器510从比特流505解析将被解码的编码图像数据和解码所需的关于编码的 信息。编码图像数据通过熵解码器520和反量化器530被输出为反量化的数据，反量化的 数据通过逆变换器540被恢复为空间域中的图像数据。
[0279] 针对空间域中的图像数据，帧内预测器550对帧内模式下的编码单元执行帧内预 测，运动补偿器560通过使用参考帧585对帧间模式下的编码单元执行运动补偿。
[0280] 通过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过去块单元 570和环路滤波单元580后处理之后被输出为恢复帧595。另外，通过去块单元570和环路 滤波单元580后处理的图像数据可被输出为参考帧585。
[0281] 为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，图像解 码器 5〇〇可执行在解析器510之后执行的操作。
[0282] 为了将图像解码器500应用于视频解码设备200,图像解码器500的所有元件 (即，解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器 560、去块单元570和环路滤波单元580)针对每个LCU基于具有树结构的编码单元执行操 作。
[0283] 具体地，帧内预测器550和运动补偿器560针对具有树结构的每个编码单元确定 分区和预测模式，逆变换器540针对每个编码单元确定变换单元的尺寸。具体地，熵解码器 520可与根据示例性实施例的视频熵解码设备20相应。
[0284] 图13是示出根据本发明的示例性实施例的根据深度的较深层编码单元以及分区 的示图。
[0285] 根据示例性实施例的视频编码设备100和根据示例性实施例的视频解码设备200 使用分层编码单元以考虑图像的特征。可根据图像的特征自适应地确定编码单元的最大高 度、最大宽度和最大深度，或可由用户不同地设置编码单元的最大高度、最大宽度和最大深 度。可根据编码单元的预定最大尺寸来确定根据深度的较深层编码单元的尺寸。
[0286] 在根据示例性实施例的编码单元的分层结构600中，编码单元的最大高度和最大 宽度均是64,最大深度是3。在此情况下，最大深度是指编码单兀从LCU到最小编码单兀被 划分的总次数。由于深度沿着分层结构600的垂直轴加深，因此较深层编码单元的高度和 宽度均被划分。另外，预测单元和分区沿着分层结构600的水平轴被示出，其中，所述预测 单元和分区是对每个较深层编码单元进行预测编码的基础。
[0287] 换言之，在分层结构600中，编码单元610是LCU，其中，深度为0,尺寸（S卩，高度乘 宽度）为64X64。深度沿着垂直轴加深，存在尺寸为32X32和深度为1的编码单元620、 尺寸为16X16和深度为2的编码单元630、尺寸为8X8和深度为3的编码单元640,尺寸 为4X4和深度为4的编码单元650。尺寸为4X4和深度为4的编码单元640是最小编码 单元。
[0288] 编码单元的预测单元和分区根据每个深度沿着水平轴被排列。换言之，如果尺寸 为64X64和深度为0的编码单元610是预测单元，则可将预测单元划分成包括在编码单元 610中的分区，S卩，尺寸为64X64的分区610、尺寸为64X32的分区612、尺寸为32X64的 分区614或尺寸为32X32的分区616。
[0289] 类似地，可将尺寸为32X32和深度为1的编码单元620的预测单元划分成包括在 编码单元620中的分区，S卩，尺寸为32X32的分区620、尺寸为32X16的分区622、尺寸为 16X32的分区624和尺寸为16X16的分区626。
[0290] 类似地，可将尺寸为16X16和深度为2的编码单元630的预测单元划分成包括 在编码单元630中的分区，S卩，包括在编码度单元630中的尺寸为16X16的分区、尺寸为 16X8的分区632、尺寸为8X16的分区634和尺寸为8X8的分区636。
[0291] 类似地，可将尺寸为8X8和深度为3的编码单元640的预测单元划分成包括在编 码单元640中的分区，S卩，包括在编码单元640中的尺寸为8X8的分区、尺寸为8X4的分 区642、尺寸为4X8的分区644和尺寸为4X4的分区646。
[0292] 最后，作为最小编码单兀的深度为4和尺寸为4X4的编码单兀650是具有最低深 度的编码单元，相应的预测单元可仅被设置为尺寸为4X4的分区。
[0293] 为了确定构成LCU610的编码单元的至少一个编码深度，根据示例性实施例的视 频编码设备100的编码单元确定器120必须对包括在LCU610中的与每个深度相应的编码 单元执行编码。
[0294] 随着深度加深，包括具有相同范围和相同尺寸的数据的根据深度的较深层编码单 元的数量增加。例如，需要四个与深度2相应的编码单元来覆盖包括在与深度1相应的一 个编码单元中的数据。因此，为了根据深度比较对相同数据进行编码的结果，与深度1相应 的编码单元和四个与深度2相应的编码单元均必须被编码。
[0295] 为了针对多个深度之中的当前深度执行编码，可沿着分层结构600的水平轴，通 过对与当前深度相应的编码单元中的每个预测单元执行编码，来针对当前深度，选择最小 编码误差。可选地，随着深度沿着分层结构600的垂直轴加深，可通过针对每个深度执行编 码来比较根据深度的最小编码误差，以搜索最小编码误差。在编码单元610中的具有最小 编码误差的深度和分区可被选为编码单元610的编码深度和分区类型。
[0296] 图14是用于解释根据本发明的示例性实施例的编码单元710和变换单元720之 间的关系的不图。
[0297] 根据示例性实施例的视频编码设备100或根据示例性实施例的视频解码设备200 针对每个LCU，根据具有小于或等于LCU的尺寸的编码单元，对图像进行编码或解码。可基 于不大于相应编码单元的数据单元，来选择用于在编码期间进行变换的变换单元的尺寸。
[0298] 例如，在根据示例性实施例的视频编码设备100或根据示例性实施例的视频解码 设备200中，如果编码单元710的尺寸是64X64,则可通过使用尺寸为32X32的变换单元 720来执行变换。
[0299] 此外，可通过对小于64X64的尺寸为32X32、16X16、8X8和4X4的每个变换单 元执行变换，来对尺寸为64X64的编码单元710的数据进行编码，然后可选择具有最小编 码误差的变换单元。
[0300] 图15是用于解释根据本发明的示例性实施例的与编码深度相应的编码单元的编 码信息的示图。
[0301] 根据示例性实施例的视频编码设备100的输出单元130可对与编码深度相应的每 个编码单元的关于分区类型的信息800、关于预测模式的信息810以及关于变换单元的尺 寸的信息820进行编码，并将信息800、信息810和信息820作为关于编码模式的信息来发 送。
[0302] 信息800指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信 息，其中，分区是用于对当前编码单元进行预测编码的数据单元。例如，可将尺寸为2NX2N 的当前编码单元CU_0划分成以下分区中的任意一个：尺寸为2NX2N的分区802、尺寸为 2NXN的