用于三维视频编码的视差向量推导的方法及装置的制造方法
【专利说明】用于三维视频编码的视差向量推导的方法及装置
[0001]【相关申请的交叉引用】
[0002]本发明主张申请于2013年4月12日，序列号为PCT/CN2013/074145，标题为“Methods for Disparity Vector Derivat1n” 的 PCT 专利申请的优先权。将此 PCT 专利申请以参考的方式并入本文中。
【技术领域】
[0003]本发明涉及视频编码。特别地，本发明涉及三维/多视图视频编码中的视差向量推导。
【【背景技术】】
[0004]三维电视技术是近年来的技术发展趋势，它的目标是给观看者带来轰动的观看体验(viewing experience)。多视图视频是一种捕捉以及清染3D视频的技术。通常的，多视图视频是通过同时地使用多个相机捕捉场景来创建的，其中，多个照相机都被合适地定位，以使每个照相机从一个视角(viewpoint)捕捉场景。具有大量与视图相关联的视频序列的多视图视频表示了巨量的数据(massive amount data)。因此，多视图视频将需要大量的存储空间来存储和/或需要高的带宽来传送。因此，在本领域中，多视图视频编码技术被开发出来以减少所需要的存储空间以及传送带宽。一个直接方法可以简单地应用于现有的视频编码技术，使每个单个视图视频序列独立且忽视不同视图中的任何关联。这样的直接的技术将导致低下的编码性能。
[0005]为了提高多视图视频编码效率，多视图视频编码总是利用视图间冗余。两个视图之间的视差是由两个相关相机的位置以及角度而导致。因为所有相机是从不同的视角来捕捉相同的场景，所以多视图视频数据包含了大量的视图间冗余。为了利用视图间冗余，使用视差向量(disparity vector,DV)的编码工具被开发以用于3D高效视频编码(3D_HighEfficiency Video Coding，3D-HEVC)以及 3D 高级视频编码(3D_Advanced Video Coding,3D-AVC) o 例如，于高级运动向量预测(advanced mot1n vector predict1n，AMVP)以及合并模式中，DV被用作时间视图间运动向量候选(temporal inter-view mot1n vectorcandidate, TIVC)。于AMVP以及合并模式中，DV也被用作视差视图间运动向量候选(disparity inter-view mot1n vector candidate，DIVC)。此外，DV 可以被用于视图间残差预测(inter-view residual predict1n, IVRP)以及视图合成预测(view synthesispredict1n，VSP)。
[0006]DV推导的现有的方法将简短讨论如下。在基于3D编码测试模型版本6.的HEVC(3DV-HTM 6.0)的示例中，DV推导过程包括以下顺序的步骤:
[0007]1.推导与参考视图索引相关联的相邻块视差向量(neighboring blockdisparity vector, NBDV)。
[0008]2.通过使用已推导的NBDV以及深度图来推导基于深度的NBDV(cbpth-orientedNBDV, DoNBDV)。
[0009]基于3DV-HTM 6.0的DV推导在某些条件下可能会遇到问题。例如，根据3DV-HTM，用于DoNBDV推导的深度图的视图索引总是为0。换句话说，深度图总是位于基础视图中。然而，用于NBDV的视图索引并没有限制。根据3DV-HTM，NBDV的参考视图索引以及深度图的视图索引可能是不同的。
[0010]于DV(NBDV或DoNBDV)被推导后，已推导的DV可用于TIVC、DIVC、IVRP以及VSP。以下将描述系统可能会遇到的问题。
[0011]?对于用于AMVP以及合并模式中TIVC的DoNBDV:
[0012]〇根据3DV-HTM 6.0，被选择用于TIVC的参考视图总是具有参考列表中包括的最小的视图1D，其可能不同于DoNBDV的参考视图。
[0013]?对于用于AMVP以及合并模式中DIVC的DoNBDV:
[0014]〇根据现有的3D-HEVC，DIVC的所选择的参考视图(其为参考图片)可能不同于DoNBDV的参考视图。
[0015]?对于用于 IVRP 的 NBDV:
[0016]〇IVRP的所选择的参考视图(其为当前测试模型的基础视图)可能不同于NBDV的参考视图。
[0017]?对于用于VSP的NBDV:
[0018]〇VSP过程总是将深度值转换为视图索引为0的DV。已转换DV的视图索引可能不同于VSP的参考视图。
[0019]以下将描述相邻块视差向量(NBDV)的推导过程。DV推导是基于当前块的相邻块，包括如图1A所示的空间相邻块以及如图1B所示的时间相邻块。空间相邻块集包括:当前块的左下角的对角线位置(即，A0)，当前块的左下方的相邻位置(即，A1)，当前块的左上角的对角线位置(即，B2)，当前块的右上角的对角线位置(即，B0)，当前块的右上方的相邻位置(S卩，B1)。如图1B所示，时间相邻块集包括:时间参考图片的当前块的中心位置(即，Bctr)以及当前块的右下角的对角线位置(即，RB)。只有当来自时间块RB的DV不可用时，才会使用时间块Bctr。相邻块配置显示了空间以及时间相邻块可用于推导NBDV的示例。其它的空间以及时间相邻块也可用于推导NBDV。例如，对于时间相邻块集，时间参考图片中当前块的其它位置(例如，右下角)还可被用于替代中心位置。换句话说，当前块对应的任何块都可以被包含到时间块集中。一旦块被识别为具有DV，检查过程将被终止。图1A中空间相邻块的示范性搜寻顺序(search order)可以是(Al、Bl、B0、A0、B2)。图1B中时间相邻块的示范性搜寻顺序为(BR，BCTR)。空间以及时间相邻集对于不同模式或不同编码标准可能是不同的。于当前的揭露中，NBDV可以指基于NBDV过程推导的DV。当不存在歧义的时候，NBDV还可指NBDV过程。
[0020]通过从深度图中提取更准确的视差向量(于本公开中被称作基于深度的NBDV (Depth-oriented NBDV, DoNBDV))来增强NBDV的方法被用于当前3D-HEVC。来自相同存取单元的已编码深度图的深度块首先被取回并被用作当前块的虚拟深度。用于DV推导的此编码工具被称为DoNBDV推导。当以通用测试条件来编码视图1的纹理时，视图0的深度图已经被编码且是可用的。因此，视图1的纹理的编码可以受益于视图0的深度图。已估计的视差向量可以从图2所示的虚拟深度中提取。整个流程如下所述:
[0021]1.使用当前块210的已推导的NBDV240来定位已编码纹理视图中的对应块230。
[0022]2.将已编码视图(即，基于现有的3D-HEVC的基础视图)中的对应深度230’用于当前块(编码单元)以作为虚拟深度250。
[0023]3.提取于先前步骤中取回的虚拟深度的最大值，并将其转换为被命名为DoNBDV的视差向量。
[0024]视图间残差预测(IVRP)是用于3D-HTM的另一编码工具。为了共用先前邻近视图的已编码残差信息(即，时间残差信息)，当前预测块(即，PU)的残差信号可以通过视图间图片中对应块的残差信号来预测。对应块可以通过相应DV来定位。根据现存的3D-HEVC，使用NBDV以及先前已编码残差信息来推导的D