动态图像预测解码装置、动态图像预测解码方法

动态图像预测解码装置、动态图像预测解码方法
【专利说明】动态图像预测解码装置、动态图像预测解码方法
[0001]本申请是申请号为201180013583.6的发明专利申请(国际申请号:PCT/JP2011/055915，申请日:2011年03月14日，发明名称:动态图像预测编码装置、动态图像预测编码方法、动态图像预测编码程序、动态图像预测解码装置、动态图像预测解码方法、动态图像预测解码程序)的分案申请。
技术领域
[0002]本发明涉及动态图像预测解码装置、和方法。
【背景技术】
[0003]为了高效地进行动态图像数据的传输和蓄积，采用了压缩编码技术。对于动态图像广泛采用了 MPEGl?4和H.261?H.264的方式。
[0004]在这些编码方式中，将作为编码的对象的图像分割为多个块，对各个块进行编码/解码处理。为了提高编码效率采用了如下所述的预测编码方法。在画面内的预测编码中，使用与对象块相同画面内的相邻的已再现的图像信号(将过去被编码的图像数据复原得到的信号)来生成预测信号，并对从对象块的信号中减去预测信号得到的差分信号进行编码。在画面间的预测编码中，参照与对象块不同的画面内的已再现的图像信号而检索信号的位移，并对该位移量进行补偿而生成预测信号，对从对象块的信号中减去预测信号得到的差分信号进行编码。将此时为了进行动态的检索/补偿而参照的已再现的图像称为参照图像。
[0005]另外，在双向画面间预测中存在如下情况，即不仅参照在显示时间顺序中被显示于对象图像前面的过去的图像，而且也一并参照被显示于对象图像后面的未来的图像(但是，需要先于对象图像对未来的图像进行编码并预先再现)。并且，对从过去的图像取得的预测信号和从未来的图像取得的预测信号双方进行平均，由此对被隐藏的新出现的物体的信号的预测比较有效，并且具有减轻双方的预测信号中包含的杂音的效果。
[0006]另外，在H.264的画面间预测编码中，关于针对对象块的预测信号，参照过去被编码并再现的多个参照图像，在进行动态检索的同时将误差最小的图像信号选择为最佳的预测信号。并且，求出对象块的像素信号与该最佳的预测信号之差分，对差分实施离散余弦变换并进行量化，然后进行熵编码。同时，对有关从哪个参照图像取得针对对象块的最佳的预测信号的信息(参照索引)以及有关从参照图像内的哪个区域取得最佳的预测信号的信息(运动向量)一并进行编码。在H.264中，已被再现的4?5张图像被作为参照图像被存储在帧存储器中。另外，在本说明书中，假设帧存储器包括所谓再现图像缓冲器(decodedpicture buffer)ο
[0007]画面间预测编码虽然能够运用图像间的相关高效地进行压缩编码，但是为了能够通过电视的频道切换从中途视听影像节目，需要切断画面间的依赖性。下面，在动态图像的压缩比特流中，将不存在画面间的依赖性的位置称为“随机访问点(random accesspoint) ”。除频道的切换之外，在编辑动态图像的情况下以及将不同的动态图像的压缩数据连接起来的情况下，都需要随机访问点。在H.264中，指定IDR图片，利用上述的画面内预测编码方法对所指定的IDR图片进行编码，同时将存储在帧存储器中的再现图像设定为不要，将该再现图像设为不可参照，由此实质上将帧存储器释放(刷新(refresh))。这种处理被称为“存储器刷新”，根据情况也被称为“帧存储器刷新(memory refresh) ”或者“缓冲器刷新(buffer refresh) ”。
[0008]图11⑷是表示包括IDR图片的动态图像的预测构造的示意图。该图11⑷所示的多个图像901、902、…、909是构成动态图像的图像组的一部分，将各个图像也称为“图片”或者“帧”。各个箭头表示预测的方向。例如，图像902将朝向图像902的两个箭头的起点即图像903、905作为参照图像取得预测信号。另外，假设图1l(A)的图像901是参照图1l(A)未示出的过去的图像进行了编码的图像。然后对图像902、903、904进行编码，但此时采用上述的双向预测编码方法，以便提高压缩率。即，先对图像905进行编码/再现，然后参照已再现的图像901和905对图像903进行编码(在图11 (A)中省略了源自图像901的箭头)。并且，图像902、904分别将已再现的3个图像901、905、903作为参照图像进行编码(在图11㈧中省略了源自图像901的箭头)。同样地，图像906、907、908参照图像905和909进行编码。并且，这样被编码(压缩)后的各个图像的压缩数据按照图1l(B)所示的顺序进行传输或者蓄积。关于图1l(B)的压缩数据和图1l(A)的图像，利用P1、IDR5、B3等共同的符号示出其对应关系。例如，压缩数据910是指附加了相同符号Pl的图像901的压缩数据，压缩数据911是指附加了相同符号IDR5的图像905的压缩数据。
[0009]另外，考虑到随机访问，对将图像905指定为IDR图片进行画面内预测编码的情况进行说明。在这种情况下，根据H.264中的IDR规则，在刚刚对压缩数据911进行解码来再现图像905后(或者也可以是即将开始压缩数据911的解码之前)，必须将在帧存储器中存储的全部参照图像(即包括图像901的过去的再现图像)设定为不要，使不可参照。其结果是，图11 (A)的图像901不可参照，在对图像902、903、904进行编码时不能参照图像901。这种与IDR图片相关的处理例如记述在下述的非专利文献I中。
[0010]现有技术文献
[0011]专利文献
[0012]专利文献1:日本国际公开公报TO2005/006763A1
[0013]非专利文献
[0014]非专利文献1:1ain E.G.Richardson, “H.264and MPEG_4VideoCompress1n，，，John ffiley&Sons, 2003, sect1n6.4.2

【发明内容】

[0015]发明要解决的问题
[0016]由于IDR图片的导入，在上述预测中使用的参照图像受限制，因而不能高效地对在图像的显示顺序中位于IDR图片前面的图像(图1l(A)的图像902、903、904)进行编码。为了解决该问题，在上述专利文献I中公开了如下的方法:使刷新帧存储器的定时(即将帧存储器内的参照图像设定为不要的定时)延迟到对在IDR图片后面被编码的图像执行编码的时刻。通过延迟帧存储器刷新的定时，在图1l(A)的图像902、903、904的编码执行时刻，图像901残留在帧存储器中，因而在对图像902、903、904进行编码时能够参照图像901，能够高效地进行编码。
[0017]根据专利文献1，关于延迟存储器刷新的定时的方法公开了如下的方法。
[0018]方法1:对IDR图片附加与使延迟的图像的张数相关的信息。
[0019]方法2:对与实施存储器刷新的定时对应的图像的压缩数据附加用于指示执行存储器刷新的信号(标志)。
[0020]方法3:将在IDR图片之后出现的第一个P图片(单向预测图像)设为刷新的定时。
[0021]可是，上述的方法具有下述缺点。
[0022]缺点1:在上述的方法I中，在编辑动态图像时是这样进行的，即将多张图像中的一部分图像舍去，将另一部分图像连接起来并插入另一部分图像，因而对IDR图片附加的“与使延迟的图像的张数相关的信息”不贴切，存在导致错误动作的情况。
[0023]缺点2:在上述的方法2中，同样即使是在采用标志的情况下，在通过编辑动态图像而使得对应的图像的压缩数据被删除时，附加于被删除的压缩数据的标志消失，也存在导致错误动作的情况。
[0024]缺点3:在上述的方法3中，存储器刷新的信号(定时)被限定为P图片，因而存在不能利用其它方法进行编码的情况。例如，对于场景的变化衔接处，不能作为画面内预测(I图片)进行编码。
[0025]另外，此处的“错误动作”是指由于不能在恰当的定时进行存储器刷新，致使成为在对后续数据进行解码时需要的参照图像没有存储在帧存储器中的状态，其结果是后续的图像不能准确再现。
[0026]本发明目的在于解决上述问题，对作为随机访问的位置的图像的前后图像高效地进行压缩编码，同时消除由于现有技术的缺点导致的问题。
[0027]用于解决问题的手段
[0028]为了达到上述目的，本发明的一个实施方式的动态图像预测编码装置的特征在于，该动态图像预测编码装置具有:输入单元，其输入构成动态图像的多个图像；编码单元，其利用画面内预测方法或者画面间预测方法对所输入的所述图像进行编码，生成包含成为随机访问的图像即随机访问图像在内的压缩图像数据，并且对与所述图像的显示顺序信息相关的数据进行编码；复原单元，其对所生成的所述压缩图像数据进行解码，由此复原再现图像；图像存储单元，其将被复原的所述再现图像作为用于对后续的图像进行编码的参照图像进行存储；以及存储器管理单元，其控制所述图像存储单元，在生成所述随机访问图像的编码处理结束后，所述存储器管理单元在对显示顺序信息比所述随机访问图像的显示顺序信息大的第一个图像即将进行编码之前或者刚刚进行编码之后，将存储于所述图像存储单元的参照图像中除所述随机访问图像之外的参照图像设定为不要，由此刷新所述图像存储单元。
[0029]也可以是，对于包括显示顺序信息比所述随机访问图像的显示顺序信息大、而且在生成所述随机访问图像的编码处理结束后第一个成为编码对象的图像在内的一个以上的编码对象图像，所述编码单元对所述编码对象图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值进行编码，作为与所述编码对象图像的显示顺序信息相关的数据。
[0030]并且，也可以是，所述编码单元对于从在随机访问图像之后成为编码对象的图像开始、到显示顺序信息比所述随机访问图像的显示顺序信息大、而且在生成所述随机访问图像的编码处理结束后第一个成为编码对象的图像为止的各个图像，对各个图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值进行编码，作为与该各个图像的显示顺序信息相关的数据。
[0031]本发明的一个实施方式的动态图像预测解码装置的特征在于，该动态图像预测解码装置具有:输入单元，其输入利用画面内预测方法或者画面间预测方法对构成动态图像的多个图像进行编码得到的、包括成为随机访问的图像即随机访问图像在内的压缩图像数据、以及通过对与所述图像的显示顺序信息相关的数据进行编码得到的显示顺序编码数据；复原单元，其通过对所述压缩图像数据进行解码而复原再现图像，并且通过对所述显示顺序编码数据进行解码而复原显示顺序信息；图像存储单元，其将被复原的所述再现图像作为用于对后续的图像进行解码的参照图像进行存储；以及存储器管理单元，其控制所述图像存储单元，在对所述随机访问图像进行解码的解码处理结束后，在对显示顺序信息比所述随机访问图像的显示顺序信息大的第一个图像即将进行解码之前或者刚刚进行解码之后，所述存储器管理单元将存储于所述图像存储单元的参照图像中除所述随机访问图像之外的参照图像设定为不要，由此刷新所述图像存储单元。
[0032]也可以是，所述复原单元对于包括显示顺序信息比所述随机访问图像的显示顺序信息大、而且在对所述随机访问图像进行解码的解码处理结束后第一个成为解码对象的图像在内的一个以上的解码对象图像的显示顺序信息，将对该解码对象图像的显示顺序编码数据进行解码得到的该解码对象图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值、和所述随机访问图像的显示顺序信息进行相加，由此复原该解码对象图像的显示顺序信息。
[0033]并且，也可以是，所述复原单元对于从在随机访问图像之后成为解码对象的图像开始、到显示顺序信息比所述随机访问图像的显示顺序信息大、而且在生成所述随机访问图像的解码处理结束后第一个成为解码对象的图像为止的各个图像的显示顺序信息，将对该各个图像的显示顺序编码数据进