用于使用图形处理器的视频解码的图片参考控制的制作方法
【专利说明】
【背景技术】
[0001]视频记录可以作为定义可显示图片序列的已编码图像数据而以数字形式进行传送和/或存储以用于视频回放。一些视频编码格式被标准组织定义，以促进工业界和消费者的广泛接受(例如，H.261、MPEG-1、H.262/MPEG-2、H.263、MPEG-4 第 2 部分、H.264/AVC、SMPTE VC-1和H.265/HEVC)。视频编码通常包括减小与视频记录相关联的传输和存储要求的压缩方面。例如，经压缩的视频在计算设备上占用较少存储并且可以在较短时间段内输送(例如，流传送)到计算设备/从计算设备进行输送。当解码数字数据时，用于已编码视频序列中的每个编码图片的数据被解码，以便生成用于在诸如计算机屏幕、电话屏幕或者其他显示设备之类的显示器上呈现的可显示图片。
[0002]附加地，通常将图形处理器与计算系统中的主处理器组合地使用，以卸去某些处理器密集的解码操作的负担。在对已编码图像数据进行解码时在主处理器执行的解码器和图形处理器之间的交互可以显著改进系统性能。这样的交互可以依赖于用于编码视频的标准，并且其自身可以被标准化接口所管控。
[0003]因为正常回放是在视频回放系统中最频繁使用的操作模式，所以视频编码标准通常聚焦于视频的正常回放。结果，可被称为“特技播放(trick play)”操作的其他回放模式(例如，快进、倒退、向前跳过/前向寻找、向后跳过/倒回等等)可以呈现解码的挑战。例如，对于这样的特技播放操作的解码可以依赖于当该特技播放模式被执行时还没有被完全输送、解码或者以其他方式可用的视频数据。因此，不可用的视频数据可能会导致在特技播放操作期间的不良性能和/或不良的图片质量。
【发明内容】
[0004]在本文描述和要求保护的实现方式通过获取与已编码视频比特流的当前图片相关联的第一图片缓冲参数集而解决了前述问题。第一图片缓冲参数集标识了一个或者多个参考图片的集合以用于由图形处理器在解码当前图片时使用。视频解码器将第一图片缓冲参数集修改为第二 (不同的)图片缓冲参数集以用于由图形处理器在解码当前图片时使用。第二图片缓冲参数集被输送给图形处理器以用于解码当前图片。
[0005]本
【发明内容】
被提供来以简化的形式介绍下面在【具体实施方式】中进一步描述的概念的选择。本
【发明内容】
不打算标识所要求保护主题的关键特征或者必要特征，其也不打算用来限制所要求保护主题的范围。
[0006]本文中还描述和记载了其他实现方式。
【附图说明】
[0007]图1图示了用于视频回放设备的视频解码系统的示例。
[0008]图2图示了使用图片缓冲参数来对来自在输入信道处接收的已编码视频比特流的编码图片进行解码的示例主处理设备。
[0009]图3图示了编码/解码过程和用于在特技播放模式期间使用的已修改参数的生成的示例。
[0010]图4图示了可以用来构造一系列可显示图片的编码图片的示例序列。
[0011]图5图示了用于视频特技播放操作的示例过程。
[0012]图6图示了可以在实现所描述技术时有用的示例系统。
【具体实施方式】
[0013]图1图示了用于视频回放设备的视频解码系统100的示例。在该示例中，所接收的视频数据流被称为已编码视频比特流102，其可以从各种各样的源接收。例如，视频数据流可以从位于互联网上的站点、从云中的一个或者多个存储设备或服务、从存储盘(诸如DVD)、从视频电话会议系统、从电视广播系统、从位于远程的相机系统、从形成同一视频回放设备的一部分的存储器等等接收。
[0014]主处理设备104从视频源(例如，基于Web的视频服务)将已编码视频比特流102接收到输入缓冲器110 (例如，在存储器中)。播放器模块114被作为主处理器示例的中央处理单元(CPU)112执行或者与其相结合地执行，并且管理来自输入缓冲器110的已编码视频比特流102的解码以及对应的可显示图片的回放。因此，播放器114指导已编码视频比特流102的哪些编码图片被解码器116解码以用于回放的目的。在图1的示例中，播放器114可以指导解码器116解码已编码视频比特流数据102以用于正常的前向回放。附加地，播放器114可以指导解码器116解码已编码视频比特流102以用于其他类型的回放，其包括(不作为限制)涉及隐藏数据差错(例如，数据丢失或者损坏)以及“特技播放”操作(例如，快进、倒退、跳到视频图片序列中的任意图片等等)的回放。数据输送模块117用来将已编码视频比特流102和来自主处理设备104的其他数据输送到图形处理器106。在所图示的示例中，在数据输送模块117和图形处理器106之间的接口被诸如设备驱动程序接口(DDI)或者应用程序接口(API)之类的标准化接口 107管控。
[0015]图形处理器106可以是高度专用的以执行特定功能，诸如使用存储的(或者“缓冲的”)参考图片集来解码已编码视频比特流102的可显示图片。在一个实现方式中，每个参考图片表示组成整个图片(例如，用于给定图片的每个像素)的三个颜色分量(例如，表示亮度、对蓝色的色度差和对红色的色度差的颜色分量)的样本的三个数组。用于在解码每个编码图片时使用的图片标识参数(本文中被称为参考图片集合的元素)被标识在已编码视频比特流102的头部数据中(例如，在图片级或者条带级头部数据中，其中每个条带对应于图片的不同可解码区域)，并且被解码器116提取。在该示例中，参考图片集被图形处理器106使用来解码已编码视频比特流102的编码图片并且生成可在视频显示器108上显示的图片。当调用图形处理器106的服务时，解码器116指令图形处理器106使用所标识的参考图片集来解码当前编码图片。
[0016]正常的显示次序通常指的是已编码视频序列的视频图片在正常前向回放期间将被显示的次序。然而，编码视频图片出现在已编码视频比特流102中的次序可能不同于图片正常地在视频显示器上显示的次序。在已编码视频比特流102内的图片排序信息标识了对于解码器而言在正常解码次序(也被称为“比特流次序”)和正常输出次序(也被称为“正常显示次序”)之间的任何差别。在正常回放模式期间，图形处理器106能够访问在参考图片集合中标识的所有参考图片的所存储的副本(例如，在图形处理器106的缓冲器存储器中)以用于在以适时的方式解码当前图片时使用。
[0017]然而，在特技播放操作期间，回放并不遵循可显示图片的正常回放顺序，并且所以，之前缓冲的参考图片可能不适用于特技播放的目标图片。例如，对于快进操作，快进序列的下一图片可能在按照用于已编码视频序列的正常输出次序的当前图片之前若干图片。这样，之前缓冲的参考图片可能不适用于快进操作的下一操作，并且与快进操作的下一图片相关联的参考图片中的一些可能不可用于在解码下一图片时使用(因为其在快进期间被跳过)。这样，解码器116可以修改与解码下一图片相关联的参考图片集合以忽略不可用的参考图片。对于参考图片集合的这样的修改可以用于其他类型的特技播放，其包括快进、平滑倒退、信道采集、随机寻找等等。
[0018]特别地，对于其中操作被切换到新数据流或者视频图片序列中的任意位置的特技播放(诸如信道采集或者随机寻找)而言，之前缓冲的图片可能与用于特技播放的新目标图片的参考图片集合没有多少关系或者没有关系。因此，对用于新目标图片的参考图片集合的修改可以允许对新目标图片进行较快解码，例如，通过省略施加长解码时间的参考图片(例如，省略要求对许多未缓冲的参考图片进行在先解码的参考图片)。
[0019]对于参考图片集合的这样的修改还可以用于隐藏在已编码视频比特流102中的差错(例如，诸如丢失的数据)。例如，如果解码器116检测到平常将用于解码当前图片的参考图片丢失了，则解码器116可以将丢失的参考图片从当前图片的参考图片集合中移除，诸如通过采用不同的、可用的参考图片替代丢失的参考图片以用于在解码当前图片时使用。
[0020]在又另一个实现方式中，计算资源(例如，视频解码器资源、图形处理器资源等等)和/或通信带宽可以导致回放落后或者具有落后的风险。在这样的情形中，解码器可以决定使用所描述的技术(例如，跳过对某些图片的解码、从对序列中的每个图片的解码中省略某些参考图片等等，由此加快解码以允许回放追上或者跟上例如音频流)来简化对图片序列的解码。同样地，解码器可以从其对提供视频比特流的视频服务器的数据传递请求中省略某些图片。这样的图片因此可以作为用于视频序列中的某些图片的参考图片而被省略。
[0021]如所讨论的，主处理设备104可以通过指导图形处理器106在解码当前图片时利用不同的参考图片集来解决这样的操作模式。因此，平常将在正常回放期间使用第一缓冲参考图片集来解码的图片可以在特技播放或者差错隐藏操作期间使用不同的参考图片集(例如，子集)来进行解码。所修改的参考图片集可以规定图形处理器106已经缓冲的或者可以快速从可用图片中解码的参考图片。因此，当前图片其自身可以从这些已经缓冲的或者快速解码的参考图片中快速地得以解码。一旦当前图片被解码，生成了可显示图片，则主处理设备104将解码的可显示图片发送给视频显示器108以用于向用户进行呈现(例如，显示)。
[0022]图2图示了使用图片缓冲参数来解码来自在输入信道202处接收到的已编码视频比特流的编码图片的示例主处理设备204。主处理设备204接收已编码视频比特流并且利用CPU 203、播放器205和解码器207来处理已编码视频比特流。图形处理器206被用于专用图形处理以协助对已编码视