音频的屏幕相对呈现和用于这样的呈现的音频的编码和解码的制作方法_5

文档序号:9932943阅读:来源:国知局
屏幕相对呈现)。基于扬声器声道的音频节目可以包括至少可选择的两组扬声器声道,并且回放系统可以被配置为呈现多组扬声器声道中的选择的一组以实现屏幕相对呈现。
[0125]由基于扬声器声道的节目假设的常见的扬声器声道配置包括立体声(用于使用两个扬声器回放)和5.1环绕声(用于通过五个全频(full-range)扬声器回放)。利用这样的声道配置,扬声器声道(音频信号)根据定义与喇叭位置关联,并且音频元素(由声道的音频内容指示)被呈现的感知位置通常基于回放环境中的假设的扬声器位置或者相对于参考收听位置的假设的扬声器位置来确定。
[0126]在基于扬声器声道的音频节目被生成(响应于基于对象的节目)的一些实施例中,通过基于对象的节目的屏幕相关的元数据实现的屏幕相对扭曲(缩放)功能被利用以生成与具有相对于回放屏幕的预定位置的喇叭关联的(基于扬声器声道的节目的)扬声器声道。通常,特定的回放屏幕大小和形状以及位置被生成基于扬声器声道的节目的系统假设。例如,响应于基于对象的节目,可以生成基于扬声器声道的节目以包括以下两组扬声器声道(并且可选地还包括其它扬声器声道):
[0127]第一组常规的左(“L”)和右(“R”)前扬声器声道,用于呈现相对于参考屏幕(例如在电影混合设施中)所确定的感知位置处的音频元素;以及
[0128]第二组左和右前扬声器声道,其可以称为“左屏幕”(Lsc)和“右屏幕”(Rsc),用于呈现相对于假设的回放显示屏幕(其中,回放屏幕和回放系统前扬声器被假设为具有预定的相对大小、形状以及位置)的左和右边缘(例如在再混合设施或者混合设施的再混合级处)所确定的感知位置处的相同的音频元素。
[0129]通常,作为扭曲的结果而生成的基于扬声器声道的节目的声道(例如Lsc和Rsc声道)可以被呈现以允许显示在回放屏幕上的图像与对应的呈现声音之间的更接近匹配。
[0130]通过选择和呈现常规的左(“L”)和右(“R”)前扬声器声道,回放系统可以呈现选择的声道使得由此确定的音频元素被感知为具有未扭曲位置。通过选择和呈现“左屏幕”(Lsc)和“右屏幕”(Rsc)扬声器声道,回放系统可以呈现选择的声道使得由此确定的音频元素被感知为具有扭曲位置(相对于回放屏幕),但是该扭曲在基于扬声器声道的节目的生成(响应于基于对象的节目,其通常包括屏幕相关的元数据)时而不是通过回放系统来执行。
[0131]该类的一些实施例包括以下步骤:(在混合时间和位置处)生成具有屏幕相关的元数据的基于对象的节目;然后(在“再混合”时间和位置处,该位置可以是在进行原始混合例如以生成用于家庭使用的记录的相同位置处)使用屏幕相关的元数据以包括通过执行屏幕相对扭曲来从基于对象的节目生成基于扬声器声道的节目;以及然后将基于扬声器声道的节目传送至回放系统。基于扬声器声道的节目可以包括可选择的多组声道,包括在不执行扭曲的情况下生成并且(在呈现时)指示被感知为处于至少一个未扭曲位置处的至少一个音频元素的第一组扬声器声道(例如以常规方式所生成的L和R声道),和作为基于对象的节目的内容的扭曲的结果而生成并且(在呈现时)指示但被感知为处于至少一个不同的(即扭曲)位置处的相同音频元素的至少额外的一组扬声器声道(例如Lsc和Rsc声道)。可替代地,基于扬声器声道的节目仅仅包括作为扭曲的结果而生成并且(在呈现时)指示被感知处于至少一个扭曲位置处的至少一个音频元素的一组声道(例如Lsc和Rsc声道)但不包括(在呈现时)指示被感知处于未扭曲位置处的相同音频元素的另一组声道(例如L和R声道)。
[0132]根据示例性实施例从基于对象的节目生成的基于扬声器声道的节目包括五个前声道:左(L)、左屏幕(Lsc)、中心(C)、右屏幕(Rsc)以及右(R) Isc和Rsc声道通过使用基于对象的节目的屏幕相关的元数据执行扭曲而生成。为了呈现和回放基于扬声器声道的节目,回放系统可以选择和呈现L和R声道以驱动在回放屏幕的左和右边缘处的前扬声器,或者可以选择和呈现Lsc和Rsc声道以驱动离回放屏幕的左和右边缘更远的前扬声器。例如,Lsc和Rsc声道可以在它们将被用于使用在相对于假设的用户位置的+30和-30度的方位角处的前扬声器来呈现音频元素的假设下被生成,并且L和R声道可以在它们将被用于使用在相对于假设的用户位置的+15和-15度的方位角处(在回放屏幕的左和右边缘处)的前扬声器来呈现音频元素的假设下被生成。
[0133]例如,图5的系统包括被配置为根据本发明的实施例生成包括屏幕相关的元数据的基于对象的音频节目(“0P”)的编码器4。编码器4可以在混合设施中或者在混合设施处实现。图5的系统还包括被耦合和配置为响应于通过编码器4所生成的基于对象的音频节目而(根据本发明的实施例)生成包括扬声器声道而不包括对象声道的基于扬声器声道的音频节目(“SP”)的再混合子系统6。子系统6可以在再混合设施中或者在再混合设施处、或者作为混合设施(例如其中也实现编码器4的混合设施)的再混合级实现。基于扬声器声道的节目SP的音频内容包括至少可选择的两组扬声器声道(例如,一组包括以上讨论的声道L和R,并且另一组包括以上讨论的声道Lsc和Rsc),并且子系统6被配置为作为根据本发明的实施例使用根据本发明的实施例的节目OP的屏幕相关的元数据(并且通常还使用指示扭曲的类型和/或程度(但不通过屏幕相关的元数据指示)的其它控制数据)对基于对象的节目OP(由编码器4生成)的音频内容进行扭曲的结果而生成多组中的至少一组(例如声道Lsc和Rsc)。基于扬声器声道的节目SP从子系统6输出到传送子系统5。子系统5可以与以上讨论的图3的系统的子系统5相同。
[0134]本发明的实施例可以以硬件、固件、或者软件、或者它们的组合(例如作为可编程逻辑阵列)来实现。例如,图3的系统(或者其子系统3,或者子系统7、9、10以及11)可以以适当地编程的(或者以其它方式配置的)硬件或者固件(例如作为编程的通用处理器、数字信号处理器或者微处理器)来实现。除非另作指明,作为本发明的部分被包括的算法或者处理内在地不与任何特定的计算机或者其它装置相关。特别地,各种通用机器可以与根据本文中的教导所编写的程序一起使用,或者可以更方便的是构造更专门的装置(例如集成电路)以执行所需要的方法步骤。因此,本发明可以以在一个或多个可编程计算机系统(例如实现图3的系统(或者其子系统3、或者子系统7、9、10以及11))上执行的一个或多个计算机程序来实现,每个可编程计算机系统包括至少一个处理器、至少一个数据存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备或者端口、以及至少一个输出设备或者端口。程序代码被应用到输入数据以执行在本文中所描述的功能并且生成输出信息。该输出信息以已知的方式被应用到一个或多个输出设备。
[0135]每个这样的程序可以以任何期望的计算机语言(包括机器、汇编、或者高级过程、逻辑、或者面向对象编程语言)实现以与计算机系统通信。在任何情况下,该语言可以是编译或者解释语言。
[0136]例如,在通过计算机软件指令序列实现时,本发明的实施例的各种功能和步骤可以通过在合适的数字信号处理硬件中运行的多线程软件指令序列来实现,在这种情况下,实施例的各种设备、步骤以及功能可以对应于软件指令的部分。
[0137]每个这样的计算机程序优选存储在通过通用的或者专用的可编程计算机可读的存储介质或者设备(例如固态存储器或介质,或者磁性或者光学介质)上、或者下载至该存储介质或者设备,以用于在存储介质或者设备由计算机系统读取时配置和操作计算机以执行在本文中所描述的过程。本发明的系统也可以实现为配置有(即存储)计算机程序的计算机可读存储介质,其中,这样配置的存储介质使计算机系统以特定和预定义的方式操作以执行在本文中所描述的功能。
[0138]尽管通过示例和关于示例性的特定实施例已描述了实现,但要理解的是本发明的实现不限于所公开的实施例。相反,它意图覆盖对于本领域技术人员将清楚的各种修改和类似布置。因此,随附权利要求的范围应当赋予最宽的解释以便包括所有这样的修改和类似布置。
【主权项】
1.一种用于呈现音频节目的方法,包括以下步骤: (a)确定至少一个扭曲程度参数;和 (b)对节目的至少一个声道的音频内容执行扭曲到至少部分地由与所述声道对应的扭曲程度参数所确定的程度,其中,每一个所述扭曲程度参数指示要通过回放系统对所述节目的对应的音频内容所执行的扭曲的最大程度。2.如权利要求1所述的方法,其中,步骤(a)包括确定至少一个屏幕外扭曲参数的步骤,其中,屏幕外扭曲参数指示通过回放系统对节目的对应的音频内容的屏幕外扭曲的至少一个特性,并且其中,在步骤(b)中执行的扭曲包括至少部分地由至少一个所述屏幕外扭曲参数所确定的屏幕外扭曲。3.如权利要求2所述的方法,其中,屏幕外扭曲参数控制作为音频元素要被呈现的扭曲位置的与回放屏幕的平面至少基本上垂直的距离的函数的、沿与回放屏幕的平面至少基本上平行的宽度轴的音频元素的未扭曲位置的扭曲的程度。4.如权利要求1-3中的任一项所述的方法,其中,扭曲包括确定指示要在沿宽度轴的扭曲位置处被呈现的音频元素的沿宽度轴的未扭曲位置的值Xs,并且生成以下值: Xwarp, YFACTOR=yEXP,以及 X’ =x*yfactor+(1-yfactor)*[XFACT0R*Xwarp+(1-xfactor)*χ)], 其中, Xwarp表示相对于回放屏幕的边缘的沿宽度轴的音频元素的原始扭曲位置, EXP是屏幕外扭曲参数, YFACTOR指示作为音频元素的沿与回放屏幕的平面至少基本上垂直的深度轴的扭曲位置y的函数的、沿宽度轴的扭曲的程度, X’表示相对于回放屏幕的边缘的沿宽度轴的音频元素的扭曲对象位置,并且 XFACTOR是一个所述扭曲程度参数。5.如权利要求1-4中的任一项所述的方法,其中,所述节目是基于对象的音频节目,并且步骤(a)包括解析节目以识别由该节目的屏幕相关的元数据所指示的至少一个所述一个扭曲程度参数的步骤。6.如权利要求5所述的方法,其中,所述节目指示至少两个对象,步骤(a)包括独立地确定用于对象中的每一个的至少一个扭曲程度参数的步骤,并且步骤(b)包括以下步骤: 对对象声道中的每一个的音频内容独立地执行扭曲到至少部分地由与对象中的所述每一个对应的所述至少一个扭曲程度参数所确定的程度。7.如权利要求1-6中的任一项所述的方法,其中,每一个所述扭曲程度参数是指示要通过回放系统对节目的对应的音频内容所执行的扭曲的最大程度的非二进制值。8.—种用于生成基于对象的音频节目的方法,包括以下步骤: (a)确定用于至少一个对象的至少一个扭曲程度参数;和 (b)在节目中包括指示对象的对象声道和指示用于对象的每一个所述扭曲程度参数的屏幕相关的元数据,其中,每一个所述扭曲程度参数指示要通过回放系统对对象所执行的扭曲的最大程度。9.如权利要求8所述的方法,其中,所述节目指示至少两个对象,并且屏幕相关的元数据指示用于对象中的至少两个中的每一个的至少一个所述扭曲程度参数,每一个所述扭曲程度参数指示要对每一个对应的对象所执行的扭曲的最大程度。10.如权利要求8或权利要求9所述的方法,其中,步骤(a)包括确定用于所述至少一个对象的至少一个屏幕外扭曲参数的步骤,其中,屏幕外扭曲参数指示要通过回放系统对对象所执行的屏幕外扭曲的至少一个特性,并且其中,包括在节目中的屏幕相关的元数据指示每一个所述屏幕外扭曲参数。11.如权利要求10所述的方法,其中,屏幕外扭曲参数控制作为对象要被呈现的扭曲位置的与回放屏幕的平面至少基本上垂直的距离的函数的、沿与回放屏幕的平面至少基本上平行的宽度轴的对象的未扭曲位置的扭曲的程度。12.如权利要求8-11中的任一项所述的方法,其中,扭曲包括确定指示要在沿宽度轴的扭曲位置处被呈现的对象的沿宽度轴的未扭曲位置的值Xs,并且生成以下值: Xwarp, YFACTOR=yEXP,以及 X’ =x*yfactor+(1-yfactor)*[XFACT0R*Xwarp+(1-xfactor)*χ)], 其中, Xwarp表示相对于回放屏幕的边缘的沿宽度轴的音频元素的原始扭曲位置, EXP是屏幕外扭曲参数, YFACTOR指示作为音频元素的沿与回放屏幕的平面至少基本上垂直的深度轴的扭曲位置y的函数的、沿宽度轴的扭曲的程度, X’表示相对于回放屏幕的边缘的沿宽度轴的音频元素的扭曲对象位置,并且 XFACTOR是一个所述扭曲程度参数。13.如权利要求8-12中的任一项所述的方法,其中,每一个所述扭曲程度参数是指示要通过回放系统对节目的对应的音频内容所执行的扭曲的最大程度的非二进制值。14.一种方法,包括以下步骤: (a)生成基于对象的音频节目;和 (b)响应于基于对象的音频节目,生成基于扬声器声道的节目,该基于扬声器声道的节目包括预期用于通过位于相对于回放屏幕的预定位置处的喇叭回放的至少一组扬声器声道,其中,所述一组扬声器声道的生成包括将基于对象的音频节目的音频内容扭曲到至少部分地由至少一个扭曲程度参数所确定的程度的步骤,并且每一个所述扭曲程度参数指示要通过回放系统对基于对象的音频节目的对应的音频内容所执行的扭曲的最大程度。15.如权利要求14所述的方法,其中,步骤(b)包括生成基于扬声器声道的音频节目使得该基于扬声器声道的节目包括可选择的两组或更多组扬声器声道的步骤,多组中的至少一组指示基于对象的音频节目的未扭曲音频内容,多组中的至少另一组的生成包括将基于对象的音频节目的音频内容扭曲到至少部分地由扭曲程度参数所确定的程度的步骤,并且多组中的所述另一组预期用于通过位于相对于回放屏幕的预定位置处的喇叭回放。16.如权利要求14或权利要求15所述的方法,其中,步骤(b)包括确定至少一个屏幕外扭曲参数的步骤,其中,屏幕外扭曲参数指示通过回放系统对基于对象的音频节目的对应的音频内容的屏幕外扭曲的至少一个特性,并且其中,在步骤(b)中执行的扭曲包括至少部分地由至少一个所述屏幕外扭曲参数所确定的屏幕外扭曲。17.如权利要求16所述的方法,其中,屏幕外扭曲包括作为音频元素要被呈现的扭曲位置的与回放屏幕的平面至少基本上垂直的距离的函数的、沿与回放屏幕的平面至少基本上平行的宽度轴的音频元素的未扭曲位置的、到由屏幕外扭曲参数所控制的程度的扭曲。18.如权利要求14-17中的任一项所述的方法,其中,扭曲的步骤包括确定指示要在沿与回放屏幕的平面至少基本上平行的宽度轴的扭曲位置处被呈现的音频对象的沿宽度轴的未扭曲位置的值Xs,并且生成以下值: Xwarp, YFACTOR=yEXP,以及 X’ =x*yfactor+(1-yfactor)*[XFACT0R*Xwarp+(1-xfactor)*χ)], 其中, Xwarp表示相对于回放屏幕的边缘的沿宽度轴的对象的原始扭曲位置, EXP是屏幕外扭曲参数, YFACTOR指示作为对象的沿与回放屏幕的平面至少基本上垂直的深度轴的扭曲位置y的函数的、沿宽度轴的扭曲的程度, X,表示相对于回放屏幕的边缘的沿宽度轴的对象的扭曲对象位置,并且 XFACTOR是一个所述扭曲程度参数。19.如权利要求14-18中的任一项所述的方法,其中,基于对象的音频节目包括指示所述至少一个扭曲程度参数的屏幕相关的元数据,并且步骤(b)包括解析基于对象的音频节目以识别由屏幕相关的元数据所指示的每一个所述扭曲程度参数的步骤。20.如权利要求14-19中的任一项所述的方法,其中,每一个所述扭曲程度参数是指示要通过回放系统对节目的对应的音频内容所执行的扭曲的最大程度的非二进制值。21.一种呈现基于扬声器声道的节目的方法,所述基于扬声器声道的节目包括指示扭曲内容的至少一组扬声器声道,其中,所述基于扬声
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1