发送装置、发送方法、接收装置和接收方法与流程

文档序号:11236838阅读:723来源:国知局
发送装置、发送方法、接收装置和接收方法与流程

本技术涉及一种发送装置、发送方法、接收装置和接收方法,并且具体地涉及发送通过将高动态范围光电变换应用于高动态范围视频数据而获得的发送视频数据的发送装置等。



背景技术:

照惯例,将考虑发送通过将高动态范围光电转换应用于高动态范围视频数据而获得的发送视频数据。在下文中,酌情将高动态范围称为“hdr”。例如,非专利文献1描述了一种hdr光电转换特性(新伽马特性),其包括与考虑到通过传统接收器来接收的传统光电转换特性(伽马特性)兼容的区域。

引用列表

非专利文献

非专利文献1:timborer“non-linearopto-electricaltransferfunctionsforhighdynamicrangetelevision”,research&developmentwhitepaperwhp283,2014年7月



技术实现要素:

本发明要解决的问题

例如,当发送通过使用包括与传统光电转换特性兼容的区域的上述hdr光电转换特性而获得的发送视频数据时,必要的是传统接收器应当能够确定该光电转换特性类似于传统光电转换特性,并且hdr兼容接收器应该能够确定该光电转换特性是hdr光电转换特性。

本技术的目的是使传统接收器和hdr兼容接收器两者能够很好地对通过使用hdr光电转换特性而获得的发送视频数据进行电光转换处理。问题解决方案

本技术的概念在于:

发送装置,包括:

光电变换单元,被配置为对高动态范围视频数据执行高动态范围光电变换以获得发送视频数据;

编码单元,被配置为对发送视频数据执行编码处理以获得视频流;

发送单元,被配置为发送包括视频流的预定格式的容器;以及

信息插入单元,被配置为以将指示标准动态范围光电转换特性的元数据信息插入到视频流的层中,并且将指示高动态范围光电转换特性的元数据信息插入到视频流的层和容器的层的至少一个中。

在本技术中,光电转换单元对高动态范围视频数据进行高动态范围光电转换以获得发送视频数据。在这种情况下,例如,可以使用包括与传统光电转换特性(伽玛特性)兼容的区域的高动态范围光电转换特性(新伽马特性)。

编码单元对发送视频数据执行编码处理以获得视频流。发送单元发送包括该视频流的预定格式的容器。例如,容器可以是由数字广播标准采用的传送流(mpeg-2ts0)。另外,例如,容器可以是用于在因特网等上分布的mp4格式的容器,或者是除了mp4之外的格式的容器。

信息插入单元将指示标准动态范围光电转换特性的元数据信息插入到视频流的层中,并且将指示高动态范围光电转换特性的元数据信息插入到视频流的层和容器的层的至少一个中。

例如,当将指示高动态范围光电转换特性的元数据信息插入到视频流的层中时,信息插入单元可以将指示标准动态范围光电转换特性的元数据信息插入到视频流中的第一区域中,并且将指示高动态范围光电转换特性的元数据信息插入到视频流中的与第一区域不同的第二区域中。在这种情况下,例如,第一区域可以是spsnal单元的区域,并且第二区域可以是seinal单元的区域。

另外,例如,容器可以是传送流,并且当将指示高动态范围光电转换特性的元数据信息插入到容器的层中时,信息插入单元可以将该元数据信息插入到程序映射表下。另外,例如,容器可以是传送流,并且当将指示高动态范围光电转换特性的元数据信息插入到容器的层中时,信息插入单元可以将该元数据信息插入到事件信息表下。

在本技术中,以这种方式将指示标准动态范围光电转换特性的元数据信息插入到视频流的层中,并且将指示高动态范围光电转换特性的元数据信息插入到视频流的层和容器的层的至少一个中。

因此,传统接收器和hdr兼容接收器两者都可以很好地对通过使用hdr光电转换特性而获得的发送视频数据进行电光转换处理。也就是说,传统接收器可以基于指示标准动态范围光电转换特性的元数据信息来确定光电转换特性与传统光电转换特性类似。另外,hdr兼容接收器可以基于指示高动态范围光电转换特性的元数据信息来确定该光电转换特性是hdr光电转换特性。

另外,在本技术中,例如,信息插入单元可以将用于显示控制的元数据信息与指示高动态范围光电转换特性的元数据信息一起插入。在这种情况下,例如,用于显示控制的元数据信息可以包括峰值亮度信息。另外,例如,用于显示控制的元数据信息可以包括指示在其中允许亮度变换的区域的区域信息。在这种情况下,hdr兼容接收器可以通过使用这种用于显示控制的元数据信息来适当地进行显示亮度控制。

另外,本技术的另一个概念在于:

接收装置,包括:

接收单元,被配置为接收包括通过对发送视频数据进行编码而获得的视频流的容器;

解码单元,被配置为对视频流进行解码处理以获得发送视频数据;以及

电光变换单元,被配置为对发送视频数据进行电光变换以获得用于显示的视频数据,

其中,当指示标准动态范围光电转换特性的元数据信息被插入到视频流的层中并且指示高动态范围光电转换特性的元数据信息被插入到视频流的层和容器的层的至少一个中时,电光变换单元基于指示高动态范围光电转换特性的元数据信息对发送视频数据执行具有与高动态范围光电转换特性相反的特性的高动态范围电光变化以获得用于显示的视频数据。

在本技术中,接收单元接收包括通过对发送视频数据进行编码而获得的视频流的容器。解码单元对视频流执行解码处理以获得发送视频数据。然后,电光变换单元对发送视频数据执行电光变换以获得用于显示的视频数据。

当指示标准动态范围光电转换特性的元数据信息被插入到视频流的层中并且元数据信息被插入到视频流的层和容器的层的至少一个中时,电光变换单元基于指示高动态范围光电转换特性的该元数据信息对发送视频数据执行具有与高动态范围光电转换特性相反的特性的高动态范围电光变换以获得用于显示的视频数据。

以这种方式,本技术使得能够对使用高动态范围光电转换特性而获得的发送视频数据适当地进行高动态范围电光变换,以获得好的作为用于显示的视频数据的高动态范围视频数据。

注意,本技术进一步可以包括例如亮度调整单元,被配置为对用于显示的视频数据进行显示亮度调整。当将用于显示控制的元数据信息与指示高动态范围光电转换特性的元数据信息一起插入时,亮度调整单元可以基于用于显示控制的元数据信息对用于显示的视频数据进行显示亮度调整。在这种情况下,例如,用于显示控制的元数据信息可以包括指示在其中允许进行亮度变换的区域的区域信息,并且亮度调整单元可以在其中允许亮度变换的区域中执行显示亮度调整。在这种情况下,可以适当地执行显示亮度调整。

本发明的效果

本技术使得传统接收器和hdr兼容接收器能够很好地对通过使用hdr光电转换特性而获得的发送视频数据执行电光变换处理。应当注意,在本说明书中所描述的效果仅是说明性的而不是限制性的,并且可以具有附加的效果。

附图说明

图1是示出了作为实施方式的发送和接收系统的配置示例的框图。

图2是示出了构成发送和接收系统的发送装置的配置示例的框图。

图3是用于描述hdr光电转换特性的示图。

图4是示出了当编码方法是hevc时访问gop的头部的单元的示图。

图5是示出了当编码方法是hevc时除了gop的头部之外的访问单元的示图。

图6是示出了动态范围sei消息的结构示例的示图。

图7是示出了动态范围sei消息的结构示例中的主要信息的内容的示图。

图8是示出了视频动态范围描述符的结构示例的示图。

图9是示出了传送流ts的配置示例的示图。

图10是示出了构成发送和接收系统的传统hdr非兼容接收装置的配置示例的框图。

图11是示出了构成发送和接收系统的hdr兼容接收装置的配置示例的框图。

图12是用于描述sdr电光转换特性、sdr显示映射处理、hdr电光转换特性、hdr显示映射处理等的示图。

图13是示出了发送和接收系统的另一配置示例的框图。

图14是示出了当与sdr兼容时待从机顶盒发送到监视器的“供应商特定的信息帧”的数据包的第七字节和随后字节的结构示例的示图。

图15是示出了当与hdr兼容时待从机顶盒发送到监视器的“供应商特定的信息帧”的数据包的第七字节和随后字节的结构示例的示图。

图16是示出了在“供应商特定的信息帧”的数据包的每个结构示例中的主要信息的内容的示图。

具体实施方式

在下文中,将对实施本发明的方式(以下称为“实施方式”)进行说明。注意,将按照以下顺序提供描述。

1.实施方式

2.变形例

<1.实施方式>

[发送和接收系统的配置示例]

图1示出了作为实施方式的发送和接收系统10的配置示例。该发送和接收系统10包括发送装置100和接收装置200、接收装置300。接收装置200是与传统标准动态范围(sdr)兼容并且与高动态范围(hdr)不兼容的接收装置。接收装置300是hdr兼容接收装置。

发送装置100生成作为容器的mpeg2的传送流ts,并将该传送流ts放置在广播波或网络数据包上,并发送该传送流ts。该传送流ts包括通过对hdr视频数据执行hdr光电变换而获得的发送视频数据执行编码处理而获得的视频流。

指示sdr光电转换特性(伽马特性)的元数据信息被插入到视频流的层中。此外,指示hdr光电转换特性(新伽玛特性)的元数据信息被插入到视频流的层和容器的层的至少一个中。此外,在本实施方式中,将用于显示控制的元数据信息与指示hdr光电转换特性的该元数据信息一起插入。用于显示控制的元数据信息包括峰值亮度信息以及指示在其中允许亮度变换的区域的区域信息。

接收装置200对包括在所接收的容器中的视频流执行解码处理以获得发送视频数据。接收装置200可以基于指示插入到视频流中的sdr光电转换特性的元数据信息来确定该光电转换特性与传统光电转换特性类似。接收装置200对发送视频数据执行具有与sdr光电转换特性相反的特性sdr电光变换以获得用于显示的视频数据。此外,接收装置200基于监视器的峰值亮度(100cd/m2)、显示最大亮度等对用于显示的视频数据执行显示映射处理,即,显示亮度调整。

接收装置300对包括在所接收的容器中的视频流执行解码处理以获得发送视频数据。接收装置300可以基于指示插入到视频流的层和容器的层的至少一个中的hdr光电转换特性的元数据信息来确定该光电转换特性是hdr光电转换特性。接收装置300对发送视频数据执行具有与hdr光电转换特性相反的特性的hdr电光变换以获得用于显示的视频数据。另外,接收装置300基于与指示hdr光电转换特性的元数据信息一起被插入的用于显示控制的元数据信息对用于显示的视频数据执行显示映射处理,即,显示亮度调整。

“发送装置的配置示例”

图2示出了发送装置100的配置示例。该发送装置100包括控制单元101、hdr摄像机102、hdr光电变换单元103、视频编码器104、系统编码器105以及发送单元106。控制单元101包括中央处理单元(cpu),并且基于控制程序来控制发送装置100的每个单元的操作。

hdr摄像机102捕获对象并输出高动态范围(hdr)视频数据。该hdr视频数据具有0至100%×n(n是大于1的数字)的对比度比率,其超过传统sdr图像的白色峰值的亮度,例如,0至1000%。这里,100%的级对应于例如白色的亮度值100cd/m2

主监视器103a是用于对由hdr摄像机102所获得的hdr视频数据执行分级的监视器。该主监视器103a具有与hdr视频数据兼容或适于对hdr视频数据执行分级的显示亮度级。

hdr光电变换单元103将hdr光电转换特性应用于由hdr摄像机102所获得的hdr视频数据以获得发送视频数据v1。图3的实线a是指示hdr光电转换特性的hdroetf曲线。另外,图3的虚线b是指示sdr光电转换特性的sdroetf曲线。在该示图中,水平轴表示输入亮度级,而垂直轴表示发送代码值。

hdr光电转换特性包括与sdr光电转换特性兼容的区域。也就是说,两种特性的曲线匹配直到输入亮度级变为两种特性的兼容性限定值。当输入亮度级是兼容性限定值时,发送代码值是兼容性级sp。在hdr光电转换特性中,当输入亮度级是峰值亮度pl时,发送代码值是峰值级mp。

hdr显示参考阈值cl指示区域之间的边界,其中执行匹配的区域作为要在接收器侧的监视器(ce监视器)上显示的亮度和ce监视器相依区域。当输入亮度级是兼容性限定值cl时,发送代码值是阈值级cp。注意,在sdr光电转换特性中,当输入亮度级是sdr特性表现极限亮度sl时,发送代码值是峰值级mp。这里,sl为100cd/m2

返回图2,视频编码器104对发送视频数据v1执行例如mpeg4-avc或hevc等的编码,以获得编码视频数据。另外,该视频编码器104通过设置在后续级中的流格式化器(未示出)来生成包括该编码视频数据(视频基本流)的视频流。

此时,视频编码器104将指示sdr光电转换特性的元数据信息插入到视频流的层中。也就是说,视频编码器104将元数据信息“转换特性1”插入到访问单元(au)的spsnal单元的视频可用性信息(vui)的区域中。

另外,视频编码器104将指示hdr光电转换特性的元数据信息以及用于显示控制的元数据信息插入到视频流的层中。也就是说,视频编码器104将新定义的动态范围sei消息插入到访问单元(au)的“sei”部分中。

图4示出了当编码方法是hevc时访问图片组(gop)的头部的单元。另外,图5示出当编码方法是hevc时访问除了gop的头部之外的单元。对于hevc编码方法,在编码像素数据的片之前布置用于解码“prefix_seis”的sei消息组,并且在这些片之后,布置用于显示“suffix_seis”的sei消息组。如图4、图5所示,动态范围sei消息被布置为sei消息组“suffix_seis”。

图6示出了动态范围sei消息的结构示例(语法)。图7示出了结构示例中的主要信息(语义)的内容。“transfer_characteristics2”的八位字段表示hdr光电转换特性。“number_of_bits”的八位字段表示编码像素的位数。

“minimum_brightness_value”的16位字段表示最小级亮度(cd/m2)。“peak_level”的16位字段表示最大级相对值(%)。“peak_level_brightness”的16位字段表示最大级亮度(cd/m2),并且对应于图3中的峰值亮度pl。

“compliant_threshold_level”的16位字段表示显示级映射时的阈值(%)。“compliant_threshold_level_value”的16位字段表示在显示级映射时用作阈值的亮度(cd/m2),并且对应于图3中的hdr显示参考阈值cl。

返回图2,系统编码器105生成包括由视频编码器104所生成的视频流vs的传送流ts。然后,发送单元106将该传送流ts放置在广播波或网络数据包上,并将传送流ts发送到接收装置200、接收装置300。

将简要描述图2中所示的发送装置100的操作。通过hdr摄像机102的拍摄所获得的hdr视频数据被供应给hdr光电变换单元103。由hdr摄像机102所获得的hdr视频数据使用主监视器103a进行分级。该hdr光电变换单元103将hdr光电转换特性(hdroetf曲线)应用于该hdr视频数据以进行光电转换,并获得发送视频数据v1。该发送视频数据v1被供应给视频编码器104。

视频编码器104对发送视频数据v1执行诸如例如mpeg4-avc或hevc的编码以获得编码视频数据。另外,该视频编码器104通过在后续阶段中所提供的流格式化器来生成包括该编码视频数据的视频流。

此时,视频编码器104将指示sdr光电转换特性的元数据信息插入到视频流的层中。也就是说,视频编码器104将元数据信息“转换特性1”插入到访问单元(au)的spsnal单元的vui区域中。

另外,视频编码器104将指示hdr光电转换特性的元数据信息,以及用于显示控制的元数据信息插入到视频流的层中。也就是说,视频编码器104将新定义的动态范围sei消息插入到访问单元(au)的“sei”部分中。

由视频编码器104所生成的视频流vs被供应给系统编码器105。该系统编码器105生成包括视频流的mpeg-2传送流ts。发送单元106将该传送流ts放置在广播波或网络数据包上,并将传送流ts发送到接收装置200、接收装置300。

注意,上述描述已经示出了其中将指示hdr光电转换特性的元数据信息,以及用于显示控制的元数据信息插入到视频流的层中的示例。由于可以在最常见的情况下为每个图像发送动态范围sei消息,所以还可以改变每个图像的元数据信息。另选地,动态范围sei消息可以例如在场景中或在粗糙单元中发送一次。另选地,即使为每个图像发送动态范围sei消息,静态操作也是可能的,除非元数据信息的值改变。

指示hdr光电转换特性的元数据信息以及用于显示控制的元数据信息可以被插入到容器的层中,而不是视频流的层中,或者与视频流的层一起。例如,系统编码器105在程序映射表(pmt)下插入新定义的视频动态范围描述符。如果静态操作足够则这是足够的。

另选地,如果足以知道指示hdr光电转换特性的元数据信息以及用于逐节目地进行显示控制的元数据信息,则也可以将视频动态范围描述符插入事件信息表(eit)。

图8示出了视频动态范围描述符的结构示例(语法)。“descriptor_tag”的八位字段表示描述符类型。这里,这表示描述符是视频动态范围描述符。“descriptor_length”的八位字段表示描述符的长度(大小),并且表示随后的字节的数目作为描述符长度。注意,尽管省略了详细描述,但是该视频动态范围描述符的内容与上述动态范围sei消息的内容相同。

[传送流ts的配置]

图9示出传送流ts的配置示例。在该配置示例中,存在由pid1“视频pes1”所标识的视频流的pes数据包。将指示sdr光电转换特性(伽马特性)的元数据信息“转换特性1”插入到访问单元的sps的vui区域中。此外,将描述指示hdr光电转换特性“转换特性2”的元数据信息的动态范围sei消息,以及用于显示控制的元数据信息“峰值级、阈值级”插入到访问单元中。

另外,传送流ts包括作为节目特定信息(psi)的程序映射表(pmt)。psi是描述包括在传送流中的每个基本流属于哪个节目的信息。在pmt中,存在描述与总体程序相关的信息的程序循环。

在pmt中,存在具有与每个基本流相关的信息的基本流循环。在该配置示例中,存在对应于视频流(视频es循环)的视频基本流循环。在视频基本流循环(视频es循环)中,对应于视频流所布置诸如流类型和数据包标识符(pid)的信息,并且还布置描述与视频流有关的信息的描述符。

该视频流的“stream_type”的值被设置为例如指示hevc视频流的值,并且pid信息指示附加到视频流的pes数据包“视频pes”的pid1。作为一个描述符,可以插入描述指示hdr光电转换特性“转换特性2”的元数据信息,以及用于显示控制的元数据信息的视频动态范围描述符“峰值级、阈值级”。该描述符被插入以代替动态范围sei消息或与动态范围sei消息一起。

另外,传送流ts包括事件信息表(eit)作为用于逐个事件(逐节目)地执行管理的服务信息(si)。可以将描述指示hdr光电转换特性“转换特性2”的元数据信息,以及用于显示控制的元数据信息“峰值级,阈值级”的视频动态范围描述符插入到该eit中。该描述符被插入以代替动态范围sei消息或与动态范围sei消息一起。

“传统hdr不兼容接收装置的配置示例”

图10示出了接收装置200的配置示例。如上所述,该接收装置200是hdr不兼容接收装置。该接收装置200包括控制单元201、接收单元202、系统解码器203、视频解码器204、sdr电光变换单元206、sdr显示映射单元206和ce监视器207。控制单元201包括中央处理单元(cpu),并且基于控制程序来控制接收装置200的每个单元的操作。

接收单元202接收放置在广播波或网络数据包上并从发送装置100发送的传送流ts。系统解码器203从该传送流ts中提取视频流(基本流)vs。另外,系统解码器203提取插入到容器(传送流)的层中的各条信息,并将该信息发送到控制单元201。注意,当视频动态范围描述符插入到容器的层,由于接收装置200与hdr不兼容,因此跳过描述符。

视频解码器204对由系统解码器203所提取的视频流vs执行解码处理,然后输出发送视频数据v1。另外,视频解码器204提取插入到构成视频流vs的每个访问单元中的参数集或sei消息,然后将参数集或sei消息发送到控制单元201。注意,当动态范围sei消息插入到视频流的层中,由于接收装置200与hdr不兼容,因此跳过sei消息。

控制单元201基于指示sps的视频可用性信息(vui)中的sdr光电转换特性“转换特性1”的元数据信息,来识别sdr光电转换特性(伽马特性),并且设置具有与sdr电光变换单元205中的sdr光电转换特性相反的特性的sdr电光转换特性。sdr电光变换单元205将sdr电光转换特性应用于从视频解码器204所输出的发送视频数据v1,并且获得用于显示sdr图像的显示视频数据。

图12的虚线b是表示sdr电光转换特性的sdreotf曲线。在该图中,横轴表示发送代码值,且对应于上述图3的纵轴。另外,在该图中,纵轴表示显示亮度级(输出亮度级),且相当于上述图3的横轴。在sdr电光转换特性中,当发送代码值是峰值级mp时,显示亮度级是sl。该sl是如上所述的sdr特性表现极限亮度,为100cd/m2

sdr显示映射单元206对由sdr电光变换单元205所获得的显示视频数据执行显示亮度调整。也就是说,当ce监视器207的最大亮度显示能力是比sl高的dp时,sdr显示映射单元206执行显示映射处理,即,亮度变换处理,以便使显示最大亮度级为dp。图12的交替的长短虚线b'表示这种情况下的亮度变换处理的一个示例。

将简要描述图10所示的接收装置200的操作。接收单元202接收放置在广播波或网络数据包上并从发送装置100发送的传送流ts。该传送流ts被供应给系统解码器203。系统解码器203从该传送流ts提取视频流vs。

另外,系统解码器203提取插入到容器的层中的各条信息,并将该信息发送到控制单元201。注意,当视频动态范围描述符插入到容器的层中时,由于接收装置200与hdr不兼容,因此跳过描述符。

由系统解码器203所提取的视频流vs被供应给视频解码器204。视频解码器204对由系统解码器203所提取的视频流vs执行解码处理,以获得发送视频数据v1。

另外,视频解码器204提取插入到构成视频流vs的每个访问单元中的参数集或sei消息,然后将该参数集或sei消息发送到控制单元201。注意,当动态范围sei消息插入到视频流的层中,由于接收装置200与hdr不兼容,因此跳过sei消息。

控制单元201基于指示sps的视频可用性信息(vui)中的sdr光电转换特性“转换特性1”的元数据信息,来识别sdr光电转换特性(伽马特性),并且设置具有与sdr电光变换单元205中的sdr光电转换特性相反的特性的sdr电光转换特性。

由视频解码器203所获得的发送视频数据v1被供应给sdr电光变换单元205。sdr电光变换单元205将sdr电光转换特性应用于从视频解码器204所输出的发送视频数据v1,并获得用于显示sdr图像的显示视频数据。

由sdr电光变换单元205所获得的显示视频数据被供应给sdr显示映射单元206。sdr显示映射单元206对显示视频数据执行显示亮度调整。也就是说,当ce监视器207的最大亮度显示能力是比sl高的dp时,sdr显示映射单元206执行显示映射处理,即,亮度变换处理,以便使显示最大亮度水平是dp(参考图12的交替长短虚线b')。

显示映射单元206的输出视频数据被供应给ce监视器207。该ce监视器207显示经历显示亮度调整的sdr图像。

“hdr兼容接收装置的配置示例”

图11示出了接收装置300的配置示例。如上所述,该接收装置300是hdr兼容接收装置。该接收装置300包括控制单元301、接收单元302、系统解码器303、视频解码器304、hdr电光变换单元305、hdr显示映射单元306和ce监视器307。控制单元301包括中央处理单元(cpu),并且基于控制程序来控制接收装置300的每个单元的操作。

接收单元302接收放置在广播波或网络数据包上并从发送装置100发送的传送流ts。系统解码器303从该传送流ts中提取视频流(基本流)vs。另外,系统解码器303提取插入到容器(传送流)的层中的各条信息,并将该信息发送到控制单元301。当视频动态范围描述符插入到容器的层中时,由于接收设备300与hdr兼容,所提取的信息还包括关于描述符的信息。

视频解码器304对由系统解码器303所提取的视频流vs执行解码处理,然后输出发送视频数据v1。另外,视频解码器304提取插入到构成视频流vs的每个访问单元中的参数集或sei消息,然后将该参数集或sei消息发送到控制单元301。注意,当动态范围sei消息被插入到视频流的层中,由于接收装置300与hdr兼容,所以还提取sei消息。

控制单元301基于指示动态范围sei消息或视频动态范围描述符中的hdr光电转换特性“转换特性2”的元数据信息,来识别hdr光电转换特性(新的伽马特性),以及将hdr电光转换特性设置为具有与hdr电光变换单元305中的hdr光电转换特性相反的特性。hdr电光变换单元305将hdr电光转换特性应用于从视频解码器304所输出的发送视频数据v1,并获得用于显示hdr图像的显示视频数据。

图12的实线a是指示hdr电光转换特性的hdreotf曲线。在hdr电光转换特性中,当发送代码值是峰值级mp时,显示亮度级是pl。另外,当发送代码值是阈值级cp时,输出亮度级是hdr显示参考阈值cl。如上所述,该阈值cl指示区域之间的边界,其中执行匹配的区域作为要在接收器侧的监视器(ce监视器)上显示的亮度和ce监视器相依区域。

pl和cl的亮度信息被包括作为元数据信息,其用于在插入到视频流的层中的动态范围sei消息中的显示控制,以及插入在容器的层中的视频动态范围描述符(参考图6至图8)。

hdr显示映射单元306基于用于显示控制的元数据信息,对由hdr电光变换单元305所获得的显示视频数据执行显示亮度调整。也就是说,当ce监视器307的最大亮度显示能力是比pl高的ep时,hdr显示映射单元306还可以执行显示映射处理,即,对hdr电光变换单元305的输出亮度级中超过亮度cl的级执行亮度变换处理,以使显示最大亮度级为ep,作为显示功能的一种方法。图12的双点划线a'指示这种情况下的亮度变换处理的一个示例。

将简要描述图11所示的接收装置300的操作。接收单元302接收放置在广播波或网络数据包上并从发送装置100发送的传送流ts。该传送流ts被提供给系统解码器303。系统解码器303从该传送流ts提取视频流vs。

另外,系统解码器303提取插入到容器的层中的各种信息,并将该信息发送到控制单元301。注意,当视频动态范围描述符插入到容器的层中时,由于接收装置300与hdr兼容,所提取的信息还包括关于描述符的信息。

由系统解码器303所提取的视频流vs被供应给视频解码器304。视频解码器304对由系统解码器303所提取的视频流vs执行解码处理,以获得发送视频数据v1。

另外,视频解码器304提取插入到构成视频流vs的每个访问单元中的参数集或sei消息,并且将该参数集或sei消息发送到控制单元301。注意,当动态范围sei消息被插入视频流的层,由于接收装置300与hdr兼容,所以还提取sei消息。

控制单元301基于指示动态范围sei消息或视频动态范围描述符中的hdr光电转换特性“转换特性2”的元数据信息,来识别hdr光电转换特性(新的伽马特性),以及将hdr电光转换特性设置为具有与hdr电光变换单元305中的hdr光电转换特性相反的特性。hdr电光变换单元305将hdr电光转换特性应用于从视频解码器304所输出的发送视频数据v1,然后获得用于显示hdr图像的显示视频数据。

由hdr电光变换单元305所获得的显示视频数据被供应给hdr显示映射单元306。hdr显示映射单元306基于用于显示控制的元数据信息对显示视频数据执行显示亮度调整。也就是说,当ce监视器307的最大亮度显示能力是比pl高的ep时,hdr显示映射单元306进行显示映射处理,即,对hdr电光变换单元305的输出亮度级中超过亮度cl的级执行亮度变换处理,以使显示最大亮度级为ep(参照图12的双点划线a')。

显示映射单元306的输出视频数据被供应给ce监视器307。该ce监视器307显示经历显示亮度调整的hdr图像。

如上所述,在图1所示的发送和接收系统10中,将指示sdr光电转换特性(伽马特性)的元数据信息插入到视频流的层中,并且将指示hdr光电转换特性(新伽玛特性)的元数据信息插入到视频流的层和容器的层中的至少一个中。因此,传统接收器和hdr兼容接收器两者都可以很好地对通过使用hdr光电转换特性而获得的发送视频数据v1执行电光变换处理。

也就是说,传统接收器(接收装置200)可以基于指示sdr光电转换特性的元数据信息,来确定该光电转换特性与传统光电转换特性类似。此外,hdr兼容接收器(接收装置300)可以基于指示hdr光电转换特性的元数据信息,来确定光电转换特性是hdr光电转换特性。因此,传统接收器和hdr兼容接收器两者都可以很好地对通过使用hdr光电转换特性而获得的发送视频数据v1执行电光转换处理。

另外,在图1所示的发送和接收系统10中,用于显示控制的元数据信息与指示hdr光电转换特性的元数据信息一起插入。因此,hdr兼容接收器可以通过使用用于显示控制的该元数据信息来适当地执行显示亮度控制。在这种情况下,用于显示控制的元数据信息包括指示允许亮度变换的区域的区域信息,并且例如,仅在允许亮度变换的区域中执行根据ce监视器307的显示亮度能力的亮度变换,这使得可以良好地再现由生产方所期望的亮度气氛。

<2.变形例>

注意,上述实施方式已经描述了示例,其中在接收装置200、接收装置300中,电光变换单元205、电光变换单元305执行电光变换处理,并且显示映射单元206、显示映射单元306根据ce监视器207、监视器307的最大亮度显示能力执行亮度变换处理。然而,可以通过将亮度转换特性反映在电光转换特性(eotf)上,仅使电光变换单元205、电光变换单元305执行电光变换处理和亮度变换处理。

另外,上述实施方式已经描述了包括发送装置100和接收装置200、接收装置300的发送和接收系统10;然而,本技术可应用的发送和接收系统的配置不限于该配置。例如,在如图13所示的发送和接收系统10a中,接收装置200、接收装置300的一部分可以包括,例如通过诸如(高清晰度多媒体接口(hdmi))的数字接口所连接的机顶盒(stb)200a、机顶盒300a以及监视器200b,注意,“hdmi”是注册商标。

在这种情况下,视频解码器204、视频解码器304和上游部分包括在机顶盒200a、机顶盒300a中,而电光变换单元205、电光变换单元305和下游部分包括在监视器200b、监视器300b中。hdr不兼容机顶盒200a例如通过使用“供应商特定信息帧”的数据包,向监视器200b发送指示sdr光电转换特性(伽玛特性)的元数据信息。另外,hdr兼容机顶盒300a例如通过使用“供应商特定信息帧”的数据包,将指示hdr光电转换特性(伽马特性)的元数据信息以及用于显示控制的元数据信息发送到监视器300b。

图14示出要从机顶盒200a发送到监视器200b的“供应商特定信息帧”的数据包的第七字节和后续字节的结构示例。另外,图15示出要从机顶盒300a发送到监视器300b的“供应商特定信息帧”的数据包的第七字节和后续字节的结构示例。另外,图16示出了每个结构示例中的主要信息的内容。

首先,将描述图14得结构示例。在第七字节的第七位至第五位中,布置了“display_control_type”的三位信息。这三位信息表示一种显示类型。数值“001”表示sd显示控制,而数值“010”表示hdr显示控制。这里,设置“001”。

在第七字节的第四位至第零位中,布置了五位信息“display_control_metadata_length”。该五位信息表示随后以字节数排列的“display_control_metadata”的大小。这里,设置“2”。

在第八字节中,布置了“转换特性”的八位信息。该八位信息表示光电转换特性。利用该信息,检测用于显示的电光转换特性。“0x01”表示sdr光电转换特性(伽马特性),而“0x10”表示hdr光电转换特性(新伽马特性)。这里,设置“0x01”。在第(8+1)字节中,布置了“位数”的八位信息。该八位信息表示编码像素的位数。

接下来,将描述图15的配置示例。在第七字节的第七位至第五位中,布置了“display_control_type”的三位信息。这三位信息表示一种显示类型。数值“001”表示sd显示控制,而数值“010”表示hdr显示控制。这里,设置“010”。

在第七字节的第四位至第零位中,布置了五位信息“display_control_metadata_length”。该五位信息表示随后以字节数排列的“display_control_metadata”的大小。这里,设置为“12”。

在第八字节中,布置了“转换特性”的八位信息。该八位信息表示光电转换特性。利用该信息,检测用于显示的电光转换特性。“0x01”表示sdr光电转换特性(伽马特性),而“0x10”表示hdr光电转换特性(新伽马特性)。这里,设置“0x10”。在第(8+1)字节中,布置了“位数”的八位信息。该八位信息表示编码像素的位数。

在第(8+2)字节到第(8+3)字节中,布置了“最小亮度值”的16位信息。这16位信息表示最小级亮度(cd/m2)。在第(8+4)字节到第(8+5)字节中,布置了“峰值级”的16位信息。该16位信息表示最大级相对值(%)。

在第(8+6)字节至第(8+7)字节中,布置了“峰值亮度”的16位信息。该16位信息表示最大级亮度(cd/m2)。在第(8+8)字节到第(8+9)字节中,布置了“compliant_threshold_level”的16位信息。该16位信息表示显示级映射时的阈值(%)。在第(8+10)字节到第(8+11)字节中,布置了“compliant_threshold_level_value”的16位信息。该16位信息表示作为显示级映射时的阈值的亮度(cd/m2)。

另外,上述实施方式已经描述了容器是传送流(mpeg-2ts)的示例。然而,在本技术中,传送不限于ts,并且即使对于其它数据包,例如isobmff和mmt,也可以通过相同的方法来实现视频层。因此,本技术还可类似地应用于具有使用诸如因特网的网络而分布给接收终端的配置的系统。在通过因特网的分布中,分布通常在mp4或其他格式的容器上执行。也就是说,作为容器,可应用各种格式的容器,诸如在数字广播标准(mpeg-2ts)中所使用的传送流以及用于因特网分布的mp4。

另外,本技术还可以具有以下配置。

(1)一种发送装置,其包括:

光电转换单元,被配置为对高动态范围视频数据执行高动态范围光电转换以获得发送视频数据;

编码单元,被配置为对发送视频数据执行编码处理以获得视频流;

发送单元,被配置为发送包括视频流的预定格式的容器;以及

信息插入单元,被配置为将指示标准动态范围光电转换特性的元数据信息插入到视频流的层中,并且将指示高动态范围光电转换特性的元数据信息插入到视频流的层和容器的层的至少一个中。

(2)根据(1)所述的发送装置,其中,信息插入单元将用于显示控制的元数据信息与指示高动态范围光电转换特性的元数据信息一起插入。

(3)根据(2)所述的发送装置,其中,用于显示控制的元数据信息包括峰值亮度信息。

(4)根据(2)或(3)所述的发送装置,其中,用于显示控制的元数据信息包括指示在其中允许亮度变换的区域的区域信息。

(5)根据(1)至(4)中任一项所述的发送装置,其中,当将指示高动态范围光电转换特性的元数据信息插入到视频流的层中时,信息插入单元将指示标准动态范围光电转换特性的元数据信息插入到视频流中的第一区域中,并且将指示高动态范围光电转换特性的元数据信息插入到视频流中的与第一区域不同的第二区域中。

(6)根据(5)的发送装置,其中,第一区域是spsnal单元的区域,并且第二区域是seinal单元的区域。

(7)根据(1)至(6)中任一项所述的发送装置,其中

容器是传送流,并且

当将指示高动态范围光电转换特性的元数据信息插入到容器的层中时,信息插入单元将元数据信息插入到程序映射表下。

(8)根据(1)至(6)中任一项所述的发送装置,其中

容器是传送流,并且

当将指示高动态范围光电转换特性的元数据信息插入到容器的层中时,信息插入单元将元数据信息插入到事件信息表下。

(9)一种发送方法,包括以下步骤:

光电转换步骤,对高动态范围视频数据执行高动态范围光电转换以获得发送视频数据;

编码步骤,对发送视频数据执行编码处理以获得视频流;

发送步骤,由发送单元发送包括视频流的预定格式的容器;以及

信息插入步骤,用于将指示标准动态范围光电转换特性的元数据信息插入到视频流的层中,并且将指示高动态范围光电转换特性的元数据信息插入到视频流的层和容器的层中的至少一个中。

(10)一种接收装置,包括:

接收单元,被配置为接收包括通过对发送视频数据进行编码而获得的视频流的容器;

解码单元,被配置为对视频流进行解码处理以获得发送视频数据;以及

电光转换单元,被配置为对发送视频数据进行电光转换以获得用于显示的视频数据,

其中,当指示标准动态范围光电转换特性的元数据信息被插入到视频流的层中并且指示所述高动态范围光电转换特性的元数据信息被插入到视频流的层和容器的层的至少一个中,电光转换单元基于指示高动态范围光电转换特性的元数据信息用与高动态范围光电转换特性相反的特性对发送视频数据执行高动态范围电光转换以获得用于显示的视频数据。

(11)根据(10)所述的接收装置,进一步包括亮度调整单元,被配置为对用于显示的视频数据进行显示亮度调整,

其中,当用于显示控制的元数据信息与指示高动态范围光电转换特性的元数据信息被一起插入时,亮度调整单元基于用于显示控制的元数据信息对用于显示的视频数据进行显示亮度调整。

(12)根据(11)所述的接收装置,其中,

用于显示控制的元数据信息包括指示在其中允许亮度变换的区域的区域信息,以及

亮度调整单元在其中允许亮度变换的区域中执行显示亮度调整。

(13)一种接收方法,包括以下步骤:

接收步骤,由接收单元接收包括通过对发送视频数据进行编码而获得的视频流的容器;

解码步骤,对视频流执行解码处理以获得发送视频数据;以及

电光转换步骤,对发送视频数据进行电光转换以获得用于显示的视频数据;

其中,当指示标准动态范围光电转换特性的元数据信息被插入到视频流的层中并且指示所述高动态范围光电转换特性的元数据信息被插入到视频流的层和容器的层的至少一个中时,电光转换步骤包括:基于指示高动态范围光电转换特性的元数据信息用与高动态范围光电转换特性相反的特性对发送视频数据执行高动态范围电光转换以获得用于显示的视频数据。

本技术的主要特征在于,传统接收器和hdr兼容接收器都能够对通过使用hdr光电转换特性而获得的发送视频数据执行电光转换处理,通过将指示sdr光电转换特性(伽马特性)插入到视频流的层中,并且通过将指示hdr光电转换特性(新伽马特性)的元数据信息插入到视频流的层和容器的层中的至少一个中(参考图9)。

符号说明

10、10a发送和接收系统

100发送装置

101控制单元

102hdr摄像机

103hdr光电变换单元

103a主监视器

104视频编码器

105系统编码器

106发送单元

200、300接收装置

200a、300a机顶盒

200b、300b监视器

201、301控制单元

202、302接收单元

203、303系统解码器

204、304视频解码器

205sdr电光变换单元

206sdr显示映射单元

207,307ce监视器

305hdr电光变换单元

306hdr显示映射单元。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1