图像处理装置、图像显示系统、方法以及程序与流程

1.本公开内容涉及图像处理装置、图像显示系统、方法以及程序。


背景技术：

2.通常，在主要用于视频透视(vst)系统的假设下，提出了一种技术，在该技术中，根据通过眼睛追踪系统估计的视线位置来计算感兴趣区域，并且在拍摄之后执行使仅非感兴趣区域的图像稀疏化的处理(分辨率转换处理)，以这种方式能够减少图像处理的处理负荷。
3.在专利文献1中描述的技术中，在感兴趣区域和非感兴趣区域中以不同的分辨率执行成像，并且降低除感兴趣区域之外的区域的分辨率，从而减少处理负荷。
4.在专利文献2中描述的技术中，通过优化相机成像定时和显示定时来实现视频透视的低延迟。
5.引文列表
6.专利文献
7.专利文献1：jp 2019-029952 a
8.专利文献2：jp 2016-192137 a


技术实现要素：

9.技术问题
10.另外，在vst系统中，为了实现与现实相当的显示，高清摄像机是必不可少。然而，为了实现高清晰度，随着像素变得较细小，曝光时间变得较长以保持曝光条件，由于曝光期间的运动而导致出现模糊(所谓的成像模糊)，以及感觉到与现实的差异或者增加vr疾病或疲劳。
11.此外，处理延迟以及从作为输入的相机至作为输出的显示器的数据传输延迟导致现实和显示之间的位置偏差。该位置偏差也导致vr疾病和疲劳的增加。因此，使用运动预测来避免位置偏差。然而，系统中的延迟越大，预测失败概率越高。因此，设计具有低延迟的系统路径非常重要。
12.此外，为了在显示器上将视频透视视频显示成如同人使用他/她的眼睛直接观看视频透视视频一样，需要同时实现高图像质量和低延迟。
13.本技术是针对这样的情况而制定，并且本技术的目的是提供能够实现模糊的减少和具有低延迟的高清晰度同时减少图像处理的处理负荷的图像处理装置、图像显示系统、方法以及程序。
14.问题的解决方案
15.本实施方式的图像处理装置包括：当生成通过组合第一图像和第二图像而获得的合成图像时，第一图像和第二图像从图像传感器输入，其中第一图像以第一曝光时间捕获，第二图像是与第一图像的部分区域相对应并且以比第一曝光时间短的第二曝光时间捕获
的图像，控制单元，该控制单元将第二图像的成像定时设置成比第一图像的成像定时更接近将合成图像输出至显示装置的定时的定时。
附图说明
16.图1是根据实施方式的vr头戴式显示系统的示意配置框图；
17.图2是示出相机的布置状态的vr头戴式显示系统的说明图；
18.图3是根据实施方式的vst相机的功能框图。
19.图4是像素合并处理的说明图；
20.图5是被错误估计的运动矢量的去除的说明图；
21.图6是图像合成单元的功能框图；
22.图7是常规成像定时的示例的说明图；
23.图8是根据实施方式的成像定时的说明图；
24.图9是实施方式的更具体的成像定时的说明图；
25.图10是根据实施方式的成像定时的另一说明图；
26.图11是相机的成像定时控制的处理流程图。
27.图12是获取模糊减少图像时的处理的说明图。
具体实施方式
28.在下文中，将参照附图详细描述实施方式。
29.图1是根据实施方式的vr头戴式显示系统的示意配置框图。
30.图1示出了信息处理装置连接型vr头戴式显示系统。
31.vr头戴式显示系统10大致包括头戴式显示器(在下文中，被称为hmd单元)11和信息处理装置(在下文中，被称为pc单元)12。
32.此处，pc单元12用作控制hmd单元11的控制单元。此外，通过使用每个单元的通信功能在hmd单元11和pc单元12之间传输数据，但这与本技术的描述无关，并且因此被省略。
33.hmd单元11包括惯性测量单元(imu)21、同时定位和映射(slam)相机22、视频透视(vst)相机23、眼睛追踪相机24以及显示器25。
34.imu 21是所谓的运动传感器，感测用户的状态等，并且将感测结果输出至pc单元12。
35.imu 21包括例如三轴陀螺仪传感器和三轴加速度传感器，并且将与检测到的三维角速度、加速度等相对应的用户运动信息(传感器信息)输出至pc单元12。
36.图2是示出相机的布置状态的vr头戴式显示系统的说明图。
37.slam相机22是同时执行被称为slam的自身位置估计和环境地图创建的相机，并且获得图像以用于从不存在诸如地图信息的先验信息的状态获取自身位置的技术。slam相机例如被布置在hmd单元11的前表面的中间部分处，并且基于hmd单元11的前面的图像中的变化来收集用于同时执行自身位置估计和环境地图创建的信息。稍后将详细描述slam。
38.vst相机23获取vst图像，该vst图像是外部图像，并且将vst图像输出至pc单元12。
39.vst相机23包括在用于vst的hmd单元11外部安装的镜头和图像传感器23a(见图3)。如图2中所示，提供一对vst相机23以与用户的双眼的位置对应。
40.在这种情况下，vst相机23的成像条件(分辨率、成像区域、成像定时等)以及图像传感器由pc单元12控制。
41.根据本实施方式的vst相机23中包括的图像传感器23a(见图3)具有以下模式作为操作模式：具有高分辨率但高处理负荷的全分辨率模式；以及具有低分辨率但低处理负荷的像素加法模式。
42.然后，图像传感器23a可以在pc单元12的控制下以帧为单位在全分辨率模式和像素加法模式之间切换。
43.在这种情况下，像素加法模式是图像传感器23a的驱动模式中的一种，并且以与全分辨率模式相比获得具有更少噪声的图像的方式通过平均来随机减少每个像素的随机噪声。
44.具体地，在作为像素加法模式的示例的2
×
2加法模式中，对垂直方向和水平方向上的2
×
2个像素(总共四个像素)进行平均并且输出为一个像素，以这种方式输出具有1/4的分辨率和约1/2的噪声量的图像。类似地，在4
×
4加法模式中，对垂直方向和水平方向上的4
×
4像素(总共16个像素)进行平均并且输出为一个像素，以这种方式输出具有1/16的分辨率和约1/4的噪声量的图像。
45.眼睛追踪相机24是用于追踪用户视线(所谓的眼睛追踪)的相机。眼睛追踪相机24被配置为外部可见光相机等。
46.眼睛追踪相机24用于通过诸如可变注视点渲染的方法检测用户所需的感兴趣区域。根据最近的眼睛追踪相机24，可以以约
±
0.5
°
的精度获取视线方向。
47.显示器25是显示由pc单元12处理的图像的显示装置。
48.pc单元12包括自身位置估计单元31、感兴趣区域确定单元32、图像信号处理器(isp)33、运动补偿单元34、帧存储器35以及图像合成单元36。
49.自身位置估计单元31基于由imu 21输出的传感器信息和由slam相机22获取的slam图像来估计包括用户的姿势等的自身位置。
50.在本实施方式中，使用如下方法作为自身位置估计单元31的自身位置估计的方法：使用由imu 21输出的传感器信息和由slam相机22获取的slam图像二者来估计hmd单元11的三维位置。然而，可以考虑诸如仅使用相机图像的视觉里程计(vo)以及同时使用相机图像和imu21的输出的视觉惯性里程计(vio)的一些方法。
51.感兴趣区域确定单元32基于作为眼睛追踪相机24的输出的双眼的眼睛追踪结果图像来确定用户的感兴趣区域，并且将感兴趣区域输出至isp33。
52.isp 33仅对vst相机23的成像区域中的感兴趣区域执行图像处理，或者基于由感兴趣区域确定单元32确定的用户的感兴趣区域对整个区域执行图像处理。
53.此外，isp 33处理从vst相机23输出的图像信号并且输出经处理的图像信号。具体地，执行“去噪”、“去马赛克”、“白平衡”、“曝光调整”、“对比度增强”、“伽马校正”等作为图像信号的处理。由于处理负荷大，因此在许多移动装置中基本上准备了专用硬件。
54.运动补偿单元34基于由自身位置估计单元31估计的hmd单元11的位置对经处理的图像信号执行运动补偿，并且输出经处理的图像信号。
55.帧存储器35以帧为单位存储经运动补偿后的经处理的图像信号。
56.首先，在实施方式的详细操作描述之前，将描述实施方式的原理。
57.在高分辨率广角相机被用作vst相机23的情况下，由于镜头畸变的影响导致中心和周边之间的分辨率不同。
58.此外，在图像被聚焦成使得模糊显现的情况下，已知识别极限为围绕视轴对于字符约20
°
以及对于符号约60
°
。也就是，已知的是，模糊的影响具有以作为用户的观看图像的人的视线为中心的空间依赖性。
59.因此，使用vst相机23的分辨率的感知或以人的视线为中心的空间依赖性，将在前一种情况下使用屏幕的中心作为中心以及在后一种情况下将视轴作为中心的靠近中心的区域设置为感兴趣区域。
60.然后，对于感兴趣区域，获取以几乎不发生模糊的预定曝光时间捕获的一个第二图像。
61.另一方面，对于除了感兴趣区域之外的区域，获取一个或更多个第一图像，其中，分辨率被降低(通过像素合并降低)并且以通过捕获整个成像区域使图像质量变得合适的方式来调整曝光。
62.通过像素合并获得的第一图像具有比未像素合并的图像少的噪声。此外，在像素合并成像(第一图像)中，以不需要使用数字增益的方式执行曝光控制，使得曝光时间比仅对感兴趣区域的成像中的曝光时间长。因此，还存在容易获得具有高动态范围和良好s/n比但低分辨率的图像的优点。
63.然后，在感兴趣区域中，将具有良好s/n比和高动态范围的第一图像与具有高分辨率且不太可能模糊的第二图像组合以生成具有改善的图像质量的图像。
64.因此，根据本实施方式，针对感兴趣区域，在显示器上显示高分辨率的抑制模糊发生的图像作为vst图像，并且针对感兴趣区域之外的区域，显示具有良好s/n比和高动态范围但低分辨率的图像作为vst图像。
65.此外，在本实施方式中，以如下方式执行控制：通过调整定时以将感兴趣区域的拍摄(第二图像的拍摄)与显示器上的显示定时匹配或者通过切换成像顺序，使显示器上的感兴趣区域的显示定时以前的延迟最小化。
66.因此，可以在视频透视中以低延迟显示感兴趣区域，并且可以显示具有较高沉浸感的图像。
67.接下来，将描述实施方式的功能框图。
68.图3是根据实施方式的表示从vst相机至图像合成的vst处理的功能框图。
69.vst处理大致包括图像传感器40和图像处理系统50。
70.图像传感器40只需要能够在感兴趣区域的像素合并(binning)成像和切出(cutout)成像之间切换而没有帧无效时段。
71.图像传感器40大致包括成像元件单元41、信号处理单元42、数据传输单元43、定时控制单元44、曝光设置单元45以及控制设置通信单元46。
72.成像元件单元41在指定范围中在成像区域的整个或特定区域中将光转换成电荷，并且输出电荷作为成像信号。
73.信号处理单元42对从成像元件单元输入的成像信号执行像素合并处理、增益处理或a/d转换处理，并且输出成像信号作为成像数据。
74.数据传输单元43将由信号处理单元输出的成像数据输出至图像处理系统。
75.定时控制单元44生成并且输出成像元件单元中的成像定时或信号处理单元中的各种类型的信号处理的定时。
76.曝光设置单元45设置成像元件单元或信号处理单元的适当的曝光。
77.控制设置通信单元46主要通过i2c执行通信，并且将从图像处理系统输入的控制设置输出至定时控制单元或曝光设置单元。
78.此处，将描述由信号处理单元42执行的像素合并处理。
79.在像素合并处理中，相同颜色由相对于与构成成像元件单元的每个像素相对应的成像元件的模拟信号或数字数据平均。
80.图4是像素合并处理的说明图。
81.通常，在滤色器以称为拜耳阵列的线布置的情况下，相同颜色被平均。
82.图4是对4
×
4像素图像和2
×
2像素图像执行像素合并处理的情况。
83.在这种情况下，如图4中所示，可以根据像素的位置进行加法加权。
84.具体地，使用像素合并处理之前的4个像素r1至r4的值通过例如下式表示像素合并处理之后的像素r'的值。
85.r'＝(3
×
r1+r2+1.5
×
r3+0.5
×
r4)/6
86.可替选地，可以平均地执行加法。具体地，表示为下式：
87.r'＝(r1+r2+r3+r4)/4
88.然后，通过对所有像素执行平均处理而获得的图像被称为像素合并图像。
89.在本实施方式中，将与第一图像相对应的像素合并图像用作感兴趣区域外的图像。
90.此外，在本实施方式中，在像素合并图像中，与感兴趣区域相对应的图像部分用于执行与以感兴趣区域内部几乎不发生模糊的曝光时间捕获的图像(与第二图像相对应并且在下文中被称为模糊减少图像)的图像合成。稍后将描述图像合成的细节。
91.接下来，将描述图像处理系统50。
92.图像处理系统50大致包括曝光控制单元51、感兴趣区域检测单元52、图像传感器控制设置创建单元53、控制设置通信单元54、数据接收单元55、图像信号处理单元56，图像运动补偿单元57、图像合成单元58以及像素合并图像存储单元59。
93.曝光控制单元51执行图像传感器的曝光控制。
94.感兴趣区域检测单元52基于视线信息等检测在捕获的图像中用户的感兴趣区域。
95.图像传感器控制设置创建单元53基于从曝光控制单元获取的曝光控制信息和感兴趣区域检测单元的检测结果来计算要在图像传感器中设置的控制条件。
96.控制设置通信单元54主要通过i2c执行通信，并且将设置的控制设置发送至图像传感器侧。
97.数据接收单元55接收由图像传感器的数据传输单元传送的成像数据。
98.图像信号处理单元56将接收的成像数据显像，并且将显像的成像数据输出至图像运动补偿单元57和像素合并图像存储单元59。
99.因此，像素合并图像存储单元59存储用于图像合成和运动补偿的像素合并图像，并且根据需要将像素合并图像输出至图像运动补偿单元57或图像合成单元58。像素合并图像存储单元59对应于图1的帧存储器35。
100.图像运动补偿单元57用作运动补偿单元34，并且基于从成像至显示的处理延迟和从多个捕获的图形估计的成像对象的运动信息通过将捕获的图像移动至用于显示的位置来执行执行运动补偿的图像运动补偿。
101.此处，将描述由图像运动补偿单元57执行的运动补偿的方法。
102.作为运动补偿方法，使用基于通过光流算法(诸如lucas kanade方法)或在运动图像压缩中使用的像素值差异最小搜索算法获得的成像对象的图像差异的运动矢量。然后，基于运动矢量，估计成像对象从显示时间该时间将移动到的位置。
103.然后，这通过将显示器上显示的相机图像转移至与成像对象的估计显示位置相对应的位置来实现。
104.在这种情况下，从陀螺仪传感器输出的角速度获得的用户的运动信息可以被用作运动补偿的辅助。在光流算法和像素值差异最小搜索算法中，存在得出在间歇方式中被错误估计的运动矢量的情况。因此，这对于去除运动矢量是有效的。
105.更具体地，在通过陀螺仪传感器检测运动矢量的情况下，根据基于由上述算法计算的周围运动矢量检测目标(＝一个像素或多个像素)的图像差异的运动矢量和根据从陀螺仪传感器输出的角加速度计算的运动矢量之间的角度来计算相似度。也就是，两个向量的取向越接近，相似度越高；以及两个向量的取向越不相同，相似度越低。
106.然后，当计算的相似度超过预定阈值时，通过使用根据陀螺仪传感器计算的运动矢量替换基于图像差异的运动矢量，可以去除被错误估计的运动矢量，上述图像差异在间歇方式中不同。
107.图5是被错误估计的运动矢量的去除的说明图。
108.如图5中所示，运动矢量检测目标tg1至tg15包括一个像素或多个像素。
109.针对运动矢量检测目标tg1至tg15中的每一个，基于图像差异通过光流算法、像素值差异最小搜索算法等计算运动矢量。
110.类似地，针对运动矢量检测目标tg1至tg15中的每一个，计算根据从陀螺仪传感器输出的角加速度计算的运动矢量。
111.然后，例如，对于运动矢量检测目标tg0至tg4、tg6至tg9、tg12、以及tg13，由于基于图像差异的运动矢量和根据每个加速度计算的运动矢量之间的取向方面的差异(角度差异)小，因此确定相似度高。
112.另一方面，由于运动矢量检测目标tg5、tg10、tg11、tg14、以及tg15具有在基于图像差异的运动矢量和根据每个加速度计算的运动矢量之间的取向方面的差异(角度差异)大，因此，确定不存在相似度。
113.在这种情况下，当关注运动矢量检测目标tg5时，确定在八个周围运动矢量检测目标tg0至tg4、tg6、以及tg8至tg10之中除了运动矢量检测目标tg10之外的七个运动矢量检测目标tg0至tg4、tg6、tg8以及tg9具有相似度。
114.因此，运动矢量检测目标tg5确定计算了在间歇方式中不正确的运动矢量。
115.因此，运动矢量检测目标tg5的运动矢量被设置为根据从陀螺仪传感器输出的角加速度计算的运动矢量。
116.另一方面，运动矢量检测目标tg10、tg11、tg14以及tg15包括在周围运动矢量检测目标之中不具有相似度的三个或更多个运动矢量，并且因此，能够确定示出了与本运动不
同的移动对象。
117.如上所述，如果存在根据从陀螺仪传感器输出的角加速度计算的运动矢量，则可以去除错误计算的运动矢量并且获得更正确的运动矢量。
118.图像合成单元58将像素合并图像和从感兴趣区域切出的图像进行组合，以保持来自图像的感兴趣区域的轮廓经受图像信号处理和图像运动补偿以及曝光条件，以及针对感兴趣区域外的区域原样输出经过图像信号处理和运动补偿的像素合并图像。
119.此处，将描述图像合成。
120.在图像合成中，在感兴趣区域中组合模糊减少图像和像素合并图像，在像素合并图像中，以像素合并处理和图像质量适当的方式调整曝光。
121.在这种情况下，由于有效提高s/n比并且在像素合并处理中停止了数字增益的使用，因此组合的图像的有效动态范围比执行全像素读取的图像的有效动态范围宽。
122.此外，通过在执行上述运动补偿之后叠加在不同时间捕获的图像，可以预期作为运动自适应噪声去除滤波器降低图像传感器的随机噪声的效果。
123.图6是图像合成单元的功能框图。
124.图像合成单元58大致包括高通滤波处理单元61、图像放大处理单元62、处理切换单元63、图像加法单元64、感兴趣区域选择单元65、图像切换单元66以及轮廓校正单元67。
125.然后，如图6中所示，在图像合成单元58中，高通滤波处理单元61提取用于对运动补偿的模糊减少的图像的感兴趣区域的图像执行边缘增强的高频成分。
126.另一方面，图像放大处理单元62将运动补偿像素合并图像放大至具有与像素合并处理之前相同的分辨率。
127.然后，在放大的像素合并图像之中，在感兴趣区域选择单元65的控制下，通过处理切换单元63将与感兴趣区域相对应的图像输出至图像加法单元64。
128.然后，从高通滤波处理单元61输出的模糊减少图像通过图像加法单元64被添加并且输出至图像切换单元66。
129.因此，可以保持感兴趣区域的分辨率高并且确保大的动态范围。
130.另一方面，在放大的像素合并图像之中，与除了感兴趣区域之外的区域相对应的图像在感兴趣区域选择单元65的控制下由处理切换单元63原样输出至图像切换单元66。
131.在感兴趣区域选择单元65的控制下，图像切换单元66基于显示目标是感兴趣区域还是除了感兴趣区域之外的区域，将任何图像数据输出至轮廓校正单元67。
132.因此，通过放大像素合并图像而获得的图像用于与除了感兴趣区域之外的区域相对应的图像。
133.然后，轮廓校正单元67锐化并输出输入图像的轮廓。
134.顺便说一下，为了执行图像合成以提高图像质量，需要在图像合成时执行hdr处理和分辨率增强处理。
135.作为hdr处理的基本构思，以在屏幕中的低亮度区域中长曝光图像(本实施方式中的像素合并图像bg1、bg2)的混合比高的方式组合图像，以及以在高亮度区域中短曝光图像(本实施方式中的模糊减少图像bl)的混合比高的方式组合图像。
136.因此，可以生成如同由具有宽动态范围的相机拍摄的图像，并且可以抑制妨碍沉浸感的要素(诸如高光溢出和阴影破碎)。
137.在下文中，将更详细地描述hdr处理。
138.首先，对放大的像素合并图像和通过将像素合并图像放大以具有与模糊减少图像的分辨率相同的分辨率而获得的模糊减少图像执行范围匹配和比特扩展。这是因为使亮度范围彼此一致，并且随着动态范围的扩展而确保了频带。
139.随后，针对放大的像素合并图像和模糊减少图像中的每一个生成表示在像素的单元中的亮度分布的α地图。
140.然后，基于与生成的α地图相对应的亮度分布，执行用于组合放大的像素合并图像和模糊减少图像的α混合。
141.更具体地，在低亮度区域中，基于生成的α地图，以长曝光图像的放大的像素合并图像的混合比比短曝光图像的模糊减少图像的混合比高的方式以像素的单元组合图像。
142.类似地，在高亮度区域中，基于生成的α地图，以短曝光图像的模糊减少图像的混合比比长曝光图像的放大的像素合并图像混合比高的方式以像素的单元组合图像。
143.随后，由于在组合的图像中存在灰度变化迅速的部分，所以以灰度变化变得自然(也就是，灰度变化变得平缓)的方式执行灰度校正。
144.因此，可以获得自然、宽动态范围以及高清晰度的图像。
145.此处，将描述本实施方式中的成像定时的设置。
146.首先，将描述现有技术中的成像定时。
147.图7是常规成像定时的示例的说明图。
148.图7示出了专利文献2中描述的技术，在图7中，横轴表示时间，纵轴表示线。
149.然后，相机曝光定时ds51和ds52的水平宽度表示曝光时间。
150.此外，显示定时dp51和dp52的水平宽度表示显示器更新时间。
151.如图7中所示，使由相机捕获一条线和在显示器上显示一条线所需的时间基本相同。
152.此外，执行定时调整以使在显示定时dp51和dp52处显示在相机曝光定时ds51和ds52处获取的相机图像之前执行的图像处理和图像数据传输的时间最小化。
153.因此，使显示器25上显示的由vst相机23捕获的图像中包括的成像对象与实际成像对象之间的位置上的差异最小化。
154.然而，在使用通过一次相机成像获取的图像来实现显示的情况下，存在发生模糊的高可能性。
155.具体地，例如，在约100至200勒克斯的室内亮度环境中适合高分辨率相机的曝光时间通常是模糊发生的曝光时间。
156.图8是根据实施方式的成像定时的说明图。
157.因此，在本实施方式中，如在图8中所示，尽管通过像素合并降低了分辨率，但交替地执行通过将整个成像区域成像的一次或更多次成像(在图8中，两次)获取一个或更多个(在图8中为两个)像素合并图像bg1和bg2以及通过成像区域被限制成仅感兴趣区域的一次成像获取一个模糊减少图像bl。
158.在图8中，与图7类似，横轴表示时间，纵轴表示线。
159.在图8中，在一帧的处理时段期间，存在像素合并图像的两个或一个成像定时，该像素合并图像可以被用作除了感兴趣区域之外的区域的图像并且具有低分辨率但可以被
成像成具有高sn比和高动态。
160.更具体地，图8示出了能够成像两次的帧的处理时段，也就是，相机曝光定时ds1和相机曝光定时ds2。
161.在这种情况下，在能够成像两次的帧的处理时段中，在显示除了感兴趣区域之外的区域的图像的情况下，将时间上更接近显示定时的成像数据用于实际显示。
162.此外，在一帧的处理时段期间，存在模糊减小图像bl的一个成像定时，该模糊减小图像b可以以将其用作感兴趣区域的图像的方式在几乎不发生模糊的曝光时间下捕获l。
163.更具体地，在图8中，例如，模糊减小图像bl的一个成像定时是相机曝光定时ds3。
164.图9是实施方式的更具体的成像定时的说明图。
165.在图9中，类似于图7，横轴表示时间，纵轴表示线。
166.如图9中所示，在显示定时dp11处，当在相机曝光定时ds12处获取的成像数据没有及时用于在显示定时dp11处显示时，在相机曝光定时ds11处获取的成像数据组dg11执行显示。
167.在显示定时dp11处，在相机曝光定时ds12处获取的成像数据及时用于在显示定时dp11处显示之后，在相机曝光定时ds12处获取的成像数据组dg12执行显示。
168.然后，在显示定时dp11处，当达到显示的感兴趣区域的显示定时时，在与感兴趣区域相对应的相机曝光定时ds13处获取的与成像数据组dg15相对应的三个图像的成像数据组，在相机曝光定时ds11处获取的成像数据组dg13，以及与相机曝光定时ds14相对应的获取的成像数据组dg14被组合并被显示。
169.在这种情况下，以感兴趣区域的捕获图像的图像质量和感兴趣区域外面的捕获图像的图像质量不具有协调的感觉的方式执行图像校正，并且然后执行组合。
170.此外，在显示定时dp21处，由在相机曝光定时ds21处获取的成像数据组dg21执行显示。
171.当成像数据组dg21的显示在显示定时dp21处结束并且达到显示的感兴趣区域的显示定时时，与在相机曝光定时ds21处获取的成像数据组dg22和在相机曝光定时ds22处获取的成像数据组dg24相对应的两个图像被组合并被显示。
172.此外，以感兴趣区域的捕获图像的图像质量和感兴趣区域外面的捕获的图像的图像质量不具有协调的感觉的方式执行图像校正，并且然后执行组合。
173.然后，当与感兴趣区域相对应的合成图像的显示结束时，通过在相机曝光定时ds21处获取的成像数据组dg23执行显示。
174.如上所述，由于第二图像的模糊减少图像的成像定时是比第一图像的像素合并图像的成像定时接近将合成图像输出至显示装置的定时的定时，因此可以使用较高的实时属性显示感兴趣区域，并且可以通过抑制合成图像中真实成像对象的位置和成像对象的位置之间的偏差来显示具有高沉浸的感觉的图像。
175.在这些情况下，由于感兴趣区域根据需要而改变，因此提供了与在一帧的处理期间的感兴趣区域的变化(感兴趣区域的移动)相对应的调整余量时段。
176.具体地，调整余量时段int11和int12设置在相机曝光定时ds11和相机曝光定时ds21之间，相机曝光定时ds11和相机曝光定时ds21与模糊减少图像的一帧相对应并且是模糊减少图像前后的相机曝光定时ds12和相机曝光定时ds21。
177.图10是根据实施方式的成像定时的另一说明图。
178.图10示出了与图8的情况相比感兴趣区域被改变至成像区域的上侧的情况。
179.在图10中，与图8类似，横轴表示时间，纵轴表示线。
180.图10在如下方面是相同的：在一帧的处理时段期间，存在可以被用作除了感兴趣区域之外的区域的图像的像素合并图像的两个成像定时，并且该像素合并图像具有低分辨率但可以使用高s/n比和高动态对该像素合并图像进行成像；但不同之处在于感兴趣区域在成像区域的上侧。
181.如图10中所示，在显示定时dp31处，由于显示的感兴趣区域的显示定时紧接在显示的开始之后，因此在相机曝光定时ds31处获取的成像数据组、在相机曝光定时ds32处获取的成像数据组以及在相机曝光定时ds33处获取的成像数据组dg33被组合并被显示。
182.在感兴趣区域在显示定时dp31处的显示结束之后，通过在相机曝光定时ds32处获取的成像数据组dg32执行显示。
183.然后，在显示定时dp41处，当达到显示的感兴趣区域的显示定时时，与感兴趣区域相对应的相机曝光定时ds43处获取的成像数据组dg43、在相机曝光定时ds41处获取的成像数据组dg42以及与相机曝光定时ds42相对应的获取的成像数据组dg42相对应的三个图像的成像数据组被组合并被显示。
184.此外在这种情况下，以感兴趣区域的捕获图像的图像质量和感兴趣区域外面的捕获图像的图像质量不具有协调的感觉的方式执行图像校正，并且然后执行组合。
185.如上所述，即使在感兴趣区域被改变的情况下，也仅改变处理开始定时，而且处理内容一直相同，以这种方式能够可靠地执行图像显示。
186.接下来，将参照流程图描述当感兴趣区域被改变时的定时控制方法。
187.图11是相机的成像定时控制的处理流程图。
188.首先，当设置变化定时到来时，确定先前(一帧之前)的感兴趣区域是否不同于当前成像的感兴趣区域(步骤s11)。
189.在这种情况下，先前的感兴趣区域与当前成像的感兴趣区域不同的事实并不意味着排除物理上完全一致的情况，而是意味着先前的感兴趣区域在如下程序下不同的情况：可以识别出用户的视线已改变。
190.在步骤s11中的确定中，在先前的感兴趣区域与当前成像的感兴趣区域相同的情况下(步骤s11；否)，处理进行至步骤s20。
191.在步骤s11中的确定中，在感兴趣区域与当前的拍摄区域不同的情况下(步骤s11；是)，确定接下来的成像模式是否不同于当前的成像模式(步骤s12)。
192.此处，模式是通过像素合并处理执行成像的模式或仅在感兴趣区域中执行成像的模式。
193.在步骤s12中的确定中，在接下来的成像模式与当前成像模式不同的情况下(步骤s12：是)，确定感兴趣区域是否向上移动(步骤s13)。
194.在步骤s13中的确定中，在感兴趣区域向上移动的情况下(步骤s13：是)，在定时设置中将定时在推进相机的成像定时的方向上改变(步骤s14)。
195.然后，确定改变的设置是否超过由调整余量时段(在本实施方式中的调整余量时段int11、int12)确定的将定时在推进的方向上的改变上限(步骤s15)。也就是，确定改变上
限是否落入调整余量时段内。
196.在步骤s15中的确定中，在改变的设置超过由调整余量确定的改变上限的情况下(步骤s15：是)，设置推进改变设置的方向上的的改变上限，并且处理结束(步骤s16)。
197.在步骤s15中的确定中，在改变的设置未超过由调整余量确定的推进设置的方向上的改变上限的情况下(步骤s15：否)，改变的设置有效，并且处理结束。
198.在步骤s13中的确定中，在感兴趣区域没有向上移动的情况下(步骤s13：是)，在定时设置中在延后定时的方向上设置定时(步骤s17)。
199.然后，确定改变的设置是否超过由调整余量确定的延后设置的改变上限(步骤s18)。
200.在步骤s18中的确定中，在改变的设置超过由调整余量确定的在延后的方向上的改变上限的情况下(步骤s18：是)，设置在延后改变的设置的方向上的改变上限，并且处理结束(步骤s19)。
201.在步骤s18中的确定中，在改变的设置未超过使由调整余量确定的延后设置的方向上的改变上限的情况下(步骤s19：否)，改变的设置有效，并且处理结束。
202.如上所述，根据本实施方式，可以减少关于图像处理的处理负荷的同时实现模糊的减少以及具有低延迟的高清晰度。
203.图12是获取模糊减少图像时的处理的说明图。
204.在上面的描述中，没有详细描述获取模糊减少图像时的处理，但是在获取感兴趣区域的模糊减少图像的情况下，执行以下步骤。
205.图像处理系统50将水平成像开始像素ghs、平面成像结束像素ghe、垂直成像开始线gvs以及垂直成像结束线gve设置至时序控制单元44。然后，在成像操作期间，跳过感兴趣区域外的成像定时生成。
206.因此，根据本实施方式，由于不针对跳过的量执行图像输出，因此可以仅获取必要的感兴趣区域的图像，并且通过在垂直方向上的跳过量较早地结束图像数据的传送。
207.[6]实施方式的修改
[0208]
注意，本技术的实施方式不限于上述实施方式，并且可以在不背离本技术的主旨的情况下进行各种修改。
[0209]
在上面描述中，捕获了一个模糊减少图像并且将其与一个或两个像素合并图像组合。然而，可以通过相对于多个模糊减少图像捕获一个或多个像素合并图像并且对图像进行组合来获得类似的效果。
[0210]
此外，本技术可以具有以下配置。
[0211]
(1)
[0212]
一种图像处理装置包括：
[0213]
在生成通过组合第一图像和第二图像而获得的合成图像时，第一图像和第二图像从图像传感器输入，其中，第一图像以第一曝光时间捕获，第二图像是与第一图像的部分区域相对应并且以比第一曝光时间短的第二曝光时间捕获的图像，
[0214]
控制单元，该控制单元将第二图像的成像定时设置成比第一图像的成像定时更接近将合成图像输出至显示装置的定时的定时。
[0215]
(2)
[0216]
根据(1)的图像处理装置，其中
[0217]
第一图像的分辨率是第一分辨率，以及
[0218]
第二图像的分辨率是比第一分辨率高的第二分辨率。
[0219]
(3)
[0220]
根据(1)或(2)的图像处理装置，其中
[0221]
通过合成图像显示预定的感兴趣区域，以及
[0222]
基于第一图像显示除了感兴趣区域之外的区域。
[0223]
(4)
[0224]
根据(3)的图像处理装置，其中
[0225]
获取并保持具有不同相机曝光定时的多个第一图像，以及
[0226]
当基于第一图像显示除了感兴趣区域之外的区域时，使用多个第一图像中的从相机曝光定时至输出至显示装置的定时的时间相对短的第一图像中的任何一个执行显示。
[0227]
(5)
[0228]
根据(3)或(4)的图像处理装置，其中
[0229]
控制单元设置定时调整余量以用于吸收在第二图像的成像定时前后伴随在感兴趣区域中的改变而产生的成像定时上的波动，
[0230]
将第一图像的成像定时设置在除定时调整余量和第二图像的成像定时之外的定时处。
[0231]
(6)
[0232]
根据(1)至(5)中任一项的图像处理装置，其中
[0233]
第一图像是像素合并图像，以及
[0234]
第二图像是出于模糊减少的目的而设置第二曝光时间的模糊减少图像。
[0235]
(7)
[0236]
根据(1)至(6)中任一项的图像处理装置，其中
[0237]
控制单元生成合成图像并且将合成图像实时地输出至显示装置。
[0238]
(8)
[0239]
一种图像显示系统包括：
[0240]
成像装置，该成像装置包括图像传感器并且输出在第一曝光时间捕获且具有第一分辨率的第一图像和第二图像，第二图像是与第一图像的部分区域相对应并且在比第一曝光时间短的第二曝光时间被捕获以及具有比第一分辨率高的第二分辨率的图像；
[0241]
包括控制单元的图像处理装置，该图像处理装置生成并且输出通过组合第一图像和第二图像而获得的合成图像；以及
[0242]
显示输入的合成图像的显示装置。
[0243]
(9)
[0244]
根据(8)的图像显示系统，其中
[0245]
成像装置由用户佩戴，
[0246]
图像显示系统包括检测用户的视线方向的视线方向检测装置，以及
[0247]
感兴趣区域基于视线方向设置。
[0248]
(10)
[0249]
一种由控制图像传感器的图像处理装置执行的方法，该方法包括以下过程：
[0250]
从图像传感器输入第一图像和第二图像，所述第一图像以第一曝光时间捕获，第二图像与第一图像的部分区域相对应并且以比第一曝光时间短的第二曝光时间捕获；
[0251]
生成通过组合第一图像和第二图像而获得的合成图像；以及
[0252]
将第二图像的成像定时设置成比第一图像的成像定时更接近将合成图像输出至显示装置的定时的定时。
[0253]
(11)
[0254]
一种用于通过计算机控制控制图像处理装置的程序，图像处理装置控制图像传感器，该程序用于使计算机用作以下装置：
[0255]
用于从图像传感器输入第一图像和第二图像的装置，所述第一图像以第一曝光时间捕获，第二图像与第一图像的部分区域相对应并且以比第一曝光时间短的第二曝光时间捕获；
[0256]
用于生成通过组合第一图像和第二图像而获得的合成图像的装置；以及
[0257]
用于将第二图像的成像定时设置为比第一图像的成像计时更接近将合成图像输出至显示装置的定时的定时的装置。
[0258]
参考标记列表
[0259]
10vr头戴式显示系统(图像显示系统)
[0260]
11头戴式显示器(hmd单元)
[0261]
12信息处理装置(pc单元)
[0262]
21惯性测量单元
[0263]
22slam相机
[0264]
23vst相机
[0265]
23a图像传感器
[0266]
24眼睛追踪相机
[0267]
25显示器
[0268]
31自身位置估计单元
[0269]
32感兴趣区域确定单元
[0270]
33图像信号处理器
[0271]
34补偿单元
[0272]
35帧存储器
[0273]
36图像合成单元