,系统控制单元208依照诸如用户关闭电源等的预定结束操作，而退出 本处理。
[0127] 如上所述，通过应用了根据本实施例的图像处理装置的数字照相机，使得用户能 够在图像接近实际图像的状态下，在该数字照相机的UI上直观地掌握哪个被摄体被对焦。 [012引[第二实施例]
[0129] 接下来，说明如下的方面作为第二实施例，在该方面中，根据本发明的图像处理装 置被应用于处置光场数据的信息处理装置。与第一实施例共同的部分的说明被简化或省 略，并且，在此主要说明不同点。
[0130] 首先，说明光场数据。
[0131] 光场数据(光线信息)是针对光线路径来记录光量的数据。具体而言，在该数据中， 针对穿过两个平行平面上的坐标(第一平面上的坐标(u，v)和第二平面上的坐标(x，y))的 光线，用作为u、v、x及y的函数的1^(11，￥，^，7)来表示该光线的光量1^。与此相反，用单个平面 上的坐标(x，y)处的光线的光量，来表示二维图像。例如，记录图像感测元件的坐标(x，y)处 的光量的是拍摄图像的二维图像。换言之，W与第一平面上的坐标的个数相对应的数量使 二维图像成束的是光场数据。
[0132] 作为用于通过图像拍摄装置来获取光场数据的方法，可W提及的有在图像感测元 件的前面布置微透镜阵列的方法、控制光圈的开口位置的方法等。总之，能够通过与相平行 的平面上的坐标(例如，各微透镜的位置的坐标)相对应地记录图像感测元件的坐标处的光 量，来获得光场数据。
[0133] 通过针对上述第一平面上的坐标(u，v)的部分或全部、对光场数据L(u，v，x，y)求 积分(计算总和），而获得能够在二维显示器上显示的二维图像。亦即，使得能够通过叠加构 成光场数据的、与上述第一平面上的固定范围内的坐标相对应的多个二维图像，而在二维 显示器上显示所述多个二维图像。
[0134] 通过叠加构成光场数据的二维图像、使得在叠加运些二维图像时特定距离的被摄 体的位置与自身一致，能够获得该距离的被摄体对焦的二维图像。相反，构成光场数据的二 维图像各自具有与上述第一平面上的坐标之间的分隔距离相对应的视差，因此，所述特定 距离之外的距离的被摄体在位置移位的情况下被叠加，结果运些被摄体的图像在获得的二 维图像上发生模糊。
[0135] 通过W与上述第一平面上的小范围内的坐标相对应的量、叠加构成光场数据的二 维图像，使得各二维图像的视差被限定，因此，能够获得具有大的景深的二维图像。亦即，通 过改变与要叠加的二维图像相对应的上述第一平面上的范围，使得能够改变通过叠加而获 得的二维图像的景深。
[0136] 还能够通过应用"图像相关方法"，W如下的方式由光场数据获得距离图像。亦即， 从上述第一平面中选择两个坐标，并且比较与运两个坐标相对应的两个二维图像。针对两 个二维图像中的一个图像中的任意像素周围的小区域，在其他二维图像中指定具有相似图 案的小区域，并且计算两个相应小区域在两个二维图像之间的移动量。该移动量是所谓的 "视差"，并且与在所述坐标处显示的被摄体的距离成反比例。结果，通过由针对各坐标的视 差求出与被摄体的距离，并将该距离反映在该坐标处的像素的颜色(例如，灰色浓淡度）中， 而获得距离图像。
[0137] 图13是示出处置光场数据的、诸如一般个人计算机下称为"PC'）及平板终端等 进行信息处理的装置的内部结构的示例的图。
[0138] 在图13中，装置1300包括CPU 1301、硬盘化0)1302、存储器1303、显示控制单元 1304、输入单元1305、驱动设备1306及通信I/F 1307,并且运些单元通过内部总线1308而相 互连接。连接到内部总线1308的各单元能够经由内部总线1308来相互发送和接收数据。
[0139] 在硬盘1302中，存储了图像数据、其他数据、使CPU 1301工作的各种程序。存储器 1303包括例如RAM。作为显示控制单元、改变单元及计算单元的CPU 1301依照例如存储在硬 盘1302中的程序，使用存储器1303作为工作存储器来控制装置1300的各单元。使CPU 1301 工作的程序不局限于存储在硬盘1302中的程序，并且，也可W将程序预先存储在例如未示 意性地示出的ROM中。
[0140] 输入单元1305接收用户操作，并依照该操作而生成控制信号，然后将该信号供给 至CPU 1301。例如，输入单元1305具有诸如键盘等的字符信息输入设备、诸如鼠标及触摸板 等的指点设备等，作为被配置为接收用户操作的输入设备。触摸板是如下的输入设备，通过 该输入设备，输出依照被配置为例如平面形状的输入单元1305上的触摸位置的坐标信息。 CPU 1301基于响应于对输入设备进行的用户操作而由输入单元1305生成并供给的控制信 号，依照程序来控制装置1300的各单元。由此，能够使装置1300依照用户操作来进行操作。
[0141] 显示控制单元1304输出用于使显示器1310显示图像的显示信号。例如，向显示控 制单元1304,供给由CPU 1301依照程序而生成的显示控制信号。显示控制单元1304基于显 示控制信号而生成显示信号，并将该信号输出至显示器1310。例如，显示控制单元1304基于 由CPU 1301生成的显示控制信号，而使显示器1310显示构成GUI (图像用户界面）的GUI画 面。
[0142] 在将触摸板用作输入单元1305的情况下，也可W-体地配置输入单元1305和显示 器1310。
[0143] 在驱动设备1306上，能够安装诸如CD及DVD等的外部存储介质1320,并且驱动设备 1306基于CPU 1301的控制，从安装在驱动设备1306上的外部存储介质1320中读取数据、W 及将数据写入至外部存储介质1320。能够在驱动设备1306上安装的外部存储介质1320不局 限于诸如CD及DVD等的盘存储介质，并且，可W将诸如存储卡等的非易失性半导体存储器安 装在驱动设备1306上。通信接口（I/F)1307基于CPU 1301的控制，而与诸如LAN及互联网等 的网络1330通信。
[0144] 图14是示出在根据本实施例的处置光场数据的装置中进行的图像处理的流程的 流程图。通过由CPU 1301将记录在硬盘1302或者未示意性地示出的ROM中的程序展开到存 储器1303上，并执行运些程序，来实现运一系列处理。
[0145] 首先，由通过图像拍摄装置获得的光场数据，来生成二维图像(步骤S1401)，并且 由显示控制单元1304在显示器1310上显示所生成的二维图像(步骤S1402)。
[0146] 然后，确定是否存在来自用户的改变显示模式的指令，并且在存在改变显示模式 的指令的情况下，过程进入到步骤S1404,而在不存在改变显示模式的指令的情况下，过程 返回到步骤S1402 (步骤S1403)。
[0147] 后续的步骤S1404至步骤S1412的各处理对应于第一实施例中的步骤S305至步骤 S313。亦即，进行W下的各处理。
[0148] ?检测二维图像中包括的被摄体的处理(步骤S1404)
[0149] ?获取二维图像的距离信息(距离图像)的处理(步骤S1405)
[0150] ?基于在步骤S1404检测到的被摄体W及在步骤S1405获取到的距离信息来提取 被摄体区域的处理(步骤S1406)
[0151] ?针对提取出的各被摄体区域、依照距离信息来生成移位图像的处理（步骤 S1407)
[0152] ?在生成的移位图像上进行用来使水平方向倾斜的剪切处理的处理(步骤S1408)
[0153] ?基于移位方向及剪切角度来叠加网格图案的处理(步骤S1409)
[0154] ?推导二维图像的前方景深和后方景深的处理(步骤S1410)
[0155] ?将各自表示与对焦被摄体的距离(对焦距离）、前方景深和后方景深的指标与二 维图像组合的处理(步骤S1411)
[0156] .在显示器1310上显示组合了指标的二维图像的处理(步骤S1412)
[0157] 在上述的各处理之后，在步骤S1413,确定针对在显示器1310上显示的图像内的各 指标是否存在用户指令/操作。在运种情况下，针对指标的用户指令/操作在一般PC的情况 下使用鼠标来输入，并且在具有触摸板的平板终端的情况下通过与第一实施例中相同的触 摸操作来输入。在存在针对指标的用户指令/操作的情况下，过程进入到步骤S1414,而在不 存在用户指令/操作的情况下，过程返回到步骤S1404。
[0158] 然后，依照由用户指定的指标的新位置，利用前述的光场数据来进行用来改变聚 焦距离和/或景深的处理(步骤S1414)。相伴随地，将表示聚焦距离或景深的指标的显示位 置移动到用户指定的新位置(步骤S1415)。
[0159] 在用户进行了预定的退出操作、例如给出了退出应用的指令的情况下，退出本处 理（步骤S1416)。
[0160] 在本实施例中同样地，在上述的步骤S1405,作为距离信息，例如生成如同图6中一 样的距离图像，并且通过步骤S1407的移位图像生成处理，获得如同图9中一样使各被摄体 区域的位置移位的"移位图像"。亦即，与仅基于光场数据而改变视点的图像(在运种情况 下，W立体方式来表现各被摄体)不同，在此获得各被摄体区域被表现为用作背景幕布(舞 台布景）的一部分的便携绘图（各被摄体区域不具有深度并且W平面方式来表现）的图像。 由此，使用户更容易地掌握对各被摄体的距离感。
[0161] 如上所述，通过根据本实施例的装置，同样使得用户能够在图像接近实际图像的 状态下，在PC等的显示器上直观地掌握哪个被摄体被对焦。
[0162] [第S实施例]
[0163] 在第一及第二实施例中，使得能够通过依照各被摄体区域的距离而使各被摄体区 域的位置移位的、并且接近实际图像的图像(移位图像），来直观地掌握能够进行再聚焦的 范围。在第Ξ及后续实施例中，说明了如下的方面:使得能够利用依照各被摄体区域的距离 而改变了各被摄体区域的坐标(布置)的图像，来直观地掌握能够进行再聚焦的范围。
[0164] 图15是示出根据本实施例的照相机阵列图像拍摄装置(也简称为"照相机阵列"， 如通常所说的照相机阵列系统及多镜头照相机等）的内部结构的框图。图像拍摄单元1500 通过由图像感测元件接收被摄体的光信息，并通过对接收到的信号进行A/D转换，来获取图 像数据(数字数据）。在从用户接收到进行图像拍摄的指令时，所述图像数据被作为拍摄图 像数据保存在诸如SD卡等的存储介质中。由根据本实施例的图像拍摄单元1500获取的图像 数据，是从多个视点捕捉被摄体空间的、并且具有视差的图像的数据下称为"视差图像 数据"）。由图像拍摄单元1500获取的图像数据也被用于所谓的实时取景（live view)功能 中，W在配设于图像拍摄装置的背面的显示单元1506上，实时地依次显示图像。在下文中， 响应于来自用户的进行图像拍摄的指令而被保存在存储介质中的图像被称为记录图像，并 且在实时取景显示中实时显示的图像被称为实时取景图像。
[0165] 中央处理单元(CPUH501对W下描述的各单元进行总体控制。RAM1502用作主存储 器、工作区等。ROM 1503存储在CPU 1501中执行的控制程序等。总线1504是各种数据的传送 路径，并且例如，由图像拍摄单元1500获取的数字数据经由总线1504而被发送到预定处理 单元。被配置为接收用户的指令的操作单元1505包括按钮、模式转盘等。在被配置为显示图 像及字符的显示单元1506中，例如使用液晶显示器。显示单元1506可W具有触摸屏功能，并 且在运种情况下，也可W将使用触摸屏的用户指示作为向操作单元1505的输入。在本实施 例中，在显示能够进行再聚焦的范围、并且指定再聚焦时的聚焦位置的情况下，通过经由运 种触摸屏的用户输入来指定运样的位置。
[0166] 显示控制单元1507进行在显示单元1506上显示的图像及字符的显示控制。图像拍 摄单元控制单元1508基于来自CPU 1501的指令，来进行图像拍摄系统的控制，诸如聚焦、快 口打开/关闭W及孔径光阔调整等。数字信号处理单元1509对经由总线1504接收到的数字 数据，进行诸如白平衡处理、伽玛处理及噪声降低处理等的各种处理。编码器单元1510进行 用来将数字数据转换为诸如肝EG及MPEG等的文件格式的处理。外部存储器控制单元1511是 被配置为连接到PC及其他介质(例如，硬盘、存储卡、CF卡、SD卡、USB存储器)的接口。图像处 理单元1512对由图像拍摄单元1500获取到的图像数据，或者从数字信号处理单元1509输出 的图像数据，进行后述的诸如再聚焦处理等的图像处理。稍后将描述图像处理单元1512的 详情。曝光状态预测单元1513预测在图像拍摄时的图像拍摄单元1500的曝光状态。存在除 上面所述之外的图像拍摄装置的构成要素，然而，运些构成要素不是本发明的主要目的，因 此省略说明。
[0167]首先，详细说明图像拍摄单元1500的结构。
[016引如上所述，图像拍摄单元1500获取视差图像数据，即光场数据。在图16至图19中示 出了图像拍摄单元1500的结构示例。其中，图16至图18各自示出了在图像形成光学系统的 图像侧布置了透镜阵列的结构，并且图19示出了布置多个图像形成光学系统的结构（照相 机阵列）。作为图像拍摄单元的结构，期望采用如图16至图19所示的、能够同时获得来自多 个视点的图像的照相机阵列结构。运是因为，通过使用单照相机图像拍摄装置、在改变位置 的同时多次进行图像拍摄的方法，所获得的是在不同时间拍摄的被摄体空间的图像的视差 图像数据，并且在被摄体空间中存在移动物体的情况下，无法获得准确的视差信息。
[0169] 通过进行像素的提取、再布置、组合等的处理，能够对由具有图16至图19中所示的 结构的图像拍摄单元1500获取到的视差图像数据，进行再聚焦、景深控制、视点改变等。在 下文中，如上所述的处理被称为图像组合处理，并且通过图像组合处理而生成的图像被称 为组合图像。也可W对组合图像进行诸如噪声降低等的处理、W及诸如景深控制等的处理。 此外，在被摄体空间中能够进行再聚焦的范围被称为"焦点控制范围"。
[0170] 在此，详细说明图16中所示的图像拍摄单元1500的内部结构。
[0171] 透镜阵列1603被布置在图像形成光学系统1602的、相对于被摄体面1601的图像侧 共辆面上。此外，透镜阵列1603被配置为使得图像形成光学系统1602的出射光瞳和图像感 测元件1604大致建立起共辆关系。来自被摄体面1601的光线经由图像形成光学系统1602及 透镜阵列1603,依照该光线在被摄体面1601上的位置及角度，而入射至图像感测元件1604 的不同像素。由此，获取到视差图像数据(光场数据）。在此，透镜阵列1603具有如下的作用： 防止已穿过被摄体面1601上的不同位置的光线入射至同一像素。结果，在图像感测元件 1604中获取到如下的图像，在该图像中，并排布置了从多个视点捕捉的被摄体面1601上的 同一区域的像素组。
[0172] 诸如人及建筑物等的物体不一定必须存在于图16至图19中的被摄体面1601上。运 是因为，能够通过图像拍摄后的再聚焦，来聚焦存在于被摄体面1601后面或前面的人或建 筑物。
[0173] <再聚焦的原理>
[0174] 在下文中，说明再聚焦处理。在"Fourier Slice 曲otography"by Ren Ng,2005 ACM Trans.Gra地.24，p735 to 744(《傅立叶切片摄影》，Ren Ng撰，《ACM图形学汇刊》2005 年第24期，第735至744页）中详细说明了再聚焦，因此，运里给出简要说明。再聚焦的基本原 理在图16至图19中的各结构中是共通的。在此，说明图16中的结构作为示例。在图16中，图 像形成光学系统的光瞳被W二维方式划分为9个光瞳（一个维度上为3个），因此，结果获取 到来自9个视点的图像。在此，与某一划分出的光瞳相对应的图像称为单视点图像。9个单视 点图像彼此间具有视差，因此，图像上的被摄体的相对位置关系依照被摄体距离而改变。在 对单视点图像进行组合、使得某一被摄体自身重叠的情况下，位于不同被摄体距离处的被 摄体在移位状态下被组合。因为该移位，使得位于不同被摄体距离处的被摄体发生模糊。此 时的模糊取决于与用于组合的单视点图像相对应的光瞳，并且在组合了全部9个单视点图 像的情况下，能够再现由图像形成光学系统1602获取到的图像的模糊。与单视点图像相组 合的在自身上重叠的被摄体是任意的，因此，能够再现在图像形成光学系统1602中使任意 被摄体对焦的图像。运就是图像拍摄后的焦点控制，即