圆的大小，能够将式(7)改写 为下面的式(8)。
[0223]
[0224]
[0225] 接下来，考虑如下的一般情况:单视点图像与组合图像的分辨率之比不为1。组合 图像和用于组合的单视点图像的视场角是相同的，因此，在分辨率之比不为1的情况下，Ay 在两者之间是不同的。一般而言，A y越小，则容许弥散圆越小，而Δ y越大，则容许弥散圆越 大。因为运样，能够通过虑及单视点图像与组合图像的Ay之比，而将上述的式(8)扩展为下 面的式(9)。
[0226]
[0227]在此，Rm。。。表示用于组合的单视点图像的分辨率，并且Rcomb表示组合图像的分辨 率。通过计算Rm。。。与Rwmb之比的平方根，而获得Ay之比。从图27中能够知道，单视点图像的 分辨率Rm。。。用下面的式(10 )来表示。
[022引
[0229] 在此，Rtntai表示图像感测元件1604的有效像素数。由式(9)及式（10)，获得图像侧 焦点控制范围需要满足的如下条件表达式(11)。
[0230]
[0231] 在上述的条件表达式（11)中，范围被设置在±10.0之间，然而，通过将范围设置在 ±6.0之间，能够获得更清晰的组合图像。更理想的是，通过将范围设置在±3.0之间，能够 获得还要更加清晰的组合图像。
[0232] 在下文中，示出了各值的具体示例。
[023引 ?图像感ii元件1604的有效像素数Rt0tai:46.7X 106(pix)
[0234] ?透镜阵列1603的图像侧主平面与图像感测元件1604之间的间隔〇:〇.〇374(mm)
[0235] ?图像感测元件1604的像素间距Δ :〇.〇〇43(mm)
[0236] ?透镜阵列 1603的间距 ALA:0.0129(mm)
[0237] ?图像形成光学系统1602的焦距：14.0(mm)
[023引·F数：2.9
[0239] ?一维划分的光瞳数N: 3
[0240] ?每个单视点图像的分辨率Rm〇n〇:5.2X106(pix)
[0241] .条件表达式（11)的范围、与条件表达式（11)的各范围相对应的组合图像的分辨 率Rcomb W及与组合图像的各分辨率相对应的山ef DCUS例如如下面的表(1 )所示。
[0242]
[024引 表(1)
[0244] 通过经由操作单元1505的用户输入，例如从上述3种类型之中选择组合图像的分 辨率Rcomb。
[024引在上述示例中，已知因为每个单视点图像的分辨率Rmnn。是5.2X106pix，所W为了 生成例如8.0X106pix的组合图像，需要通过基于像素移位的超析像等来提高分辨率。上述 的组合图像的各分辨率RcDmb的值是作为示例，并且种类数不局限于巧巾。仅需要适当地确定 满足上述条件表达式（11 )的Rcomb及山ef OCUS。
[0246] 能够通过利用图像侧焦点控制范围W及图像形成光学系统1602的焦距及焦点位 置，由图像形成公式来计算焦点控制范围。W运种方式获取的焦点控制范围的信息可W作 为标签信息，被附加至视差图像数据或组合图像数据，并且被存储在ROM 1503中。作为另一 选择，也可W创建与各种条件相对应的焦点控制范围的表格，并将该表格存储在ROM 1503 中，然后读取与输入的条件相对应的数据，而不是进行上述的算术运算来推导焦点控制范 围。
[0247] 作为用于获取焦点控制范围的另一方法，可W设想如下的方法:通过实际生成进 行了再聚焦的组合图像，来评价存在于焦点位置的被摄体的对比度等。然而，利用该方法， 需要在移动焦点位置的同时生成组合图像，并依次确定是否能够成功进行再聚焦，因此，要 花费时间来进行处理。此外，在进行再聚焦的焦点位置不存在被摄体的情况下，不能实施评 价，因此，无法获取准确的焦点控制范围。因此，期望使用前述的方法，W便获取焦点控制范 围。
[0248] 返回到图23中的流程图的说明。
[0249] 在步骤S2307,显示图像生成单元2209生成作为在步骤S2305生成的再布置图像 的、并且反映了关于聚焦状态的信息(焦点位置、焦点控制范围、景深等)的聚焦信息显示图 像。在进行生成时，使用在步骤S2302获取到的光学参数及图像组合参数、W及在步骤S2306 推导出的焦点控制范围。
[0250] 图28A及图28B分别是基于图26A中所示的再布置图像而生成的聚焦信息显示图像 的示例，并且，显示了焦点位置2801、焦点控制范围2802及景深2803各信息。在滑动条上用 矩形黑色标记表示的焦点位置2801表示光学参数中包括的在图像拍摄时的透镜的焦点位 置，或是后述的通过用户输入而指定的焦点位置。分别地，在图28A中的聚焦信息显示图像 中，将焦点位置2801设置在被摄体距离do的位置(人的位置），并且在图28B中的聚焦信息显 示图像中，将焦点位置2801设置在被摄体距离do '的位置(建筑物的位置）。在滑动条上用斜 线表示的焦点控制范围2802表示从被摄体距离dl(dl'）到被摄体距离d2(d2'）的范围，并且 在本实施例中，已知"人"和"建筑物"位于该焦点控制范围内的距离处。在下文中，假设在简 单地称作"焦点控制范围"的情况下，是指该物体侧焦点控制范围。在再布置图像上用斜线 表示的景深2803是从被摄体距离d3(d3'）到被摄体距离d4(d4'）的范围，并且，在图28A中的 聚焦信息显示图像中，示出了人对焦的焦点位置do的景深，并且在图28B中的聚焦信息显示 图像中，示出了建筑物对焦的焦点位置do'的景深。
[0251] 通过如上所述显示聚焦信息显示图像，使得用户能够直观地掌握关于场景中的被 摄体的信息和关于聚焦状态的信息运两者。在图28A及图28B中，为了便于说明，还示出了图 像拍摄装置的示意图、w及能够通过图像拍摄装置进行图像拍摄的视野范围（视场角） 2804,然而，在该步骤生成的聚焦信息显示图像中，不一定必须包括运些信息。
[0252] 返回到图23中的流程图的说明。
[0253] 在步骤S2308，显示图像生成单元2209向显示单元1506，输出在步骤S2307生成的 聚焦信息显示图像的数据。
[0254] 在步骤S2309，CPU 1501确定是否新进行了与再聚焦处理时的焦点位置相关的用 户输入。经由触摸屏或者图像拍摄装置的操作单元1505,来进行运种情况下的用户输入。例 如，可W设想在再布置图像上直接指定被期望新对焦的被摄体的方法、直接指定到新焦点 位置的被摄体距离的方法，或者通过操作滑动条上表示焦点位置2801的标记来进行指定的 方法。在进行了新焦点位置的输入的情况下，过程返回到步骤S2307,并且重复在步骤S2307 至步骤S2309的运一系列处理。例如，在显示了 "人"被设置在焦点位置的聚焦信息显示图像 (图28A)的状态下、进行了用来将"建筑物"设置为新焦点位置的用户输入的情况下，结果新 显示前述的图28B中所示的聚焦信息显示图像。如前所述，在图28B中，景深2803也依照新设 置的焦点位置(被摄体距离do'）而改变。亦即，在输入了再聚焦处理时的新焦点位置的情况 下，结果焦点控制范围2802不改变，而主要是聚焦位置2801W及该焦点位置的景深2803改 变。
[0255] 可W设想新输入的焦点位置超出焦点控制范围的情况。在运种情况下，也可W进 行警告通知，W提示用户输入焦点控制范围内的焦点位置。作为另一选择，也可W限制用户 能够输入的范围，W便不接收超出焦点控制范围的焦点位置。
[0256] 另一方面，在不存在新焦点位置的输入的情况下，退出本处理。
[0257] 在上述的示例中，说明了基于从正上方俯视场景的再布置图像的聚焦信息显示图 像。然而，聚焦信息显示图像不局限于上述的示例，并且可W设想各种方面。图29A至图29C 分别示出了聚焦信息显示图像的变化的示例。图29A是基于从横向俯视场景的再布置图像 的聚焦信息显示图像。图29B是基于从斜上方俯视场景的再布置图像的聚焦信息显示图像。 图29C是基于从斜横方向俯视场景的再布置图像的聚焦信息显示图像。如上所述，充当聚焦 信息显示图像的基础的再布置图像，可W是基于距离信息而在深度方向上按次序布置了被 摄体的任何图像。
[0巧引在步骤S2308,显示聚焦信息显示图像，并且此时，也可W同时显示由拍摄单元 1500获取的单视点图像、W及/或者在显示图像生成单元2209中组合的组合图像。图30A至 图30C分别示出了在聚焦信息显示图像中一起显示了单视点图像和/或组合图像的情况的 示例。
[0259]图30A示出了如下的情况:除了基于从横向俯视场景的再布置图像的聚焦信息显 示图像(参见前述的图29A)之外，还显示了单视点图像和两种组合图像。图30A中的组合图 像1是在通过将"人"作为关注被摄体而设置了焦点位置的状态(作为关注被摄体之外的被 摄体的"建筑物"及"山"因为位于景深范围之外而处于模糊状态)下的组合图像。图30A中的 组合图像2是在通过将"建筑物"作为关注被摄体而设置了焦点位置的状态(作为关注被摄 体之外的被摄体的"人"及"山"因为在景深范围之外而处于模糊状态）下的组合图像。在诸 如此类的再聚焦后的组合图像被同时显示的情况下，通过仅有关注被摄体对焦的组合图 像，使得用户能够更直观地检查指定的关注被摄体。在图30A中，从横向俯视场景的再布置 图像被用作基础，然而毫无疑问，可W将任何类型的再布置图像用作基础。此外，在图30A中 的示例中，显示了两种组合图像，然而，也可W显示仅一种组合图像，或者Ξ种或更多种组 合图像。
[0260] 图30B示出了如下的情况:除了基于从正上方俯视场景的再布置图像的聚焦信息 显示图像之外，还在通过将"人"作为关注被摄体而设置了焦点位置的情况下显示了组合图 像。通过W运种方式产生显示，使得能够在有限的显示画面内，高效地显示再布置图像、关 于聚焦状态的信息W及组合图像。图30B中的聚焦信息显示图像是基于图26A中所示的从正 上方俯视场景的再布置图像，其中省略了横向方向上的信息，并且仅保留了深度方向上的 信息。图30C示出了如下的情况:除了基于从正上方俯视场景的再布置图像的聚焦信息显示 图像之外，还显示了单视点图像。通过W运种方式同时显示单视点图像，能够在检测图像拍 摄时的图像的同时，直观地掌握聚焦状态。图30C中的聚焦信息显示图像是基于图26D中所 示的从正上方俯视场景的再布置图像，其中用矩形包围了被摄体区域，省略了横向方向上 的信息，并且仅保留了深度方向上的信息。
[0261] 如同上述，也可W连同聚焦信息显示图像一起，显示单视点图像及组合图像。
[0262] 在图28至图30中所示的聚焦信息显示图像中，能够与关于聚焦状态的信息同时 地，了解焦点位置、焦点控制范围及景深各信息。然而，没有必要同时示出所有信息，并且运 些信息可W单独显示。例如，也可W在开始时仅显示焦点位置及景深，然后响应于用户的指 令而显示焦点控制范围的信息。
[0263] 如上所述，根据本实施例，在图像拍摄时或者在编辑图像时，基于在深度方向上按 次序布置了被摄体的再布置图像，来显示关于聚焦状态的信息，诸如图像组合时的焦点位 置、焦点控制范围及景深等。由此，能够让用户在图像拍摄时W及/或者在编辑图像时，直观 地掌握被摄体的聚焦状态。
[0264] [第四实施例]
[0265] 在第Ξ实施例中，W图像拍摄装置包括具有图16中所示的结构的图像拍摄单元为 前提，而给出了说明。接下来，说明W图像拍摄装置包括具有图17及图18中所示的结构的图 像拍摄单元为前提的方面，作为第四实施例。在下文中，主要说明本实施例的特有之处。
[0266] 通过图17及图18中所示的结构，由图像感测元件1604来获取视差图像的数据，在 该视差图像的数据中，按次序布置了来自不同图像拍摄视点并且具有不同图像拍摄范围的 多个小图像。在图17中的结构中，透镜阵列1603被布置在图像形成光学系统与图像侧共辆 面之间（图像侧共辆面的左侧）。相反，在图18中的结构中，透镜阵列1603不是被布置在图像 形成光学系统与图像侧共辆面之间，而是布置在外面（图像侧共辆面的右侧）。因为运样，在 图18中的结构的情况下，透镜阵列1603将由图像形成光学系统1602形成的图像视为真实物 体，并且在图像感测元件1604上再次形成图像。然而，在运两种结构中，透镜阵列1603均将 由图像形成光学系统1602形成的图像视为物体，并在图像感测元件1604上形成该物体的图 像，因此，运两种结构在本质上是相同的。在下文中，说明图17中的结构作为示例，然而，该 说明的内容同样适用于图18中的结构。
[0267] 首先，说明本实施例中的图像组合(再聚焦)处理。
[0268] 定性地讲，该处理与第Ξ实施例中类似，并且在该处理中，W与被期望对焦的被摄 体的距离相对应的移位量，将图像形成光学系统1602的划分的光瞳的图像彼此叠加。
[0269]图31是作为图17中的结构中的主要部分的、透镜阵列1603及图像感测元件1604的 部分的放大图。在本实施例中，由物体侧的面是平的并且图像侧的面是凸面的微透镜，构成 透镜阵列1603。当然，透镜阵列1603的形状不局限于此。在图31中，单点划线代表各微透镜 的视场角。通过将由图像感测元件1604获得的像素值，经由与各像素相对应的微透镜投影 到虚拟图像形成面上，并组合运些像素值，能够生成虚拟图像形成面对焦的组合图像。在 此，虚拟图像形成面是指与被期望通过图像组合而被对焦的物体侧的面共辆的面(经由图 像形成光学系统1602共辆的面）。例如，为了在图17中生成被摄体面1601对焦的图像，将虚 拟图像形成面设置为图像侧共辆面1701。在图31中，为了易于理解，用W各微透镜的视场角 为单位移位的虚线，来代表在组合图像生成时投影的像素。也可W通过用于通过平移各像 素来组合图像的方法来生成组合图像，只要W与上述方法(将由图像感测元件1604获得的 像素值经由与各像素相对应的微透镜投影到虚拟图像形成面上的组合方法)相同的方式使 像素彼此叠加即可。此时，在入射于像素上的光束所穿过的透镜阵列1603的区域相同的情 况下，运些像素的平移量是相同的。亦即，依照入射于像素上的光束所穿过的透镜阵列1603 的区域，来确定在图17及图18中的组合图像生成时的像素的操作。
[0270]接下来，说明本实施例中的焦点控制范围。
[0271] 也通过与第Ξ实施例中相同的式(4)，来描述本实施例中的焦点控制范围。亦即， 与使用前述式(4)表示的图像侧的再聚焦范围a+s2至a-s2共辆的范围（相对于图像形成光 学系统1602共辆的范围），是作为物体侧的再聚焦范围的焦点控制范围。图32是与根据第Ξ 实施例的图21相对应的图。图32中的Ay代表光的二维强度分布的采样间距，并且Δγ=Δ σι/〇2成立(01:图像侧共辆面1701与透镜阵列1603的物体侧主平面之间的间隔，02:透镜阵 列1603的图像侧主平面与图像感测元件1604之间的间隔）。运是因为，透镜阵列1603将由图 像形成光学系统1602形成的图像视为虚拟物体，因而W〇2/〇i的倍率在图像感测元件1604上 形成缩小图像。然后，在本实施例中同样地，因为A <<P(P:图像形成光学系统1602的出射 光瞳距离），所W式(4)可W近似为式(5)。
[0272] 根据本实施例的图像处理单元1512中的处理的流程与根据第Ξ实施例的图23中 的流程图中相同，然而，图像拍摄单元1500的结构是不同的，因此，焦点控制范围被推导如 下（步骤S2306)。
[0273] 从图32中明显能够看出，NF = 〇i/ Δ laW及Δ y= Δ 〇ι/σ油几何学的角度成立，因 此，下面的式（12)成立。
[0274]
[0275] 由式（12)等，求出本实施例中的图像侧焦点控制范围drefwus应当满足的条件表达 式(13)。
[0276]
[0277] 如同在第Ξ实施例中一样，通过将上述条件表达式（13)中的±10.0的范围替换为 ± 6.0或± 3.0，能够获得更清晰的组合图像。
[0278] 在下文中，示出具体示例。
[0279] ?图像感 ii 元件 1604 的有效像素数 RtDtai:150.0X 106(pix)
[0280] . 〇i；〇.3712(mm)
[0281] · (52:0.0740(mm)
[0282] ?图像感测元件1604的像素间距Δ :〇.〇〇24(mm)
[028引 ?透镜阵列1603的间距ALA:0.0256(mm)