图像变换处理中，使用投影矩阵更新部143中得到的投影矩阵，实施与各个公共摄像区域对应的两个摄像机的图像的视点变换。
[0057]本实施方式中，作为校准目标的特征点，在各个公共摄像区域中配置有4个校准图案。这样，在各个公共摄像区域中配置有作为校准用标识的4个校准图案的情况下，通过解开针对与公共摄像区域对应的两个摄像机拍摄的图像中的4个校准图案而制作的联立方程式，可以唯一计算出将一个摄像机的图像中的4个校准图案的坐标位置变化成另一个摄像机的图像中的4个校准图案的坐标位置的投影矩阵。即，在各个公共摄像区域中配置4个以上的校准图案的情况下，图像变换部141可以将由针对这种校准图案而制作的联立方程式得到的投影矩阵，用作图像变换部141进行的最初的图像变换处理中利用的初始投影矩阵来实施图像变换。
[0058]误差评价部142对由图像变换部141进行了图像变换的与各个公共摄像区域对应的两个摄像机的图像评价误差，将该两个摄像机的图像间的误差发送至投影矩阵更新部143。例如，在对与公共摄像区域RK 1对应的两个摄像机111、114的图像实施处理的情况下，利用图像变换部141进行变换，使得映照于摄像机114的图像与映照于摄像机111的图像一致，但在例如图像变换部141进行的最初的图像变换处理中，基于预先存储于参数存储部105的设计值来变换图像，因此，即使基于实际的摄像机的安装误差等，进行基于设计值的图像变换，映照于摄像机114的图像与映照于摄像机111的图像也不完全一致，在两个图像间必然产生误差。误差评价部142评价这样的两个摄像机的图像间的误差量。此外，误差评价部142将图像变换部141中输出的投影矩阵发送至摄像机参数计算部145。
[0059]在此，作为由误差评价部142评价的两个摄像机的图像间的误差量，例如可举出:对应的校准图案彼此距离的平方和;对应的像素的亮度差的平方和;或将距离的平方和与亮度差的平方和相加的值等。
[0060]此外，在为了进行校准，未配置校准用标识，而使用存在于公共摄像区域的物体进行校准的情况下，将公共摄像区域对应的像素中的物体的特征量之差设为误差量。优选物体的特征量不受到摄像机间的灵敏度的不同或入射光量的不同的影响，例如可使用边缘方向特征量等。该边缘方向特征量表示各像素中的局部亮度的增加方向，因此，可以基于该边缘方向特征量在图像中的分布或每个物体的边缘方向特征量的统计量(例如平均值)来判别特征物体。在利用拍摄公共摄像区域的摄像机拍摄同一物体的情况下，期望对应像素中的特征量一致。因此，通过将该特征量的一致度作为误差函数，实施最佳化以使得误差最小，可以求得图像间的投影矩阵。
[0061]投影矩阵更新部143基于误差评价部142取得的误差和从校准部144向摄像机参数计算部145发送的更新前的投影矩阵，使用迭代法来更新投影矩阵以减少该误差，将更新后的投影矩阵发送至图像变换部141。例如，投影矩阵更新部143求取当前的摄像机参数中的误差函数的偏微分，在与误差函数的偏微分所示的向量相反的方向上微小地更新摄像机参数，由此，更新投影矩阵。
[0062]如上所述，校准部144在摄像机图像的校准时，对与各个公共摄像区域对应的摄像机的两个图像各自，反复进行图像变换部141进行的图像变换处理、误差评价部142进行的误差评价处理、投影矩阵更新部143进行的更新处理，由此，计算为了使与公共摄像区域对应的两个摄像机的图像变得相等(误差成为零)而变换的投影矩阵，将该计算结果发送至摄像机参数计算部145。
[0063]摄像机参数计算部145使用奇异值分解等分解校准部144中得到的与4个摄像机111?114对应的投影矩阵，提取地面(平面)的法线向量和摄像机间的相对的外部参数，并将根据该摄像机间的外部参数计算出的摄像机参数(特别是与摄像机相对于平面(地面)的姿态相关的外部参数)发送至合成图像生成装置109。具体而言，摄像机间的外部参数以摄像机114相对于摄像机111的外部参数、摄像机113相对于摄像机111的外部参数、摄像机112相对于摄像机114的外部参数、摄像机112相对于摄像机113的外部参数之类的形式得到，因此，对这些参数进行再计算，以使其成为从摄像机111?114选择的作为基准的相对于摄像机(基准摄像机)的外部参数，对于基准摄像机，根据相对于平面(地面)的法线向量来计算相对于平面(地面)的姿态，由此，计算关于全部摄像机相对于平面(地面)的姿态的外部参数。此外，摄像机参数计算部145也可以根据需要，推测例如关于各摄像机的焦点距离、像素尺寸、光轴中心、失真函数等的内部参数。
[0064]从摄像机参数计算部145输出的摄像机参数，在制作利用合成图像生成装置109生成俯瞰图像的映射表(mapping table)时利用。映射表描述合成俯瞰图像的各像素与摄像机111?114的各图像中的像素的对应关系，基于该对应关系对亮度值进行绘图，由此可以得到最终的合成俯瞰图像。
[0065]这样，根据本实施方式的摄像机校准装置108，利用关于地面(平面)的投影矩阵，对由各摄像机拍摄的图像彼此进行校准，由此，在摄像机图像的校准时，不需要使用公共摄像区域中的校准图案等特征点的配置关系，能够将该校准图案的数量及尺寸抑制为最低需要限度，因此，能够大幅减轻伴随校准作业时的校准图案的搬运或设置作业而给作业者带来的负担，并且能够使校准作业中使用的校准图案的保管场所显著地小型化。
[0066]此外，在对各摄像机拍摄的图像彼此进行校准时，求取向俯瞰视点进行视点变换的投影矩阵，使得包含作为校准用标识的校准图案的图像在与公共摄像区域对应的摄像机间一致。此时，虽然求取满足与公共摄像区域对应的两个摄像机的图像一致的条件的投影矩阵，但在纹理信息不足的情况下，仅与公共摄像区域对应的两个摄像机的图像一致的条件，有时不能实施充分的对位。在这种情况下，提取校准目标、特别是校准目标所包含的公共摄像区域的特征点，将该特征点的坐标输入校准部144的图像变换部141，并附加特征点的坐标一致的条件，求取进行视点变换的投影矩阵，由此，可以提高该投影矩阵的计算精度。此外，特征点的坐标也可以通过图像识别来进行提取，也可以经由显示装置107等向使用者等提示图像，使用者等经由鼠标等输入装置106指定图像上的特征点坐标(图4中，由虚线表示的信息输入)。
[0067]另外，实施方式的摄像机校准装置108中得到的信息，是各摄像机相对于平面(地面)的摄像机姿态与摄像机间的相对的位置及姿态的关系。因此，原则上不能求取车辆1相对于地面的相对的旋转量(车辆1的偏转方向的旋转量)。但是，在摄像机的初始设置位置的误差较小的情况下，车辆1相对于地面的相对的旋转量，能够通过利用摄像机的安装位置信息，根据车辆1的车轴方向来推测。另一方面，在假定摄像机的初始设置位置的误差较大的情况下，难以根据摄像机的安装位置信息来推测车辆1相对于地面的相对的旋转量。在这种情况下，例如在车辆1的周围设置用于识别地面与车辆1的关系的标记(例如，与车辆1平行地配置棒)，设置修改车辆1相对于地面的相对的旋转量的单元，由此，能够推测车辆1相对于地面的相对的旋转量。例如，也可以经由显示装置107等向使用者等提示图像，使用者等一边经由输入装置106进行微调整一边输入旋转量(图4中，由点划线表示的信息输入)，以使得用于识别地面与车辆1的关系的标记成为规定的视觉图像。此外，被输入了的输入结果立即反映于图像中，因此，使用者等可以一边确认图像，一边调整车辆1相对于地面的相对的旋转量。
[0068]<摄像机校准方法的实施方式>
[0069]以下，参照图5说明摄像机图像的校准运算处理的一连串的流程。关于图1所示的运算装置103的摄像机校准装置108(本发明的摄像机校准装置的实施方式)进行的摄像机图像的校准运算处理，即摄像机校准装置108进行的各摄像机111?114的摄像机参数的运算处理，该校准运算处理流程包括图像取得处理S501、初始投影矩阵生成处理S502、图像变换处理S503、误差评价处理S504、投影矩阵更新处理S505、收敛判断处理S508、比例修改处理S509，投影矩阵更新处理S505包括更新量计算处理506和投影矩阵计算处理507。首次的校准时，按照图像取得处理S501、图像变换处理S503、误差评价处理S504、收敛判断处理S508、投影矩阵更新处理S505的顺序实施，以后，反复实施图像变换处理S503、误差评价处理S504、收敛判断处理S508、投影矩阵更新处理S505。此外，在收敛判断处理S508中评价误差评价值，如果判断为误差评价值收敛了，则该处理停止。
[0070]首先，实施图像取得处理S501，从图像存储装置104读出由各摄像机拍摄的图像。本实施方式中，例如输入包含校准图案的与拍摄了地面的4台摄像机相当的4个图像。
[0071]接着，对于影像取得处理S501中取得的图像，利用图4所示的图像变换部141实施图像变换处理S503。该图像变换处理S503使用投影矩阵来实施。在此，首次校准时的投影矩阵通过初始投影矩阵生成处理S502来计算，在初始投影矩阵生成处理S502中，从参数存储装置105接收由摄像机姿态、位置构成的初始摄像机参数，并计算与初始摄像机参数对应的投影矩阵。得到的初始投影矩阵在图像变换处理S503的首次处理中被利用，在以后的图像变换处理S503中，使用投影矩阵更新处理S505中输出的投影矩阵实施。
[0072]接着，利用图4所示的误差评价部142实施误差评价处理S504，在该误差评价处理S504中，接收图像变换处理S503的输出，对于与各公共摄像区域对应的两个摄像机图像，计算表示一个摄像机图像中的公共摄像区域部分的图像相对于另一个摄像机图像中的公共摄像区域部分的图像偏离多少的误差量，并将其输出。
[0073]接着，在比较误差评价处理S504中输出的误