位置确定方法、模拟方法、位置确定系统和模拟系统与流程

1.本发明涉及位置确定方法、模拟方法、位置确定系统和模拟系统。


背景技术：

2.专利文献1公开了通过使用投影仪和摄像头的配对而向对象物投射规定的图像的系统。在该系统中，投影仪与摄像头的位置关系是预先决定的。
3.专利文献1：美国专利申请公开第2016/0343125号说明书
4.在专利文献1记载的系统中，投影仪与摄像头的位置关系是预先决定的，因此，可能无法将投影仪和摄像头等计测器配置于任意位置。因此，期望能够对如下情况进行辅助的技术：即使投影仪和摄像头等计测器配置于任意的位置，都向对象物投射规定的图像。


技术实现要素：

5.本发明的位置确定方法的一个方式包含以下步骤：根据在投影仪向对象物投射具有特定点的投射图像的状况下所述对象物中的所述特定点所在的部分的三维的第1坐标和所述特定点在所述投射图像中的二维的第2坐标，生成关系信息，所述关系信息表示确定所述第1坐标的计测器所使用的三维坐标系与确定所述第2坐标以及所述投影仪的坐标的投影仪坐标系的对应关系，通过使用所述关系信息，根据所述投影仪的坐标确定所述投影仪在所述三维坐标系中的位置。
6.本发明的模拟方法的一个方式包含以下步骤：根据在投影仪向对象物投射具有第1特定点的投射图像的状况下所述对象物中的所述第1特定点所在的部分的三维的第1坐标和所述第1特定点在所述投射图像中的二维的第2坐标，生成第1关系信息，所述第1关系信息表示确定所述第1坐标的计测器所使用的三维坐标系与确定所述第2坐标以及所述投影仪的坐标的投影仪坐标系的对应关系，根据所述对象物中的第2特定点在所述三维坐标系中的坐标和与所述第2特定点对应的第3特定点在三维的假想空间中的坐标，生成第2关系信息，所述第2关系信息表示所述三维坐标系与确定所述假想空间中的坐标的假想空间坐标系的对应关系，通过使用所述第1关系信息和所述第2关系信息，根据所述投影仪的坐标确定所述投影仪在所述假想空间坐标系中的位置。
7.本发明的模拟方法的一个方式包含以下步骤：根据拍摄坐标和投射坐标，生成第1信息，所述拍摄坐标是在投影仪向对象物投射具有第1特定点的投射图像的状况下摄像头拍摄所述对象物而生成的拍摄图像中的所述第1特定点所在的部分的二维的坐标，所述投射坐标是所述第1特定点在所述投射图像中的二维的坐标，所述第1信息表示确定所述拍摄坐标的摄像头坐标系与确定所述投射坐标和所述投影仪的坐标的投影仪坐标系的对应关系，根据所述对象物中的第2特定点在所述摄像头坐标系中的坐标和与所述第2特定点对应的第3特定点在三维的假想空间中的坐标，生成第2信息，所述第2信息表示所述摄像头坐标系与表示所述假想空间中的坐标的假想空间坐标系的对应关系，通过使用所述第1信息和所述第2信息，根据所述投影仪的坐标确定所述投影仪在所述假想空间坐标系中的位置。
8.本发明的位置确定系统的一个方式包含：生成部，其根据在投影仪向对象物投射具有特定点的投射图像的状况下所述对象物中的所述特定点所在的部分的三维的第1坐标和所述特定点在所述投射图像中的二维的第2坐标，生成关系信息，所述关系信息表示确定所述第1坐标的计测器所使用的三维坐标系与确定所述第2坐标以及所述投影仪的坐标的投影仪坐标系的对应关系；以及位置确定部，其通过使用所述关系信息，根据所述投影仪的坐标确定所述投影仪在所述三维坐标系中的位置。
9.本发明的模拟系统的一个方式包含：第1生成部，其根据在投影仪向对象物投射具有第1特定点的投射图像的状况下所述对象物中的所述第1特定点所在的部分的三维的第1坐标和所述第1特定点在所述投射图像中的二维的第2坐标，生成第1关系信息，所述第1关系信息表示确定所述第1坐标的计测器所使用的三维坐标系与确定所述第2坐标以及所述投影仪的坐标的投影仪坐标系的对应关系；第2生成部，其根据所述对象物中的第2特定点在所述三维坐标系中的坐标和与所述第2特定点对应的第3特定点在三维的假想空间中的坐标，生成第2关系信息，所述第2关系信息表示所述三维坐标系与确定所述假想空间中的坐标的假想空间坐标系的对应关系；以及位置确定部，其通过使用所述第1关系信息和所述第2关系信息，根据所述投影仪的坐标确定所述投影仪在所述假想空间坐标系中的位置。
10.本发明的模拟系统的一个方式包含：第1生成部，其根据拍摄坐标和投射坐标，生成第1信息，所述拍摄坐标是在投影仪向对象物投射具有第1特定点的投射图像的状况下摄像头拍摄所述对象物而生成的拍摄图像中的所述第1特定点所在的部分的二维的坐标，所述投射坐标是所述第1特定点在所述投射图像中的二维的坐标，所述第1信息表示确定所述拍摄坐标的摄像头坐标系与确定所述投射坐标以及所述投影仪的坐标的投影仪坐标系的对应关系；第2生成部，其根据所述对象物中的第2特定点在所述摄像头坐标系中的坐标和与所述第2特定点对应的第3特定点在三维的假想空间中的坐标，生成第2信息，所述第2信息表示所述摄像头坐标系与表示所述假想空间中的坐标的假想空间坐标系的对应关系；以及位置确定部，其通过使用所述第1信息和所述第2信息，根据所述投影仪的坐标确定所述投影仪在所述假想空间坐标系中的位置。
附图说明
11.图1是示出第1实施方式的投射系统1的图。
12.图2是示出变形图像g1的一例的图。
13.图3是示出作为变形图像g1的基础的原始图像g2的图。
14.图4是示出原始图像g2的变形的一例的图。
15.图5是示出变形图像g1的投射例的图。
16.图6是示出假想空间d1中的图像的模拟的一例的图。
17.图7是示出投影仪100的一例的图。
18.图8是示出投影仪坐标系cs1的一例的图。
19.图9是示出计测图像g3的一例的图。
20.图10是示出计测器200的一例的图。
21.图11是示出计测器坐标系cs2的一例的图。
22.图12是示出信息处理装置300的一例的图。
23.图13是示出假想空间d1的一例的图。
24.图14是示出对应点f的一例的图。
25.图15是示出多个计测图像g3的一例的图。
26.图16是示出像素130p与相位的关系的图。
27.图17是用于说明投射系统1的动作的图。
28.图18是用于说明矢量v1和v2的图。
29.图19是示出计测图像g3的另一例的图。
30.标号说明
31.1：投射系统；2：对象物；100：投影仪；110：图像处理部；120：光源；130：液晶光阀；140：投射镜头；200：计测器；210：第1摄像头；211：第1拍摄镜头；212：第1图像传感器；220：第2摄像头；221：第2拍摄镜头；222：第2图像传感器；230：第1存储部；240：第1处理部；241：拍摄控制部；242：提供部；243：计算部；300：信息处理装置；310：操作部；320：显示部；330：第2存储部；340：第2处理部；341：假想空间生成部；342：投射控制部；343：计测控制部；344：取得部；345：第1生成部；346：第2生成部；347：位置确定部；348：假想空间控制部；349：图像生成部。
具体实施方式
32.a：第1实施方式
33.a1：投射系统1的概要
34.图1是示出第1实施方式的投射系统1的图。投射系统1是位置确定系统和模拟系统各自的一例。
35.投射系统1向对象物2投射图像。对象物2是房间的墙壁。房间的墙壁是展示对象的物体的一例。展示对象的物体不限于房间的墙壁，例如也可以是建筑物的外壁或商品。对象物2不限于展示对象的物体，例如也可以是制造中的物体或检查中的物体。制造中的物体例如是制造中的汽车、制造中的火车、制造中的飞机、制造中的电化产品或建设中的建筑物。检查中的物体例如是检查中的汽车、检查中的火车、检查中的飞机、检查中的电化产品或检查中的建筑物。对象物2的形式不限于图1所示的形式，能够适当变更。
36.对象物2具有3个对象点、具体而言为第1对象点k1、第2对象点k2和第3对象点k3。在不需要相互区分第1对象点k1～第3对象点k3的情况下，将第1对象点k1～第3对象点k3分别称为“对象点k”。对象点k是第2特定点的一例。对象物2也可以具有4个以上的对象点k。
37.投射系统1包含投影仪100、计测器200和信息处理装置300。
38.投影仪100向对象物2投射变形图像g1。图2是示出变形图像g1的一例的图。变形图像g1是根据对象物2的形状而变形的图像。图3是示出作为变形图像g1的基础的原始图像g2的图。原始图像g2是第1图像的一例。变形图像g1是第2图像的一例。
39.在从投影仪100向对象物2投射原始图像g2的状况下，如图4所示，对象物2示出的原始图像g2根据对象物2的形状而变形。与对象物2的形状对应的原始图像g2的变形是由于如下情况而引起的：从投影仪100到该图像的投射目的地为止的距离越长，则从投影仪100投射的图像越大。下面，将投射到对象物2的原始图像g2中产生的变形称为“第1变形”。
40.通过使原始图像g2产生由第1变形抵消的第2变形，得到变形图像g1。
41.在从投影仪100向对象物2投射变形图像g1的状况下，向对象物2投射的变形图像g1产生第1变形。通过该第1变形抵消变形图像g1中的第2变形。因此，如图5所示，在对象物2上以与原始图像g2相同的形式示出变形图像g1。
42.在工业领域中，在期望以能够利用字符等进行确认的方式在对象物2上示出对象物2的制造方法或对象物2的检查方法的情况下，根据以能够利用字符等进行确认的方式示出对象物2的制造方法或对象物2的检查方法的原始图像g2生成变形图像g1即可。
43.计测器200针对对象物2执行三维计测。信息处理装置300通过使用投影仪100和计测器200，生成变形图像g1。
44.如图6所示，信息处理装置300在假想空间d1中对图像进行模拟，由此，生成变形图像g1。
45.首先，信息处理装置300在假想空间d1中配置具有与对象物2的形状相同的形状的假想对象物2v。
46.接着，信息处理装置300以表示原始图像g2的假想的纸粘贴于假想对象物2v的方式，在假想对象物2v上显示原始图像g2。
47.接着，信息处理装置300在假想空间d1中配置假想摄像头400v。
48.具体而言，信息处理装置300以假想摄像头400v与假想对象物2v的位置关系跟投影仪100与对象物2的位置关系一致的方式，配置假想摄像头400v。
49.假想摄像头400v具有假想拍摄镜头410v，该假想拍摄镜头410v具有与投影仪100的投射镜头140的内部参数相同的内部参数。
50.接着，信息处理装置300生成假想摄像头400v对假想对象物2v上显示的原始图像g2进行拍摄而得到的假想拍摄图像作为变形图像g1。图6示出假想摄像头400v的拍摄区域420v。
51.在利用这种方法生成变形图像g1的情况下，需要确定假想空间d1中的假想摄像头400v的位置。即使投影仪100和计测器200配置于任意的位置，信息处理装置300也使用投影仪100和计测器200确定假想空间d1中的假想摄像头400v的位置。
52.下面，以确定假想空间d1中的假想摄像头400v的位置的方法和生成变形图像g1的方法为主，对投射系统1的结构等进行说明。
53.a2：投影仪100
54.图7是示出投影仪100的一例的图。投影仪100包含图像处理部110、光源120、液晶光阀130和投射镜头140。
55.图像处理部110例如由图像处理电路等电路构成。图像处理部110从信息处理装置300接收图像数据a。图像处理部110对图像数据a实施伽马校正等图像处理，由此，生成基于图像数据a的电压b。
56.光源120是led(light emitting diode)。光源120不限于led，例如也可以是氙灯或激光光源。
57.液晶光阀130由在一对透明基板之间具有液晶的液晶面板等构成。液晶光阀130具有矩形的像素区域130a。像素区域130a包含呈矩阵状设置的多个像素130p。
58.在液晶光阀130中，基于图像数据a的电压b按照每个像素130p被施加给液晶。在基于图像数据a的电压b按照每个像素130p被施加给液晶时，像素130p被设定成基于图像数据
semiconductor)图像传感器。第1图像传感器212具有矩形的第1拍摄区域212a。第1拍摄区域212a包含呈矩阵状设置的多个单元212p。第1图像传感器212根据由第1拍摄镜头211成像的光学像生成第1拍摄数据c1。
74.第2摄像头220包含第2拍摄镜头221和第2图像传感器222。
75.第2拍摄镜头221使对象物2的光学像成像于第2图像传感器222。例如，第2拍摄镜头221在投影仪100向对象物2投射计测图像g3的状况下，使被投射计测图像g3的对象物2的光学像成像于第2图像传感器222。
76.第2图像传感器222是ccd图像传感器。第2图像传感器222不限于ccd图像传感器，例如也可以是cmos图像传感器。第2图像传感器222具有矩形的第2拍摄区域222a。第2拍摄区域222a包含呈矩阵状设置的多个单元222p。第2图像传感器222根据由第2拍摄镜头221成像的光学像生成第2拍摄数据c2。
77.第1存储部230是第1处理部240可读取的记录介质。第1存储部230例如包含非易失性存储器和易失性存储器。非易失性存储器例如是rom(read only memory)、eprom(erasable programmable read only memory)和eeprom(electrically erasable programmable read only memory)。易失性存储器例如是ram(random access memory)。第1存储部230存储由第1处理部240执行的第1程序p1。
78.第1处理部240由1个或多个cpu(central processing unit)构成。1个或多个cpu是1个或多个处理器的一例。处理器和cpu分别是计算机的一例。
79.第1处理部240从第1存储部230读取第1程序p1。第1处理部240通过执行第1程序p1，作为拍摄控制部241、提供部242和计算部243发挥功能。
80.拍摄控制部241、提供部242和计算部243分别也可以由dsp(digital signal processor)、asic(application specific integrated circuit)、pld(programmable logic device)、fpga(field programmable gate array)等电路构成。
81.拍摄控制部241对由第1摄像头210执行的拍摄和由第2摄像头220执行的拍摄进行控制。
82.提供部242将第1拍摄数据c1和第2拍摄数据c2等各种信息输出到信息处理装置300。
83.计算部243根据第1拍摄数据c1和第2拍摄数据c2，对对象物2执行三维计测。计算部243通过使用计测器坐标系cs2中的坐标，表示三维计测的结果。
84.图11是示出计测器坐标系cs2的一例的图。计测器坐标系cs2是三维的坐标系。计测器坐标系cs2的原点o2设定在第1拍摄镜头211的主点的位置。第1拍摄镜头211的主点的位置是计测器200的位置的一例。在图11中，为了方便起见，在与第1拍摄镜头211的主点的位置不同的位置示出原点o2。计测器坐标系cs2的原点o2不限于第1拍摄镜头211的主点的位置，例如也可以是第2拍摄镜头221的主点的位置。第2拍摄镜头221的主点的位置是计测器200的位置的另一例。
85.计测器坐标系cs2是三维坐标系的一例。计测器坐标系cs2由x2轴、y2轴和z2轴来确定。x2轴、y2轴和z2轴根据计测器200的朝向来决定。x2轴、y2轴和z2轴相互正交。
86.x2轴与第1图像传感器212的水平方向平行，即与第1图像传感器212的横向平行。在计测器坐标系cs2的原点o2与第2拍摄镜头221的主点的位置一致的情况下，x2轴与第2图
像传感器222的水平方向平行，即与第2图像传感器222的横向平行。
87.y2轴与第1图像传感器212的垂直方向平行，即与第1图像传感器212的纵向平行。在计测器坐标系cs2的原点o2与第2拍摄镜头221的主点的位置一致的情况下，y2轴与第2图像传感器222的垂直方向平行，即与第2图像传感器222的纵向平行。
88.z2轴与第1拍摄镜头211的光轴一致。在计测器坐标系cs2的原点o2与第2拍摄镜头221的主点的位置一致的情况下，z2轴与第2拍摄镜头221的光轴一致。
89.a4：信息处理装置300
90.图12是示出信息处理装置300的一例的图。信息处理装置300是pc(personal computer)。信息处理装置300不限于pc，例如也可以是平板电脑或智能手机。
91.信息处理装置300包含操作部310、显示部320、第2存储部330和第2处理部340。
92.操作部310例如是键盘、鼠标、操作按钮、操作键或触摸面板。操作部310受理用户的输入操作。
93.显示部320是显示器例如液晶显示器、等离子体显示器、有机el(electro luminescence)显示器等fpd(flat panel display)。显示部320显示各种信息。
94.第2存储部330是第2处理部340可读取的记录介质。第2存储部330例如包含非易失性存储器和易失性存储器。第2存储部330存储由第2处理部340执行的第2程序p2。
95.第2处理部340例如由1个或多个cpu构成。第2处理部340从第2存储部330读取第2程序p2。第2处理部340通过执行第2程序p2，作为假想空间生成部341、投射控制部342、计测控制部343、取得部344、第1生成部345、第2生成部346、位置确定部347、假想空间控制部348和图像生成部349发挥功能。
96.假想空间生成部341、投射控制部342、计测控制部343、取得部344、第1生成部345、第2生成部346、位置确定部347、假想空间控制部348和图像生成部349分别也可以由dsp、asic、pld、fpga等电路构成。
97.假想空间生成部341生成三维的假想空间d1。图13是示出假想空间d1的一例的图。对假想空间d1应用假想空间坐标系cs3。假想空间坐标系cs3是三维的坐标系。假想空间坐标系cs3由x3轴、y3轴和z3轴来确定。x3轴、y3轴和z3轴相互正交。
98.假想对象物2v位于假想空间d1。假想对象物2v对应于对象物2。假想对象物2v的形状与对象物2的形状相同。
99.假想对象物2v具有3个假想对象点、具体而言为第1假想对象点q1、第2假想对象点q2和第3假想对象点q3。
100.在不需要相互区分第1假想对象点q1～第3假想对象点q3的情况下，将第1假想对象点q1～第3假想对象点q3分别称为“假想对象点q”。假想对象点q是与第2特定点对应的第3特定点的一例。
101.假想对象物2v与第1假想对象点q1的位置关系跟对象物2与第1对象点k1的位置关系相同。例如，在预先决定了假想对象物2v中的第1假想对象点q1的位置的情况下，以对象物2与第1对象点k1的位置关系跟假想对象物2v与第1假想对象点q1的位置关系相同的方式，决定对象物2中的第1对象点k1的位置。
102.该情况下，例如，在对象物2中的第1对象点k1的位置配置第1物理标记。第1物理标记具有与对象物2的反射率不同的反射率。因此，在第1摄像头210生成的第1拍摄数据c1和
第2摄像头220生成的第2拍摄数据c2的各个拍摄数据中，能够识别第1物理标记。因此，能够根据第1拍摄数据c1和第2拍摄数据c2确定第1物理标记的位置即第1对象点k1的位置。第1假想对象点q1对应于第1对象点k1。
103.假想对象物2v与第2假想对象点q2的位置关系跟对象物2与第2对象点k2的位置关系相同。例如，在预先决定了假想对象物2v中的第2假想对象点q2的位置的情况下，以对象物2与第2对象点k2的位置关系跟假想对象物2v与第2假想对象点q2的位置关系相同的方式，决定对象物2中的第2对象点k2的位置。
104.该情况下，例如，在对象物2中的第2对象点k2的位置配置第2物理标记。第2物理标记具有与对象物2以及第1物理标记的各反射率不同的反射率。因此，在第1摄像头210生成的第1拍摄数据c1和第2摄像头220生成的第2拍摄数据c2的各个拍摄数据中，能够识别第2物理标记。因此，能够根据第1拍摄数据c1和第2拍摄数据c2确定第2物理标记的位置即第2对象点k2的位置。第2假想对象点q2对应于第2对象点k2。
105.假想对象物2v与第3假想对象点q3的位置关系跟对象物2与第3对象点k3的位置关系相同。例如，在预先决定了假想对象物2v中的第3假想对象点q3的位置的情况下，以对象物2与第3对象点k3的位置关系跟假想对象物2v与第3假想对象点q3的位置关系相同的方式，决定对象物2中的第3对象点k3的位置。
106.该情况下，例如，在对象物2中的第3对象点k3的位置配置第3物理标记。第3物理标记具有与对象物2、第1物理标记以及第2物理标记各自的反射率不同的反射率。因此，在第1摄像头210生成的第1拍摄数据c1和第2摄像头220生成的第2拍摄数据c2的各个拍摄数据中，能够识别第3物理标记。因此，能够根据第1拍摄数据c1和第2拍摄数据c2确定第3物理标记的位置即第3对象点k3的位置。第3假想对象点q3对应于第3对象点k3。
107.使说明返回图12。投射控制部342对投影仪100进行控制。投射控制部342使投影仪100分别投射计测图像g3和变形图像g1。投射控制部342通过向投影仪100提供表示计测图像g3的计测图像数据，使投影仪100投射计测图像g3。计测图像数据是图像数据a的一例。投射控制部342通过向投影仪100提供表示变形图像g1的变形图像数据，使投影仪100投射变形图像g1。变形图像数据是图像数据a的另一例。
108.计测控制部343对计测器200进行控制。计测控制部343使计测器200对对象物2进行拍摄。计测控制部343使计测器200对对象物2执行三维计测。
109.取得部344从计测器200取得在投影仪100向对象物2投射计测图像g3的状况下对象物2中的、计测图像g3的计测点e所在的部分的三维的坐标。
110.将对象物2中的、计测图像g3的计测点e所在的部分称为“对应点f”。图14是示出对应点f的一例的图。图14示出3个对应点f、具体而言为第1对应点f1、第2对应点f2和第3对应点f3。对应点f是与计测图像g3的计测点e对应的点。第1对应点f1对应于第1计测点e1。第2对应点f2对应于第2计测点e2。第3对应点f3对应于第3计测点e3。
111.将对应点f的三维的坐标称为“坐标h”。坐标h是对应点f在计测器坐标系cs2中的坐标。坐标h由计测器200计测。坐标h是第1坐标的一例。
112.将计测点e在计测图像g3中的二维的坐标、即计测点e在投影仪坐标系cs1中的坐标称为“坐标i”。坐标i事先存储于第2存储部330。坐标i是第2坐标的一例。
113.使说明返回图12。第1生成部345生成表示计测器坐标系cs2与投影仪坐标系cs1的
对应关系的第1关系信息j1。第1生成部345根据对应点f在计测器坐标系cs2中的三维的坐标即坐标h和计测点e在投影仪坐标系cs1中的二维的坐标即坐标i，生成第1关系信息j1。
114.第2生成部346生成表示计测器坐标系cs2与假想空间坐标系cs3的对应关系的第2关系信息j2。
115.将对象物2具有的对象点k在计测器坐标系cs2中的坐标称为“坐标m”。
116.将假想对象物2v具有的假想对象点q在假想空间坐标系cs3中的坐标称为“坐标n”。第2生成部346根据坐标m和坐标n，生成表示计测器坐标系cs2与假想空间坐标系cs3的对应关系的第2关系信息j2。
117.位置确定部347通过使用第1关系信息j1和第2关系信息j2，根据投影仪100在投影仪坐标系cs1中的坐标，确定投影仪100在假想空间坐标系cs3中的位置。将投影仪100在假想空间坐标系cs3中的位置称为“第1假想位置r1”。
118.假想空间控制部348对假想空间d1进行控制。假想空间控制部348在假想空间d1中设定第2假想位置r2。例如，假想空间控制部348根据操作部310从用户受理的配置指示，在假想空间d1中设定第2假想位置r2。假想空间d1中的第2假想位置r2对应于对象物2在计测器坐标系cs2中的位置。假想空间控制部348将假想对象物2v配置于第2假想位置r2。假想空间控制部348在假想对象物2v上显示原始图像g2。具体而言，假想空间控制部348以将表示原始图像g2的假想的纸粘贴于假想对象物2v的方式，在假想对象物2v上显示原始图像g2。
119.假想空间控制部348在假想空间d1中，在第1假想位置r1、即投影仪100在假想空间坐标系cs3中的位置配置假想摄像头400v。假想空间控制部348使假想摄像头400v具有的假想拍摄镜头410v的主点位于第1假想位置r1。
120.假想拍摄镜头410v的内部参数与投影仪100的投射镜头140的内部参数相等。假想拍摄镜头410v的内部参数表示假想拍摄镜头410v的焦距等假想拍摄镜头410v的特性。投射镜头140的内部参数表示投射镜头140的焦距等投射镜头140的特性。在本实施方式中，投射镜头140的内部参数已知。投射镜头140的内部参数例如存储于第2存储部330。
121.图像生成部349生成假想摄像头400v对假想对象物2v上显示的原始图像g2进行拍摄而得到的假想拍摄图像作为变形图像g1。图像生成部349例如生成表示假想拍摄图像的图像数据作为表示变形图像g1的变形图像数据。
122.a5：计测图像g3
123.图15是示出多个计测图像g3的一例的图。多个计测图像g3包含第1相移图像g31～第4相移图像g34。
124.在不需要相互区分第1相移图像g31～第4相移图像g34的情况下，将第1相移图像g31～第4相移图像g34分别称为“相移图像g30”。
125.相移图像g30是在沿着投影仪坐标系cs1的x1轴的方向上示出与正弦波对应的亮度的变化的图案图像。正弦波是包含余弦波的概念。相移图像g30在相移法中被使用。
126.第2相移图像g32中的正弦波的相位比第1相移图像g31中的正弦波的相位超前π/2。第3相移图像g33中的正弦波的相位比第1相移图像g31中的正弦波的相位超前π。第4相移图像g34中的正弦波的相位比第1相移图像g31中的正弦波的相位超前3π/2。
127.相移图像g30用于确定对应点f。对应点f是在投影仪100向对象物2投射相移图像g30的状况下对象物2中的相移图像g30的计测点e所在的部分。
128.相移法用于确定第1图像传感器212具有的多个单元212p中的、观测对应点f的单元212pt。此外，相移法用于确定第2图像传感器222具有的多个单元222p中的、观测对应点f的单元222pt。单元212pt和单元222pt通过使用相移图像g30具有的正弦波的相位来确定。
129.图16是示出液晶光阀130中在沿着x1轴的方向上排列的像素130p与投影仪100投射第1相移图像g31的状况下的和像素130p的亮度对应的正弦波的相位的关系的图。
130.如图16所示，在沿着x1轴的方向上，液晶光阀130的像素130p和相位具有一对一的对应关系。因此，唯一地确定与液晶光阀130具有的多个像素130p中的位于计测点e的像素130pe对应的相位在图16中，为了简化说明，作为像素130pe，仅示出位于第1计测点e1的像素130p。
131.已知在投射第1相移图像g31的状况下与第1图像传感器212的任意的单元212pi观测的亮度对应的正弦波的相位由式1确定。
[0132][0133]
i1是投射第1相移图像g31的状况下单元212pi观测的亮度。
[0134]
i2是投射第2相移图像g32的状况下单元212pi观测的亮度。
[0135]
i3是投射第3相移图像g33的状况下单元212pi观测的亮度。
[0136]
i4是投射第4相移图像g34的状况下单元212pi观测的亮度。
[0137]
通过相移法确定的单元212pt是第1图像传感器212具有的多个单元212p中的观测对应点f的单元。因此，与单元212pt观测的亮度对应的相位示出跟与像素130pe的亮度对应的相位相同的值。因此，单元212pt的搜索意味着，从多个单元212p中搜索观测与相位对应的亮度的单元，相位示出跟与像素130pe对应的相位相同的值。
[0138]
由此，能够从多个单元212p中确定具有与投影仪坐标系cs1的x1轴坐标中的对应点f所在的坐标x
1f
对应的坐标x
2f
的坐标单元组212px。
[0139]
此外，虽然省略图示，但是，多个计测图像g3还包含第5相移图像g35～第8相移图像g38。第5相移图像g35～第8相移图像g38是在沿着投影仪坐标系cs1的y1轴的方向上示出与正弦波对应的亮度的变化的图案图像。第6相移图像g36中的正弦波的相位比第5相移图像g35中的正弦波的相位超前π/2。第7相移图像g37中的正弦波的相位比第5相移图像g35中的正弦波的相位超前π。第8相移图像g38中的正弦波的相位比第5相移图像g35中的正弦波的相位超前3π/2。
[0140]
通过第1摄像头210对第5相移图像g35～第8相移图像g38进行拍摄，由此，与使用第1相移图像g31～第4相移图像g34的情况同样，能够从多个单元212p中确定具有与投影仪坐标系cs1的y1轴坐标中的对应点f所在的坐标y
1f
对应的坐标y
2f
的坐标单元组212py。
[0141]
因此，能够从多个单元212p中确定具有坐标x
2f
和坐标y
2f
的单元212p作为单元212pt。
[0142]
关于单元222pt，也能够与单元222pt同样地确定。
[0143]
a6：动作的说明
[0144]
图17是用于说明投射系统1的动作的图。另外，假想空间生成部341事先生成假想空间d1。假想空间控制部348事先在假想空间d1中设定第2假想位置r2。假想空间控制部348事先在第2假想位置r2配置假想对象物2v。
[0145]
用户通过对操作部310进行操作，对操作部310输入开始指示。操作部310受理开始指示后，将开始指示提供给第2处理部340。
[0146]
在第2处理部340受理开始指示后，在步骤s101中，投射控制部342设定第1相移图像g31～第8相移图像g38作为未投射的图像。
[0147]
接着，在步骤s102中，投射控制部342从第1相移图像g31～第8相移图像g38中选择一个未投射的图像。投射控制部342按照第1相移图像g31、第2相移图像g32、第3相移图像g33、第4相移图像g34、第5相移图像g35、第6相移图像g36、第7相移图像g37、第8相移图像g38的顺序选择未投射的图像。选择未投射的图像的顺序不限于第1相移图像g31、第2相移图像g32、第3相移图像g33、第4相移图像g34、第5相移图像g35、第6相移图像g36、第7相移图像g37、第8相移图像g38的顺序，能够适当变更。
[0148]
接着，投射控制部342将表示在步骤s102中选择出的图像的图像数据a提供给投影仪100。在图像数据a存储于第2存储部330的情况下，投射控制部342从第2存储部330读取图像数据a。投射控制部342将从第2存储部330读取的图像数据a提供给投影仪100。投射控制部342也可以根据第2程序p2生成图像数据a。该情况下，投射控制部342将生成的图像数据a提供给投影仪100。
[0149]
接着，投射控制部342将与在步骤s102中选择出的图像有关的设定从未投射的图像变更为已投射的图像。
[0150]
接着，在步骤s103中，投影仪100向对象物2投射从投射控制部342提供的图像数据a所表示的图像。
[0151]
接着，在步骤s104中，计测控制部343使第1摄像头210和第2摄像头220对被投射图像的对象物2进行拍摄。
[0152]
例如，计测控制部343将指示使用第1摄像头210和第2摄像头220的拍摄的拍摄指示提供给计测器200的拍摄控制部241。拍摄控制部241根据拍摄指示，使第1摄像头210和第2摄像头220对被投射图像的对象物2进行拍摄。第1摄像头210对被投射图像的对象物2进行拍摄，由此，生成表示被投射图像的对象物2的第1拍摄图像数据。第1拍摄图像数据是第1拍摄数据c1的一例。第2摄像头220对被投射图像的对象物2进行拍摄，由此，生成表示被投射图像的对象物2的第2拍摄图像数据。第2拍摄图像数据是第2拍摄数据c2的一例。提供部242将第1拍摄图像数据和第2拍摄图像数据提供给信息处理装置300。
[0153]
接着，在步骤s105中，投射控制部342在第1相移图像g31～第8相移图像g38中存在设定为未投射的图像的图像的情况下，使处理返回步骤s102。因此，通过投影仪100单独地向对象物2投射第1相移图像g31～第8相移图像g38。此外，第1相移图像g31～第8相移图像g38各自的第1拍摄图像数据和第1相移图像g31～第8相移图像g38各自的第2拍摄图像数据被提供给信息处理装置300。
[0154]
在步骤s105中，在第1相移图像g31～第8相移图像g38中不存在设定为未投射的图像的图像的情况下，在步骤s106中，取得部344按照每个计测点e，取得对应点f在计测器坐标系cs2中的三维坐标即坐标h。对应点f是在投影仪100向对象物2投射相移图像g30的状况下对象物2中的相移图像g30的计测点e所在的部分。
[0155]
在步骤s106中，首先，取得部344按照每个计测点e确定单元212pt和单元222pt。单元212pt是第1图像传感器212具有的多个单元212p中的观测对应点f的单元。单元222pt是
第2图像传感器222中的多个单元222p中的观测对应点f的单元。
[0156]
取得部344根据计测点e在投影仪坐标系cs1中的坐标即坐标i和第1相移图像g31～第8相移图像g38各自的第1拍摄图像数据，按照每个计测点e确定单元212pt。另外，第2存储部330存储坐标i，因此，取得部344从第2存储部330取得坐标i。取得部344通过使用相移法，按照每个计测点e确定单元212pt。
[0157]
取得部344根据计测点e在投影仪坐标系cs1中的坐标即坐标i和第1相移图像g31～第8相移图像g38各自的第2拍摄图像数据，按照每个计测点e确定单元222pt。取得部344通过使用相移法，按照每个计测点e确定单元222pt。
[0158]
取得部344在按照每个计测点e确定单元212pt和单元222pt后，通过使用计测控制部343，使计测器200执行与各对应点f有关的三维计测。
[0159]
例如，取得部344将按照每个计测点e示出单元212pt和单元222pt的计测指示从计测控制部343提供给计测器200的计算部243。
[0160]
计算部243按照每个计测点e，根据第1图像传感器212中的单元212pt的位置和第2图像传感器222中的单元222pt的位置，计算对应点f在计测器坐标系cs2中的三维坐标。
[0161]
例如，计算部243按照每个计测点e，根据单元212pt的位置和单元222pt的位置，基于三角测量的原理来计算从对应点f到计测器200为止的距离。
[0162]
计算部243使用单元212pt的基于x2轴的坐标，作为对应点f在计测器坐标系cs2中的三维坐标中的基于x2轴的坐标。计算部243使用单元212pt的基于y2轴的坐标，作为对应点f在计测器坐标系cs2中的三维坐标中的基于y2轴的坐标。计算部243使用基于从对应点f到计测器200为止的距离的值，作为对应点f在计测器坐标系cs2中的三维坐标中的基于z2轴的坐标。
[0163]
接着，提供部242按照每个计测点e，将对应点f在计测器坐标系cs2中的三维坐标提供给信息处理装置300。
[0164]
取得部344按照每个计测点e，从提供部242取得对应点f在计测器坐标系cs2中的三维坐标作为坐标h。
[0165]
接着，在步骤s107中，第1生成部345生成表示计测器坐标系cs2与投影仪坐标系cs1的对应关系的第1关系信息j1。
[0166]
例如，第1生成部345根据对应点f在计测器坐标系cs2中的三维的坐标即坐标h和计测点e在投影仪坐标系cs1中的二维的坐标即坐标i，生成第1关系信息j1。
[0167]
第1生成部345从取得部344取得三维坐标即坐标h。二维坐标即坐标i存储于第2存储部330，因此，第1生成部345从第2存储部330取得二维坐标即坐标i。
[0168]
第1生成部345使用三维坐标即坐标h和二维坐标即坐标i的每个计测点e的“对“，求解pnp(perspective n points：n点透视)问题，由此，生成第1关系信息j1。下面，将坐标h和坐标i的“对”称为“第1坐标对”。
[0169]
例如，第1生成部345按照每个计测点e，在式2中代入第1坐标对，由此，求解pnp问题。式2也称为透视投影转换的式子。
[0170][0171]
其中
[0172]
是投射镜头140的内部参数矩阵a。
[0173]
是旋转矩阵r。
[0174]
是平行移动矩阵t。
[0175]
(x，y，z)表示计测器坐标系cs2的三维坐标例如坐标h。
[0176]
(u，v)表示投影仪坐标系cs1的二维坐标例如坐标i。
[0177]
s是用于实现(u，v，1)中的“1”的缩放因子。s＝z成立。
[0178]
(c
xcy
)是投射镜头140的主点的坐标。
[0179]fx
和fy是利用将1个像素130p作为1个单位的值表示的投射镜头140的焦距。
[0180]
换言之，f
x
和fy是利用像素的单位表示的投射镜头140的焦距。
[0181]fx
是利用基于像素130p的x1轴方向的长度的单位表示的投射镜头140的焦距。
[0182]fy
是利用基于像素130p的y1轴方向的长度的单位表示的投射镜头140的焦距。
[0183]
式2与式3等效。
[0184][0185]
x’＝x/z
[0186]
y’＝y/z
[0187]
x”＝x’(1+k1r2+k2r4+k3r6)+2p1x’y’+p2(r2+2x
’2)
[0188]
y”＝y’(1+k1r2+k2r4+k3r6)+p1(r2+2y
’2)+2p2x’y’[0189]
其中，
[0190]
r2＝x
’2+y
’2[0191]
u＝f
x
*x”+c
x
[0192]
v＝fy*y”+cy[0193]
k1、k2、k3是投射镜头140的半径方向的畸变系数。
[0194]
p1、p2是投射镜头140的圆周方向的畸变系数。
[0195]
各畸变系数属于投射镜头140的内部参数。
[0196]
第1生成部345按照每个计测点e将第1坐标对代入式2，由此，生成多个方程式。第1生成部345通过求解多个方程式，确定旋转矩阵r、平行移动矩阵t和内部参数矩阵a。
[0197]
在本实施方式中，投射镜头140的内部参数已知。即，内部参数矩阵a已知。因此，第1生成部345通过求解多个方程式，确定旋转矩阵r和平行移动矩阵t即可。该情况下，第1生成部345通过使用至少3个第1坐标对，能够确定旋转矩阵r和平行移动矩阵t。
[0198]
第1生成部345如果使用6个以上的第1坐标对，则能够确定旋转矩阵r和平行移动矩阵t作为1个解。
[0199]
由第1坐标对表示的坐标可能包含误差。因此，代入式2中的第1坐标对的数量越多，则旋转矩阵r和平行移动矩阵t的精度越高。由此，优选第1生成部345通过使用更多的第1坐标对来确定旋转矩阵r和平行移动矩阵t。第1生成部345生成旋转矩阵r、平行移动矩阵t、内部参数矩阵a和缩放因子s的群组作为第1关系信息j1。
[0200]
接着，在步骤s108中，第2生成部346生成表示计测器坐标系cs2与假想空间坐标系cs3的对应关系的第2关系信息j2。
[0201]
第2生成部346根据对象物2具有的对象点k在计测器坐标系cs2中的坐标即坐标m和假想对象物2v具有的假想对象点q在假想空间坐标系cs3中的坐标即坐标n，生成第2关系信息j2。
[0202]
第2生成部346从计测器200取得对象物2具有的对象点k在计测器坐标系cs2中的坐标即坐标m。
[0203]
例如，第2生成部346通过使用计测控制部343，使计测器200针对对象物2中的各对象点k执行三维计测。
[0204]
举出一例，第2生成部346将与各对象点k有关的三维计测的指示从计测控制部343提供给计测器200的计算部243。
[0205]
计算部243根据与各对象点k有关的三维计测的指示，计算各对象点k在计测器坐标系cs2中的三维坐标。
[0206]
计算部243使用第1图像传感器212中的单元212p中的观测对象点k的单元的基于x2轴的坐标，作为对象点k在计测器坐标系cs2中的三维坐标中的基于x2轴的坐标。计算部243使用第1图像传感器212中的单元212p中的观测对象点k的单元的基于y2轴的坐标，作为对象点k在计测器坐标系cs2中的三维坐标中的基于y2轴的坐标。计算部243使用三角测量的原理来计算从对象点k到计测器200为止的距离。计算部243使用基于从对象点k到计测器200为止的距离的值，作为对象点k在计测器坐标系cs2中的三维坐标中的基于z2轴的坐标。
[0207]
接着，提供部242按照每个对象点k，将对象点k在计测器坐标系cs2中的三维坐标提供给信息处理装置300。
[0208]
第2生成部346按照每个对象点k，从提供部242取得对象点k在计测器坐标系cs2中的三维坐标作为坐标m。
[0209]
假想空间控制部348管理假想对象物2v具有的假想对象点q在假想空间坐标系cs3中的坐标即坐标n。因此，第2生成部346按照假想对象物2v具有的每个假想对象点q，从假想空间控制部348取得假想对象点q在假想空间坐标系cs3中的坐标即坐标n。
[0210]
第2生成部346使用对象点k的坐标m和与该对象点k对应的假想对象点q的坐标n的每个对象点k的对，生成第2关系信息j2。下面，将坐标m和坐标n的对称为“第2坐标对”。
[0211]
第2生成部346确定使计测器坐标系cs2的朝向与假想空间坐标系cs3的朝向一致的旋转矩阵r1、以及使计测器坐标系cs2的原点o2与假想空间坐标系cs3的原点o3一致的平
行移动矩阵t1。旋转矩阵r1是3行3列的矩阵。平行移动矩阵t1是1行3列的矩阵。
[0212]
式4示出计测器坐标系cs2、假想空间坐标系cs3、旋转矩阵r1、平行移动矩阵t1的相互关系。
[0213][0214]
(x,y,z)表示计测器坐标系cs2的三维坐标例如坐标m。
[0215]
(xv,yv,zv)表示假想空间坐标系cs3的三维坐标例如坐标n。
[0216]
第2生成部346按照每个对象点k，将第2坐标对代入式4，由此，生成多个方程式。第2生成部346通过求解该多个方程式，确定旋转矩阵r1和平行移动矩阵t1。第2生成部346生成旋转矩阵r1和平行移动矩阵t1的群组作为第2关系信息j2。
[0217]
接着，在步骤s109中，位置确定部347通过使用第1关系信息j1和第2关系信息j2，根据投影仪100在投影仪坐标系cs1中的坐标，确定投影仪100在假想空间坐标系cs3中的位置即第1假想位置r1。
[0218]
首先，位置确定部347通过使用第1关系信息j1，根据投影仪100在投影仪坐标系cs1中的坐标，确定投影仪100在计测器坐标系cs2中的位置。
[0219]
例如，位置确定部347通过使用应用了第1关系信息j1的式2，将投影仪100在投影仪坐标系cs1中的二维坐标转换为投影仪100在计测器坐标系cs2中的三维坐标。位置确定部347确定投影仪100在计测器坐标系cs2中的三维坐标所表示的位置作为投影仪100在计测器坐标系cs2中的位置。
[0220]
接着，位置确定部347通过使用第2关系信息j2，根据表示投影仪100在计测器坐标系cs2中的位置的三维坐标，确定投影仪100在假想空间坐标系cs3中的位置。
[0221]
例如，位置确定部347通过使用应用了第2关系信息j2的式4，将投影仪100在计测器坐标系cs2中的三维坐标转换为投影仪100在假想空间坐标系cs3中的三维坐标。位置确定部347确定投影仪100在假想空间坐标系cs3中的三维坐标所表示的位置作为投影仪100在假想空间坐标系cs3中的位置即第1假想位置r1。
[0222]
接着，在步骤s110中，假想空间控制部348在第1假想位置r1配置假想摄像头400v。
[0223]
在步骤s110中，假想空间控制部348使假想摄像头400v具有的假想拍摄镜头410v的主点位于第1假想位置r1。
[0224]
接着，在步骤s111中，假想空间控制部348在假想对象物2v上显示没有变形的原始图像g2。假想空间控制部348以表示原始图像g2的假想的纸粘贴于假想对象物2v的方式，在假想对象物2v上显示原始图像g2。
[0225]
接着，在步骤s112中，图像生成部349生成假想摄像头400v对假想对象物2v上显示的原始图像g2进行拍摄而得到的假想拍摄图像作为变形图像g1。假想拍摄图像成为对原始图像g2进行第2变形的图像，该第2变形抵消投射到对象物2的原始图像g2中产生的第1变形。图像生成部349生成表示假想拍摄图像的图像数据作为表示变形图像g1的变形图像数据。
[0226]
接着，在步骤s113中，投射控制部342将表示变形图像g1的变形图像数据提供给投影仪100，由此，使投影仪100对对象物2投射变形图像g1。
[0227]
在向对象物2投射变形图像g1的状况下，在对象物2示出的变形图像g1产生第1变形。通过该第1变形抵消变形图像g1中的第2变形。因此，如图5所示，在对象物2以与原始图像g2相同的形式示出变形图像g1。
[0228]
a7：第1实施方式的总结
[0229]
第1生成部345根据在投影仪100向对象物2投射计测图像g3的状况下对象物2中计测点e所在的部分即对应点f的三维的坐标h和计测点e在计测图像g3中的二维的坐标i，生成第1关系信息j1。第1关系信息j1表示确定坐标h的计测器200使用的计测器坐标系cs2与确定坐标i和投影仪100的坐标的投影仪坐标系cs1的对应关系。位置确定部347通过使用第1关系信息j1，根据投影仪100的坐标确定投影仪100在计测器坐标系cs2中的位置。
[0230]
根据该方式，即使投影仪100和计测器200配置于任意的位置，也能够在计测器200使用的计测器坐标系cs2中确定投影仪100的位置。计测器坐标系cs2中的投影仪100的位置是生成变形图像g1所需的信息。因此，即使投影仪100和计测器200配置于任意位置，也能够辅助向对象物2投射变形图像g1等规定的图像。
[0231]
第1生成部345根据在投影仪100向对象物2投射计测图像g3的状况下对象物2中计测点e所在的部分即对应点f的三维的坐标h和计测点e在计测图像g3中的二维的坐标i，生成第1关系信息j1。第1关系信息j1表示确定坐标h的计测器200使用的计测器坐标系cs2与确定坐标i和投影仪100的坐标的投影仪坐标系cs1的对应关系。第2生成部346根据对象物2中的对象点k在计测器坐标系cs2中的坐标m和与对象点k对应的假想对象点q在三维的假想空间d1中的坐标n，生成第2关系信息j2。第2关系信息j2表示计测器坐标系cs2与确定假想空间d1中的坐标的假想空间坐标系cs3的对应关系。位置确定部347通过使用第1关系信息j1和第2关系信息j2，根据投影仪100的坐标确定投影仪100在假想空间坐标系cs3中的位置。
[0232]
根据该方式，即使投影仪100和计测器200配置于任意位置，也能够在假想空间坐标系cs3中确定投影仪100的位置。因此，能够根据假想空间坐标系cs3中的投影仪100的位置，生成变形图像g1等规定的图像。因此，即使投影仪100和计测器200配置于任意位置，也能够辅助向对象物2投射变形图像g1等规定的图像。
[0233]
取得部344从具有第1摄像头210和第2摄像头220的计测器200取得坐标h。计测器200根据第1摄像头210对对象物2中计测点e所在的对应点f进行拍摄而生成的第1拍摄图像和第2摄像头220对对象物2中计测点e所在的对应点f进行拍摄而生成的第2拍摄图像，确定坐标h。根据该方式，作为计测器200，能够使用立体摄像头。因此，容易取得坐标h。
[0234]
假想空间控制部348在假想空间d1中设定与对象物2的位置对应的第2假想位置r2。假想空间控制部348将与对象物2对应的假想对象物2v配置于假想空间d1中的第2假想位置r2。假想空间控制部348在假想对象物2v上显示原始图像g2。假想空间控制部348在假想空间d1中，在投影仪100在假想空间坐标系cs3中的位置配置假想摄像头400v。图像生成部349生成假想摄像头400v对假想对象物2v上显示的原始图像g2进行拍摄而得到的变形图像g1。根据该方式，在投影仪100向对象物2进行投射的情况下，能够生成以与原始图像g2相同的形式示出的变形图像g1。
[0235]
投射控制部342使投影仪100向对象物2投射变形图像g1。根据该方式，能够以与原始图像g2相同的形式向对象物2投射图像。
[0236]
计测图像g3是表示与正弦波对应的亮度的变化的图案图像。根据该方式，能够使用所谓的相移法中使用的相移图像作为计测图像g3。
[0237]
b：变形例
[0238]
下面，例示以上例示的实施方式的变形的方式。也可以在相互不矛盾的范围内适当地合并从以下例示中任意选择出的2个以上的方式。
[0239]
b1：第1变形例
[0240]
在第1实施方式中，第1生成部345通过代替式2而使用式5，也可以确定旋转矩阵r和平行移动矩阵t。
[0241]
v2
·
(t
×
rv1)＝0
…
式5
[0242]
式5被称为核线方程式。
[0243]
图18是用于说明式5所示的矢量v1和v2的图。在第1变形例中，投射镜头140的主点不是设定在投影仪坐标系cs1规定的二维平面130s，而是设定在从二维平面130s在沿着z1轴的方向上分开投射镜头140的焦距的位置c。在图18中，为了简化说明，对二维平面130s的位置和第1图像传感器212的位置进行调整。实际上，二维平面130s存在于相对于位置c点对称的位置。第1图像传感器212存在于相对于原点o2点对称的位置。
[0244]
核线平面k中包含的2个矢量的外积表示与核线平面k垂直的矢量。因此，核线平面k中包含的2个矢量的外积与核线平面k中包含的其他矢量的内积为“0”。式5是根据该关系确定的。
[0245]
第1生成部345根据多个第1坐标对，确定矢量v1和v2的多个对。将矢量v1和v2的“对”称为“矢量对”。第1生成部345使用多个矢量对，通过非线性最小二乘法等求解式5的核线方程式，由此，确定旋转矩阵r和平行移动矩阵t。
[0246]
式5能够约束由平行移动矩阵t规定的矢量的方向。但是，式5无法约束由平行移动矩阵t规定的矢量的大小。因此，为了规定由平行移动矩阵t规定的矢量的大小，第1生成部345使用式6。
[0247][0248]
在式6中，(x,y,z)是将第1坐标对中的投影仪坐标系cs1的二维坐标转换为三维坐标而生成的。第1生成部345通过使用投射镜头140的焦距作为式6中的(x,y,z)的z，将第1坐标对中的投影仪坐标系cs1的二维坐标转换为三维坐标。
[0249]
根据第1变形例，通过使用核线方程式，能够确定表示投影仪坐标系cs1与计测器坐标系cs2的关系的旋转矩阵r和平行移动矩阵t。
[0250]
b2：第2变形例
[0251]
在第1实施方式和第1变形例中，也可以使用变焦透镜作为投影仪100的投射镜头140。
[0252]
该情况下，根据变焦透镜中的变焦的状态，投射镜头140的内部参数变化。因此，在第1生成部345使用式2的情况下，在旋转矩阵r和平行移动矩阵t的基础上，还需要确定内部参数矩阵a。在使用式2计算旋转矩阵r、平行移动矩阵t和内部参数矩阵a时，需要最少10个
第1坐标对。因此，第1生成部345通过使用10个以上的第1坐标对，确定旋转矩阵r、平行移动矩阵t和内部参数矩阵a。
[0253]
由第1坐标对表示的坐标可能包含误差。因此，代入式2中的第1坐标对的数量越多，则旋转矩阵r、平行移动矩阵t和内部参数矩阵a的精度越高。由此，优选第1生成部345通过使用更多的第1坐标对来确定旋转矩阵r、平行移动矩阵t和内部参数矩阵a。第1生成部345生成旋转矩阵r、平行移动矩阵t、内部参数矩阵a和缩放因子s的群组作为第1关系信息j1。
[0254]
根据第2变形例，能够使用变焦透镜作为投射镜头140。
[0255]
b3：第3变形例
[0256]
在第1实施方式和第1变形例中，针对第1摄像头210的第1图像传感器212，也可以应用二维的坐标系即拍摄坐标系。
[0257]
该情况下，第1生成部345也可以生成表示投影仪坐标系cs1与拍摄坐标系的对应关系的第1信息。第2生成部346也可以生成表示拍摄坐标系与假想空间坐标系cs3的对应关系的第2信息。位置确定部347也可以通过使用第1信息和第2信息，根据投影仪100在投影仪坐标系cs1中的坐标，确定投影仪100在假想空间坐标系cs3中的位置即第1假想位置r1。
[0258]
例如，第1生成部345通过使用计测点e在投影仪坐标系cs1中的二维坐标和对应点f在拍摄坐标系中的二维坐标的多个对，生成表示投影仪坐标系cs1与拍摄坐标系的对应关系的第1信息。第1信息例如是基于投影仪坐标系cs1和拍摄坐标系的射影转换矩阵。
[0259]
第2生成部346通过使用对象点k在拍摄坐标系中的二维坐标和假想对象点q在假想空间坐标系cs3中的三维坐标的多个对，生成表示拍摄坐标系与假想空间坐标系cs3的对应关系的第2信息。第2生成部346通过使用对象点k在拍摄坐标系中的二维坐标和假想对象点q在假想空间坐标系cs3中的三维坐标的多个对，确定上述透视投影转换的式2中的未知数、具体而言为旋转矩阵r和平行移动矩阵t。该情况下，第2生成部346对内部参数矩阵a应用第1拍摄镜头211的内部参数。
[0260]
首先，位置确定部347通过使用第1信息，根据投影仪100在投影仪坐标系cs1中的坐标，确定投影仪100在拍摄坐标系中的位置。
[0261]
接着，位置确定部347通过使用第2信息，根据表示投影仪100在拍摄坐标系中的位置的二维坐标，确定投影仪100在假想空间坐标系cs3中的位置。
[0262]
第3变形例具有以下方式。
[0263]
第1生成部345根据在投影仪100向对象物2投射计测图像g3的状况下第1摄像头210拍摄对象物2而生成的拍摄图像中计测点e所在的部分即对应点f的二维坐标即拍摄坐标和计测点e在计测图像g3中的二维坐标即投射坐标，生成第1信息。第1信息表示确定拍摄坐标的摄像头坐标系与确定投射坐标和投影仪100的坐标的投影仪坐标系cs1的对应关系。第2生成部346根据对象物2中的对象点k在摄像头坐标系中的坐标和与对象点k对应的假想对象点q在三维的假想空间d1中的坐标，生成第2信息。第2信息表示摄像头坐标系与表示假想空间d1中的坐标的假想空间坐标系cs3的对应关系。位置确定部347通过使用第1信息和第2信息，根据投影仪100的坐标确定投影仪100在假想空间坐标系cs3中的位置。
[0264]
根据第3变形例，即使投影仪100和第1摄像头210配置于任意的位置，也能够在假想空间坐标系cs3中确定投影仪100的位置。因此，能够根据假想空间坐标系cs3中的投影仪
100的位置生成变形图像g1等规定的图像。因此，即使投影仪100和第1摄像头210配置于任意的位置，也能够辅助向对象物2投射变形图像g1等规定的图像。此外，能够省略第2摄像头220。此外，能够省略第1关系信息j1和第2关系信息j2的生成。
[0265]
b4：第4变形例
[0266]
在第1实施方式和第1变形例～第2变形例中，计测器坐标系cs2的原点o2设定在第1拍摄镜头211的主点的位置。因此，第1摄像头210在计测器坐标系cs2中的坐标已知。因此，位置确定部347通过使用第2关系信息j2，能够确定第1摄像头210在假想空间坐标系cs3中的坐标。
[0267]
第2生成部346也可以使用在从第1摄像头210在假想空间坐标系cs3中的坐标的位置通过具有第1摄像头210的内部参数的视体观察假想对象物2v的情况下得到的假想拍摄图像，对第2关系信息j2进行更新。
[0268]
例如，第2生成部346根据第1摄像头210对对象物2进行拍摄而得到的对象拍摄图像和从第1摄像头210在假想空间坐标系cs3中的坐标的位置通过具有第1摄像头210的内部参数的视体观察假想对象物2v的情况下得到的假想拍摄图像，对第2关系信息j2进行更新。
[0269]
举出一例，第2生成部346对第2关系信息j2进行优化，以使对象拍摄图像中示出的第1对象点k1的位置与假想拍摄图像中示出的第1假想对象点q1的位置的误差的平方和最小化。用于确定误差的点不限于第1对象点k1，例如也可以是第2对象点k2，此外，还可以是对象物2中位于未从投影仪100投射图像的区域的点。另外，在第4变形例中，前提在于第1摄像头210的内部参数已知。在对第3变形例应用第4变形例的方法的情况下，第2生成部346代替第2关系信息j2，如上述那样对第2信息进行优化。
[0270]
根据第4变形例，能够提高第2关系信息j2的精度和第2信息的精度。
[0271]
b5：第5变形例
[0272]
在第4变形例中，假想拍摄图像表示假想对象物2v中包含假想摄像头400v的拍摄范围的区域的图像。这里，假想摄像头400v具有的假想拍摄镜头410v的内部参数与投影仪100的投射镜头140的内部参数相等。因此，假想摄像头400v的拍摄范围跟在具有与投影仪100相同的内部参数的假想投影仪配置于第1假想位置r1时投射图像的投射范围相等。假想对象物2v中成为假想摄像头400v的拍摄范围的区域中包含的多个点在假想空间坐标系cs中的三维坐标已知。第2生成部346也可以使用该已知的三维坐标对第2关系信息j2进行更新。
[0273]
设对象物2具有与假想对象物2v中假想摄像头400v的拍摄范围中包含的多个点一对一对应的多个样本点。该情况下，第2生成部346使计测器200计测多个样本点在计测器坐标系cs2中的三维坐标。接着，第2生成部346从计测器200取得多个样本点在计测器坐标系cs2中的三维坐标。接着，第2生成部346按照每个样本点对第2关系信息j2进行优化，以使样本点在计测器坐标系cs2中的三维坐标和与该样本点对应的点在假想空间坐标系cs3中的三维坐标之差的平方和最小化。另外，该方法成为使用三维坐标的点组的外形形状的匹配，因此，在假想对象物2v中成为假想摄像头400v的拍摄范围的区域不是完全的平面的情况下使用。
[0274]
根据第5变形例，能够提高第2关系信息j2的精度。
[0275]
b6：第6变形例
[0276]
在第1实施方式和第1变形例～第5变形例中，对象点k的位置也可以不是物理标记的位置，而是对象物2具有的特征点的位置。特征点例如是螺栓孔或突起。该情况下，假想对象点q根据对象物2具有的特征点的位置来设定。
[0277]
根据第6变形例，能够使用对象物2具有的特征点作为对象点k。
[0278]
b7：第7变形例
[0279]
在第1实施方式和第1变形例～第6变形例中，计测图像g3不限于相移图像，能够适当变更。计测图像g3例如也可以是在计测点e的位置示出标记的图像。
[0280]
图19是示出计测图像g3的另一例的图。图19示出在计测点e的位置示出点g35a的图像g35。点g35a的中心位置能够通过重心检测等方法容易地计算。因此，优选点g35a的中心位于各计测点e的位置。另外，标记不限于点g35a，例如也可以是多边形的标记或具有2条线交叉的形状的标记。
[0281]
根据第7变形例，与使用相移图像的结构相比，能够减少计测图像g3的数量。
[0282]
b8：第8变形例
[0283]
在第1实施方式和第1变形例～第7变形例中，信息处理装置300也可以组入投影仪100或计测器200中。
[0284]
b9：第9变形例
[0285]
在第1实施方式和第1变形例～第8变形例中，作为光调制装置的一例，使用液晶光阀130，但光调制装置不限于液晶光阀，能够适当变更。例如，光调制装置也可以是使用1枚数字镜器件的方式等的结构。此外，除了液晶面板和dmd以外，能够对光源120发出的光进行调制的结构也能够用作光调制装置。