基于VR镜头的实景切换方法及装置与流程

本申请涉及虚拟现实技术领域，尤其涉及一种基于vr镜头的实景切换方法及装置。

背景技术：

vr(virtualreality，虚拟现实)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，并通过多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该模拟环境中。

在用户使用vr眼镜的过程中，如果用户需要观测现实环境，比如要拿桌上的水杯喝水，就需要摘下vr眼镜去取，操作比较麻烦。

技术实现要素：

本申请实施例提供一种基于vr镜头的实景切换方法及装置，使得用户在佩戴vr眼镜时，便捷地切换到实景环境。

本申请实施例提供一种基于vr镜头的实景切换方法，包括：

响应于用户切换实景的操作，捕获vr镜头所拍摄的图像；

基于所述vr镜头处与人眼处的成像映射关系，将所述vr镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像。

进一步可选地，所述方法还包括：响应于所述用户切换vr场景的操作，向所述用户展示相应的vr场景。

进一步可选地，所述投影映射关系包括：所述vr镜头在所述vr镜头处所成像的第一像平面与所述vr镜头在所述人眼处所成像的第二像平面的平面单应性矩阵；基于所述vr镜头处与人眼处的成像映射关系，将所述vr镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像，包括：根据所述平面单应性矩阵，对所述图像中每个像素点进行投影变换，得到所述与所述用户的裸眼观测效果相同的图像。

进一步可选地，所述方法还包括：利用所述vr镜头在所述vr镜头处拍摄实景中的参考物，以获得第一参考图像；利用所述vr镜头在所述人眼处拍摄所述参考物，以获得第二参考图像；分别确定所述参考物所在平面与所述第一参考图像所在的第一像平面和所述第二参考图像所在的第二像平面之间的投影映射关系；根据所述参考物所在平面与所述第一像平面和所述第二像平面之间的投影映射关系，确定所述第一像平面与所述第二像平面之间的投影映射关系，作为所述vr镜头处与人眼处的成像映射关系。

进一步可选地，确定所述参考物所在平面与所述第一像平面的投影映射关系，包括：根据所述第一参考图像的外部参数以及所述vr镜头的内部参数，基于相机模型，确定所述参考物所在平面与所述第一像平面的投影映射关系；确定所述参考物所在平面与所述第二像平面的平面单应性矩阵，包括:根据所述第二参考图像的外部参数以及所述vr镜头的内部参数，基于所述相机模型，确定所述参考物所在平面与所述第二像平面的投影映射关系。

本申请实施例还提供一种基于vr镜头的实景切换装置，包括：

拍摄模块，用于响应于用户切换实景的操作，捕获vr镜头所拍摄的图像；

转换模块，用于基于所述vr镜头处与人眼处的成像映射关系，将所述vr镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像。

进一步可选地，所述装置还包括vr展示模块，所述vr展示模块用于：

响应于所述用户切换vr场景的操作，向所述用户展示相应的vr场景。

进一步可选地，所述投影映射关系包括：所述vr镜头在所述vr镜头处所成像的第一像平面与所述vr镜头在所述人眼处所成像的第二像平面的平面单应性矩阵；基于所述vr镜头处与人眼处的成像映射关系，将所述vr镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像，包括：根据所述平面单应性矩阵，对所述图像中每个像素点进行投影变换，得到所述与所述用户的裸眼观测效果相同的图像。

进一步可选地，所述装置还包括映射关系建立模块，所述映射关系建立模块用于：利用所述vr镜头在所述vr镜头处拍摄实景中的参考物，以获得第一参考图像；利用所述vr镜头在所述人眼处拍摄所述参考物，以获得第二参考图像；分别确定所述参考物所在平面与所述第一参考图像所在的第一像平面和所述第二参考图像所在的第二像平面之间的投影映射关系；根据所述参考物所在平面与所述第一像平面和所述第二像平面之间的投影映射关系，确定所述第一像平面与所述第二像平面之间的投影映射关系，作为所述vr镜头处与人眼处的成像映射关系。

进一步可选地，所述映射关系建立模块用于：根据所述第一参考图像的外部参数以及所述vr镜头的内部参数，基于相机模型，确定所述参考物所在平面与所述第一像平面的投影映射关系；所述映射关系建立模块用于:根据所述第二参考图像的外部参数以及所述vr镜头的内部参数，基于所述相机模型，确定所述参考物所在平面与所述第二像平面的投影映射关系。

本实施例中，响应于用户切换实景的操作，捕获vr镜头所拍摄的图像，并基于vr镜头处与人眼处的成像映射关系，将vr镜头所拍摄的图像转换为与用户的裸眼观测效果相同的图像。从而，用户可以在佩戴vr眼镜时，便捷地进行虚实场景的切换；与此同时，切换至实景之后，用户通过vr眼镜观测到的图像与裸眼观测效果相同，使得vr眼镜更加人性化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一基于vr镜头的实景切换方法的流程示意图；

图2是本申请实施例提供的另一基于vr镜头的实景切换方法的流程示意图；

图3是本申请实施例提供的又一基于vr镜头的实景切换方法的流程示意图；

图4a是本申请实施例提供的一基于vr镜头的实景切换装置的结构示意图；

图4b是本申请实施例提供的另一基于vr镜头的实景切换装置的结构示意图；

图4c是本申请实施例提供的又一基于vr镜头的实景切换装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

用户佩戴vr眼镜时，由于人眼与vr镜头之间存在一定的距离，导致人眼通过vr眼镜看到的实际环境与裸眼观测到的实际环境存在一定的误差。例如，用户在使用vr眼镜的过程中，有拿桌上的水杯喝水的需求。若用户不摘vr眼镜取水杯，该vr眼镜产生的误差将导致用户对水杯的位置做出错误的判断。针对上述缺陷，本申请实施例提出了一种解决方案，其核心在于，在用户有切换实景的需求时，捕捉vr镜头所拍摄的实景的图像，并根据预先建立的映射关系对该图像进行映射转换，将该图像转换为与裸眼观测效果相同的图像，进而用户可以在佩戴vr眼镜时，便捷地进行虚实场景的切换。

图1是本申请实施例提供的一基于vr镜头的实景切换方法的流程示意图，结合图1，该方法包括如下的步骤：

步骤101、响应于用户切换实景的操作，捕获vr镜头所拍摄的图像。

步骤102、基于vr镜头处与人眼处的成像映射关系，将vr镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像。

针对步骤101，vr镜头所拍摄的图像，为vr镜头拍摄的实景的图像。

实景，是相对于虚拟现实(virtualreality，vr)场景而言的，可以是用户当前所处实际环境中包括的任何景物。

针对步骤102，vr镜头处，可以是vr镜头正常佩戴时所处的位置，例如，vr镜头正常佩戴在距离人眼10cm左右的位置。人眼处，可以将vr镜头放置在人眼所处的位置，即vr镜头放置在距离人眼0cm处以实现与裸眼观测效果相同的拍摄位置。

vr镜头处与人眼处的成像映射关系是预先建立的两个不同成像位置对应的成像平面的映射关系。本步骤的目标在于，将vr镜头在vr镜头处拍摄的图像转换成与vr镜头在人眼处拍摄的图像效果相同的图像，该图像能够满足人眼观测需求。

裸眼观测效果，即用户直接用肉眼观看实景产生的直观视觉感受。例如，实景的空间大小，实景中物体的大小以及位置等等视觉感受。与用户裸眼观测效果相同的图像，可以做如下理解：在用户通过该图像观测实景时，该图像为用户带来的视觉感受与用户直接用肉眼观看实景的视觉感受相同或者无限接近。

本实施例中，响应于用户切换实景的操作，捕获vr镜头所拍摄的图像，并基于vr镜头处与人眼处的成像映射关系，将vr镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像。从而，用户可以在佩戴vr眼镜时，便捷地进行虚实场景的切换；与此同时，切换至实景之后，用户通过vr眼镜观测到的图像与裸眼观测效果相同，使得vr眼镜更加人性化。

图2是本申请实施例提供的另一基于vr镜头的实景切换方法的流程示意图，结合图2，该方法包括如下的步骤：

步骤201、响应于用户切换实景的操作，捕获vr镜头所拍摄的图像。

步骤202、基于vr镜头处与人眼处的成像映射关系，对vr镜头所拍摄的图像中每个像素点进行投影变换，得到与用户裸眼观测效果相同的图像。

步骤203、响应于用户切换vr场景的操作，向用户展示相应的vr场景。

针对步骤201，用户切换实景，可选的，可以通过vr眼镜上的一物理按钮实现。例如，在vr眼镜上提供一切换按钮，触发该按钮，vr展示暂停，用户可通过vr镜头观测实景。

针对步骤202，vr镜头处与人眼处的成像映射关系，可以是vr镜头在vr镜头处所成像的第一像平面与vr镜头在人眼处所成像的第二像平面的平面单应性矩阵，该单应性矩阵表示第一像平面到第二像平面的投影映射关系

在获取vr镜头所拍摄的图像之后，基于第一像平面与第二像平面的平面单应性矩阵，对vr镜头所拍摄的图像中每个像素点进行投影变换，得到与用户裸眼观测效果相同的图像。

针对步骤203，用户观测实景之后，有继续观看vr场景的需求。响应于用户切换vr场景的操作，向用户展示相应的vr场景。用户切换vr场景的操作，可选的，可以通过vr眼镜上的一物理按钮实现。该切换vr场景的按钮和切换实景的按钮可以为一个按钮，也可以是不同的按钮，本申请实施例对此不做限制。

本实施例中，响应于用户切换实景的操作，捕获vr镜头所拍摄的图像，并基于vr镜头处与人眼处对应的成像平面的平面单应性矩阵，将vr镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像。从而，用户可以在佩戴vr眼镜时，便捷地进行虚实场景的切换；与此同时，用户观测实景之后，还可切换至vr场景，操作路径简单，进一步提升用户体验。

图3是本申请实施例提供的又一基于vr镜头的实景切换方法的流程示意图，结合图3，该方法包括：

步骤301、利用vr镜头在vr镜头处拍摄实景中的参考物，以获得第一参考图像。

步骤302、利用vr镜头在人眼处拍摄参考物，以获得第二参考图像。

步骤303、分别确定参考物所在平面与第一参考图像所在的第一像平面和第二参考图像所在的第二像平面之间的投影映射关系。

步骤304、根据参考物所在平面与第一像平面和第二像平面之间的投影映射关系，确定第一像平面与第二像平面之间的投影映射关系。

步骤305、以第一像平面以及第二像平面的投影映射关系，作为vr镜头处与人眼处的成像映射关系。

步骤306、响应于用户切换实景的操作，捕获vr镜头所拍摄的图像。

步骤307、根据第一像平面与第二像平面的投影映射关系，对vr镜头所拍摄的图像中每个像素点进行投影变换，得到与用户的裸眼观测效果相同的图像。

步骤308、响应于用户切换vr场景的操作，向用户展示相应的vr场景。

针对步骤301，利用vr镜头在vr镜头处拍摄实景中的参考物，可以是在测试人员正常佩戴vr眼镜时进行拍摄。标记实景中的参考物的一物点坐标为m，对应的齐次坐标定义为标记第一参考图像上对应物点的像点为m1，对应的齐次坐标定义为

针对步骤302，利用vr镜头在人眼处拍摄实景中的参考物，可以预先标定测试人员的眼睛所在的位置，待测试人员移开后，将vr眼镜放置在标定的位置处进行拍摄。需要说明的是，步骤301以及步骤302中，测试人员正常佩戴vr眼镜时以及对测试人员的眼睛所在的位置进行标定时，测试人员应当保持位置不变，以保证拍摄得到的第一参考图像以及第二参考图像的可靠性。本步骤中，标记拍摄得到的第二参考图像上对应物点的像点为m2，相关的齐次坐标定义为

针对步骤303，可选的，确定参考物所在平面与第一像平面的投影映射关系，可以根据第一参考图像的外部参数以及vr镜头的内部参数，基于相机模型来确定。

同理，确定参考物所在平面与第二像平面的平面单应性矩阵，可以根据第二参考图像的外部参数以及vr镜头的内部参数，基于所述相机模型来确定。

第一参考图像的外部参数，包括第一参考图像对应的旋转矩阵以及平移矩阵。第二参考图像的外部参数，包括第二参考图像对应的旋转矩阵以及平移矩阵。vr镜头的内部参数包括vr镜头的焦距f、单位像素的尺寸大小以及畸变参数。vr镜头的内部参数可通过现有的标定方法进行标定，此处不赘述。本步骤中标记vr镜头的内部参数对应的矩阵为k。

以下部分以参考物所在平面与第一参考图像所在的第一像平面为例，对投影映射关系的建立过程进行详细阐述。

因vr镜头成像是一种透视投影，3d实景中的一条射线会投影成图像上的一个点，因此可将3d的实景视为一个平面。从指定角度拍摄实景中的一平面时，根据相机原理，存在一个矩阵h1使得下式成立：

其中，是第一参考图像上对应实景中物点的像点。s1是一个标量，用于处理齐次坐标,表示任意尺度的比例。

将实景中的物点视为在一个平面上，即z＝0平面上。得到第一参考图像的外部参数以及vr镜头的内部参数后，得到：

其中，k是vr镜头的内部参数对应的矩阵，r是第一参考图像对应的旋转矩阵，t是第一参考图像对应的平移矩阵。

根据公式1以及公式2，得h1＝k[rt]，该矩阵h1即为参考物所在平面与第一像平面的平面单应性矩阵。同理，可得参考物所在平面与第二参考图像所在的第二像平面的平面单应性矩阵h2。

针对步骤304，在本步骤中，假设通过对第一参考图像施加某种变化，使得第一参考图像和第二参考图像相同。于是可得如下的公式：

其中，是第二参考图像上对应实景中物点的像点。s2是一个标量，用于处理齐次坐标,表示任意尺度的比例，s1和s2可以相同。根据公式3-1以及公式3-2，得到第一参考图像和第二参考图像之间的单应性关系如下：

结合公式3-2，可得：

对公式4-2变形后，得：

公式4-2以及公式4-3即为第一像平面以及第二像平面的投影映射关系。

针对步骤305，以第一像平面以及第二像平面的投影映射关系，作为vr镜头处与人眼处的成像映射关系，如公式4-2以及公式4-3所示。即vr镜头在vr镜头处所拍摄的图像上的像点坐标对应的齐次坐标，映射得到的与裸眼观测效果相同或无限接近。

针对步骤306，响应于用户切换实景的操作，捕获vr镜头拍摄的图像。

针对步骤307，根据步骤304中确定的对vr镜头拍摄的图像中的每个像素点进行投影映射，得到与用户裸眼观测效果相同的图像

针对步骤308、响应于用户切换vr场景的操作，向用户展示相应的vr场景。

本实施例中，通过预先根据vr眼镜正常佩戴时所拍摄的参考图像以及vr眼镜在人眼处所拍摄的参考图像，建立vr眼镜在vr眼镜与人眼处成像的映射关系，奠定了后续的切换实景的基础，以使得用户在佩戴vr眼镜的情况下观测实际环境时，实现与裸眼相同的视觉效果，进一步提升用户体验。

图4a是本申请实施例提供的一种基于vr镜头的实景切换装置的结构示意图，如图4a所示，该装置包括：

拍摄模块401，用于响应于用户切换实景的操作，捕获vr镜头所拍摄的图像；

转换模块402，用于基于所述vr镜头处与人眼处的成像映射关系，将所述vr镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像。

进一步可选地，如图4b所示，所述装置还包括vr展示模块403，所述vr展示模块用于：响应于所述用户切换vr场景的操作，向所述用户展示相应的vr场景。

进一步可选地，所述投影映射关系包括：所述vr镜头在所述vr镜头处所成像的第一像平面与所述vr镜头在所述人眼处所成像的第二像平面的平面单应性矩阵；基于所述vr镜头处与人眼处的成像映射关系，将所述vr镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像，包括：根据所述平面单应性矩阵，对所述图像中每个像素点进行投影变换，得到所述与所述用户的裸眼观测效果相同的图像。

进一步可选地，如图4c所示，所述装置还包括映射关系建立模块404，所述映射关系建立模块404用于：利用所述vr镜头在所述vr镜头处拍摄实景中的参考物，以获得第一参考图像；利用所述vr镜头在所述人眼处拍摄所述参考物，以获得第二参考图像；分别确定所述参考物所在平面与所述第一像平面和所述第二像平面的投影映射关系；根据所述参考物所在平面与所述第一像平面和所述第二像平面的投影映射关系，确定所述第一像平面以及所述第二像平面的投影映射关系；以所述第一像平面以及所述第二像平面的投影映射关系，作为所述vr镜头处与人眼处的成像映射关系。。

进一步可选地，所述映射关系建立模块405用于：根据所述第一参考图像的外部参数、所述vr镜头的内部参数，基于相机模型，确定所述参考物所在平面与所述第一像平面的投影映射关系；所述映射关系建立模块405用于:根据所述第二参考图像的外部参数、所述vr镜头的内部参数，基于所述相机模型，确定所述参考物所在平面与所述第二像平面的投影映射关系。

本实施例中，响应于用户切换实景的操作，捕获vr镜头所拍摄的图像，并基于vr镜头处与人眼处的成像映射关系，将vr镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像。从而，用户可以在佩戴vr眼镜时，便捷地进行虚实场景的切换；与此同时，切换至实景之后，用户通过vr眼镜观测到的图像与裸眼观测效果相同，使得vr眼镜更加人性化。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。