一种获取全景图像的方法及装置与流程

技术特征：

1.一种获取全景图像的方法，其特征在于，该方法包括：

利用双鱼眼镜头拍摄得到两幅鱼眼图像，其中，所述双鱼眼镜头为背对设置的两个镜头，且两个镜头的视场角之和大于等于360度；

将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中；

从映射后的每个鱼眼图像中提取特征点，并将提取到的特征点进行匹配得到特征点匹配对；

利用所述特征点匹配对确定映射后的两幅鱼眼图像之间的变换矩阵；

利用所述变换矩阵将映射后的两幅鱼眼图像转换到同一个球面模型中；

将同一个球面模型中的两幅鱼眼图像进行拼接，获取拼接后的球面全景图像。

2.如权利要求1所述的方法，其特征在于，

所述双鱼眼镜头包括第一鱼眼镜头和第二鱼眼镜头；

所述两幅鱼眼图像包括所述第一鱼眼镜头拍摄得到的第一鱼眼图像，所述第二鱼眼镜头拍摄得到的第二鱼眼图像；

将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中之前，还包括：

利用种子生长法对所述两幅鱼眼图像进行扫描，确定所述第一鱼眼图像和所述第二鱼眼图像的有效圆形区域；

所述将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中，包括：

根据平面坐标系与球面坐标系之间的映射关系，将所述第一鱼眼图像的有效圆形区域从平面坐标系映射到第一球面模型中，并所述第二鱼眼图像的有效圆形区域从平面坐标系映射到第二球面模型中。

3.如权利要求1所述的方法，其特征在于，所述从映射后的每个鱼眼图像中提取特征点，包括：

构建Hessian矩阵，基于Hessian矩阵行列式的判别式det(H)取值的符号确定出H(f(x,y))处的极值点和极值点的坐标，其中，(x,y)为鱼眼图像的像素点的坐标；

所述将提取到的特征点进行匹配得到特征点匹配对，包括：

利用最近邻匹配法判定当一对极值点的欧氏距离小于设定阈值时，将该对极值点作为一组特征点匹配对。

4.如权利要求3所述的方法，其特征在于，所述利用所述特征点匹配对确定映射后的两幅鱼眼图像之间的变换矩阵，包括：

根据确定出来的多个特征点匹配对的坐标，按照公式一进行求解，得到所述两幅鱼眼图像之间的变换矩阵；

所述公式一为：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right]=\left[\begin{array}{ccc}n0& n1& n2\\ n3& n4& n5\\ n6& n7& n8\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$

其中，(x,y,z)、(x’,y’,z’)为每组特征点匹配对的球面坐标，为待求解的变换矩阵。

5.如权利要求1所述的方法，其特征在于，所述将同一个球面模型中的两幅鱼眼图像进行拼接，获取拼接后的球面全景图像，包括：

用K-D树搜索同一个球面模型中的两幅鱼眼图像的最近邻和次近邻距离，并将搜素得到的距离作为权重，采用加权平均的方法对所述两幅图像的特征点进行配准，从而实现对两幅鱼眼图像进行拼接，得到拼接后的球面全景图像。

6.如权利要求1所述的方法，其特征在于，在所述获取拼接后的球面全景图像后，所述方法还包括：

根据获取的球面全景图像，进行虚拟现实VR显示。

7.一种获取全景图像的装置，其特征在于，该装置包括：

拍摄单元，用于利用双鱼眼镜头拍摄得到两幅鱼眼图像，其中，所述双鱼眼镜头为背对设置的两个镜头，且两个镜头的视场角之和大于等于360度；

映射单元，用于将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中；

提取单元，用于从映射后的每个鱼眼图像中提取特征点；

匹配单元，用于并将提取到的特征点进行匹配得到特征点匹配对；

运算单元，用于利用所述特征点匹配对确定映射后的两幅鱼眼图像之间的变换矩阵；

转换单元，用于利用所述变换矩阵将映射后的两幅鱼眼图像转换到同一个球面模型中；

拼接单元，用于将同一个球面模型中的两幅鱼眼图像进行拼接，获取拼接后的球面全景图像。

8.如权利要求7所述的装置，其特征在于，所述双鱼眼镜头包括第一鱼眼镜头和第二鱼眼镜头；

所述两幅鱼眼图像包括所述第一鱼眼镜头拍摄得到的第一鱼眼图像，所述第二鱼眼镜头拍摄得到的第二鱼眼图像；

所述装置还包括：

扫描单元，用于利用种子生长法对所述两幅鱼眼图像进行扫描，确定所述第一鱼眼图像和所述第二鱼眼图像的有效圆形区域；

所述映射单元具体用于：根据平面坐标系与球面坐标系之间的映射关系，将所述第一鱼眼图像的有效圆形区域从平面坐标系映射到第一球面模型中，并所述第二鱼眼图像的有效圆形区域从平面坐标系映射到第二球面模型中。

9.如权利要求7所述的装置，其特征在于，所述提取单元具体用于：

构建Hessian矩阵，基于Hessian矩阵行列式的判别式det(H)取值的符号确定出H(f(x,y))处的极值点和极值点的坐标，其中，(x,y)为鱼眼图像的像素点的坐标；

所述匹配单元具体用于：利用最近邻匹配法判定当一对极值点的欧氏距离小于设定阈值时，将该对极值点作为一组特征点匹配对。

10.如权利要求9所述的装置，其特征在于，所述运算单元具体用于：

根据确定出来的多个特征点匹配对的坐标，按照公式一进行求解，得到所述两幅鱼眼图像之间的变换矩阵；

所述公式一为：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right]=\left[\begin{array}{ccc}n0& n1& n2\\ n3& n4& n5\\ n6& n7& n8\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$

其中，(x,y,z)、(x’,y’,z’)为每组特征点匹配对的球面坐标，为待求解的变换矩阵。

11.如权利要求7所述的装置，其特征在于，所述拼接单元具体用于：

用K-D树搜索同一个球面模型中的两幅鱼眼图像的最近邻和次近邻距离，并将搜素得到的距离作为权重，采用加权平均的方法对所述两幅图像的特征点进行配准，从而实现对两幅鱼眼图像进行拼接，得到拼接后的球面全景图像。

12.如权利要求7所述的装置，其特征在于，还包括：

显示单元，用于根据获取的球面全景图像，进行虚拟现实VR显示。

13.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行1至6任一项所述的方法。

14.一种非暂态计算机存储介质，其特征在于，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至6任一项所述的方法。

15.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括所述计算机可执行指令，当所述计算机可执行指令被计算机执行时，使所述计算机执行权利要求1至6任一项所述的方法。