线结构光3D相机和线阵相机联合标定的装置、系统及方法与流程

线结构光3d相机和线阵相机联合标定的装置、系统及方法
技术领域：
1.本发明属于机器视觉技术领域，特别涉及线结构光3d相机和线阵相机联合标定的装置、系统及方法。


背景技术：

2.由于人工智能和高精度视觉测量技术结合的应用越来越多，因此2d图像和3d点云的融合算法变得越来越重要。2d相机可获得高分辨率、高质量的二维图像，得到目标表面亮度、色彩、纹理等二维细节信息；3d相机可获得目标表面的高密度、离散化的空间三维信息；这两类相机具有很强的互补性，通过数据融合可以获取更加丰富的目标观测数据，从而提升视觉检测技术的可靠性。而影响2d图像和3d点云融合精度的最关键因素是两者外参数标定的准确性。线阵相机和线结构光3d相机的成像原理相似，两者均需要相机和被测物之间产生相对运动。在实际使用中相机会存在一定的安装误差，故两者都会面临一个相同的问题，即错切形变；当运动方向与线阵相机线平面不垂直时，采集的图像会产生二维错切形变；当运动方向与线结构光光平面不垂直时，采集到的轮廓会产生三维错切形变；针对线结构光3d相机和线阵相机联合使用的场合，错切形变会影响两者的外参标定精度。现有的结构光3d相机和线阵相机的联合标定方法及装置还存在以下一些缺陷：要求线阵相机投影平面与激光光平面共面；无法校正因相对运动方向与激光面不垂直导致的3d点云错切形变；只能使用线激光作为线阵相机的光源，线阵相机的光源不能灵活选择；对标定装置的加工及标定时标定装置的摆放姿态有较苛刻的要求，因此有必要对现有的标定方法及装置进行优化。
3.公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。


技术实现要素：

4.本发明的目的在于提供线结构光3d相机和线阵相机联合标定的装置、系统及方法，从而克服上述现有技术中的缺陷。
5.为了实现上述目的，本发明提供了线结构光3d相机和线阵相机联合标定的装置，包括一个正方形平面，所述正方形平面的四边分别连接一个侧平面，正方形平面和侧平面之间构成夹角，夹角的范围为15-45
°
，所述正方形平面上绘有12
×
12个角点的棋盘格，棋盘格与正方形平面同质心，所述棋盘格的外围还设有一个黑色矩形框，所述矩形框的其中一个角处使用圆弧内角。
6.线结构光3d相机和线阵相机联合标定的系统，包括线阵相机、线激光器、3d相机和条形光源，所述线阵相机和条形光源组成线阵相机系统，线激光器和3d相机组成3d相机系统。
7.线结构光3d相机和线阵相机联合标定的方法，包括以下步骤：
8.步骤一：线结构光3d相机错切标定；
9.步骤二：线阵相机标定；
10.步骤三：线结构光3d相机坐标系与线阵相机坐标系外参数标定；
11.步骤四：2d图像和3d点云融合。
12.进一步的，作为优选，所述步骤一线结构光3d相机标定时包括以下步骤：
13.s1：线结构光3d相机扫描拍摄标定装置，当标定装置运动方向与扫描激光面不垂直时3d轮廓拼成的点云将产生错切扭曲，根据错切扭曲的因素α、β构建误差矫正模型：
[0014][0015]
其中，[x y z]
t
为扭曲的点坐标，[x
′ꢀy′ꢀz′
]
t
为校正后的三维点坐标，为错切校正矩阵记作a，α、β分别为误差校正模型参数，同时α是线结构光3d相机与世界坐标系的x轴之间的倾角，β是线结构光3d相机与世界坐标系的z轴之间的倾角；
[0016]
s2：通过标定装置上角点间的空间向量约束关系求解误差矫正模型参数。
[0017]
进一步的，作为优选，所述步骤二线阵相机标定时包括以下步骤
[0018]
ss1：线阵相机扫描拍摄标定装置获得2d图像；
[0019]
ss2：使用线阵相机成像模型求解得到线阵相机的内参数(f,k,s
x
,sy,c
x
,cy)及运动速度向量(v
x
,vy,vz)。
[0020]
进一步的，作为优选，所述ss1采用动态扫描成像的方法。
[0021]
进一步的，作为优选，所述步骤三线结构光3d相机坐标系与线阵相机坐标系外参数标定时包括以下步骤：
[0022]
sss1：从3d点云中提取4个角点坐标pm，角点提取可使用3个平面方程的交点计算得到，使用步骤一标定得到的3d错切矩阵a进行错切校正，计算公式如下：
[0023]
pm′
＝a*pm[0024]
再使用4个对应角点计算标定装置坐标系到线结构光3d相机坐标系的位置关系(r
bm
,t
bm
)，计算方法可用最小二乘法、ransac或奇异值分解等；
[0025]
sss2：使用步骤二标定得到的线阵相机内参数计算标定装置坐标系到线阵相机坐标系的位置关系(r
bn
,t
bn
)；
[0026]
sss3：计算线结构光3d相机坐标系到线阵相机坐标系的位置关系(r
mn
,t
mn
)，计算公式如下：
[0027][0028]
进一步的，作为优选，所述步骤四2d图像和3d点云融合时包括以下步骤：
[0029]
ssss1：将采集到的3d点云p
t
进行3d错切校正，即p
t
′
＝a*p
t
[0030]
ssss2：使用sss3得到的位置关系r
mn
,t
mn
，将无错切扭曲的点云变换到线阵相机坐标系，即有：
[0031]
pn＝r
mn
*p
t
′
+t
mn
[0032]
ssss3：使用步骤二得到的线阵相机内参将pn重投影到线阵相机图像平面，得到重
投影后的图像坐标rows和cols，线结构光3d点即可通过重投影后的rows和cols从线阵相机图像中取得2d信息，可以是灰度值或rgb值，最终可使用vtk或opengl显示工具显示融合2d信息后的三维点云。
[0033]
与现有技术相比，本发明的一个方面具有如下有益效果：
[0034]
(1)本发明所设计的标定装置上绘制有2d相机标定用的圆阵列和3d相机标定用到的空间角点，可同时用于线结构光3d相机错切校正和线阵相机2d错切校正，标定装置设计简单、加工难度低、成本低；
[0035]
(2)本发明所设计的标定系统线阵相机投影平面与激光光平面无需共面，线阵相机所用的光源不局限于线激光，光源只要不遮挡线结构光3d相机的光路，可以任意选择；
[0036]
(3)本发明的方法具有较高的鲁棒性，实际应用中可允许线结构光3d相机和线阵相机有一定的安装误差，通过计算可得到3d错切参数并应用于错切校正；
[0037]
(4)本发明方法可标定线结构光3d相机和线阵相机之间的外参数，并用于2d图像和3d点云的融合，最终得到带有纹理、色彩等2d特征的3d点云，有利于线阵相机和3d相机的联合应用；
[0038]
(5)本发明具有一定的扩展性，可扩展于其它类型的3d相机和2d相机的联合标定，如常用的线结构光3d相机、面结构光3d相机、tof 3d相机、双目立体3d相机和线阵相机、面阵相机的任意组合。
附图说明：
[0039]
图1为本发明的线结构光3d相机和线阵相机联合标定的装置的示意图；
[0040]
图2为本发明的线结构光3d相机和线阵相机联合标定的系统的示意图；
[0041]
图3为本发明的相机标定的流程示意图；
[0042]
图4为本发明的2d图像和3d点云融合的流程示意图。
具体实施方式：
[0043]
下面对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
[0044]
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
[0045]
实施例：
[0046]
如图1所示，线结构光3d相机和线阵相机联合标定的装置，包括一个正方形平面，所述正方形平面的四边分别连接一个侧平面，正方形平面和侧平面之间构成夹角，夹角的范围为15-45
°
，所述正方形平面上绘有12
×
12个角点的棋盘格，棋盘格与正方形平面同质心，所述棋盘格的外围还设有一个黑色矩形框，所述矩形框的其中一个角处使用圆弧内角。
[0047]
如图2所示，线结构光3d相机和线阵相机联合标定的系统，包括线阵相机、线激光器、3d相机和条形光源，所述线阵相机和条形光源组成线阵相机系统，线激光器和3d相机组成3d相机系统；被测物与相机之间需要相对运动，并使用运动编码器同时触发线结构光3d
相机和线阵相机拍照。
[0048]
线结构光3d相机和线阵相机联合标定的方法，包括以下步骤：
[0049]
步骤一：线结构光3d相机错切标定；具体的，标定时按照以下步骤：
[0050]
s1：线结构光3d相机扫描拍摄权利要求1的标定装置，当标定装置运动方向与扫描激光面不垂直时3d轮廓拼成的点云将产生错切扭曲，根据错切扭曲的因素α、β构建误差矫正模型：
[0051][0052]
其中，[x y z]
t
为扭曲的点坐标，[x
′ꢀy′ꢀz′
]
t
为校正后的三维点坐标，为错切校正矩阵记作a，α、β分别为误差校正模型参数，同时α是线结构光3d相机与世界坐标系的x轴之间的倾角，β是线结构光3d相机与世界坐标系的z轴之间的倾角；
[0053]
s2：通过标定装置上角点间的空间向量约束关系求解误差矫正模型参数；
[0054]
具体的采用拉格朗日乘数法求解目标函数，基于多组三维标定板的角点数据设置优化函数；将三维标定板的正方形平面满足对角线向量内积为0以及三维标定板的正方形平面两对角线模长等于正方形平面的边长的倍作为拉格朗日乘数法中的约束条件；建立拉格朗日函数，令拉格朗日函数对于各个误差校正模型参数和拉格朗日乘数的一阶偏导数等于零，求解得到误差校正模型参数；通过三维标定板上角点间的空间向量约束关系求解误差校正模型参数，令误差校正模型cosα＝x1,sinα＝x2,sinβ＝x3,cosβ＝x4，三维标定板的正方形平面的四个角点顺时针排列分别为a、b、c和d，校正后满足对角线向量内积为0，表示为：且两对角线模长等于正方形平面边长的倍，表示为：式中l为三维标定板的正方形平面的边长；
[0055]
设定单组三维标定板校正后对角线向量内积的平方为目标函数：
[0056][0057]
δx
bd
表示b、d两个点的x轴的坐标差值，δy
bd
表示b、d两个点的y轴的坐标差值，δz
bd
表示b、d两个点的z轴的坐标差值；δx
ac
表示a、c两个点的x轴的坐标差值，δy
ac
表示a、c两个点的y轴的坐标差值，δz
ac
表示a、c两个点的z轴的坐标差值；
[0058]
基于拉格朗日乘数法求解目标函数，设置优化函数为：
[0059][0060]
式中n为三维标定板不同位置下成像的次数，一般可将n定为15到25之间，fi(x1,
x2,x3,x4)为第i次成像时三维标定板的目标函数；
[0061]
优化函数满足附加条件：
[0062][0063]
且满足
[0064]
建立拉格朗日函数建立拉格朗日函数
[0065]
式中λi称拉格朗日乘数；
[0066]
分别对x1,x2,x3,x4,λi求偏导，并令导数为0，求得x1,x2,x3,x4为优化函数在满足附加条件下的极值点，作为误差校正模型参数。
[0067]
步骤二：线阵相机标定；具体的，标定时按照以下步骤：
[0068]
ss1：线阵相机扫描拍摄标定装置获得2d图像，扫描时采用动态扫描成像的方法；
[0069]
ss2：使用线阵相机成像模型求解得到线阵相机的内参数(f,k,s
x
,sy,c
x
,cy)及运动速度向量(v
x
,vy,vz)。
[0070]
线阵相机标定的实质是根据已知足够数量的特征点的三维坐标pw(xw,yw,zw)和对应的图像像素坐标(u
′
,v
′
)，通过非线性优化算法来估计相机的内参数(f,k,s
x
,sy,c
x
,cy)、外参数(r,t)以及运动速度向量(v
x
,vy,vz)；具体流程如下：
[0071][0072]
其中sx，sy为线阵传感器像元尺寸，单位m；cx，cy为光心，单位：像素；
[0073]
对于获取的图像空间中的任意点p＝[x,y,z]
t
，存在一比例系数s，使得其与相对
运动编码器脉冲数n存在如下关系：
[0074][0075]
其中u为空间点p投影在线阵相机成像平面上的对应点的纵坐标，根据上述方程组，空间点p在线阵相机扫描得到的像素点为
[0076]
根据上述流程图，采用重投影误差作为代价函数并使之最小化来估计参数，代价函数的最小化可利用非线性优化方法如高斯牛顿法、列文伯格法或粒子群等算法实现，最终可求解得到线阵相机内参数(f,k,s
x
,sy,c
x
,cy)和运动速度向量(v
x
,vy,vz)。
[0077]
步骤三：线结构光3d相机坐标系与线阵相机坐标系外参数标定；具体的，标定时按照以下步骤：
[0078]
sss1：从3d点云中提取4个角点坐标pm，角点提取可使用3个平面方程的交点计算得到，使用步骤一标定得到的3d错切矩阵a进行错切校正，计算公式如下：
[0079]
pm′
＝a*pm[0080]
再使用4个对应角点计算标定装置坐标系到线结构光3d相机坐标系的位置关系(r
bm
,t
bm
)，计算方法可用最小二乘法、ransac或奇异值分解等；
[0081]
sss2：使用步骤二标定得到的线阵相机内参数计算标定装置坐标系到线阵相机坐标系的位置关系(r
bn
,t
bn
)；
[0082]
sss3：计算线结构光3d相机坐标系到线阵相机坐标系的位置关系(r
mn
,t
mn
)，计算公式如下：
[0083][0084]
步骤四：2d图像和3d点云融合；具体的，按照如下步骤进行融合：
[0085]
ssss1：将采集到的3d点云p
t
进行3d错切校正，即p
t
′
＝a*p
t
[0086]
ssss2：使用sss3得到的位置关系r
mn
,t
mn
，将无错切扭曲的点云变换到线阵相机坐标系，即有：
[0087]
pn＝r
mn
*p
t
′
+t
mn
[0088]
ssss3：使用步骤二得到的线阵相机内参将pn重投影到线阵相机图像平面，得到重投影后的图像坐标rows和cols，线结构光3d点即可通过重投影后的rows和cols从线阵相机图像中取得2d信息，可以是灰度值或rgb值，最终可使用vtk或opengl显示工具显示融合2d信息后的三维点云。
[0089]
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。